ゆめぴょんの知恵ゆめぴょんの知恵
サイト制作、WordPressカスタマイズ、無料アプリ紹介など。海外旅行135ヶ国。知識を知恵にするブログ!

robots.txtの設置方法!SEOとセキュリティ対策。WordPress用も紹介

robots.txt設置でクロール拒否する女性

ブログなどでrobots.txtを設置すると、Googleなどの検索エンジンがアクセスするファイルを制限できます。SEO関連書籍でもrobots.txtの設置を薦めているので少しは効果があるかもしれません。

ゆめぴょん(@yume_pyon)です。こんちはっ!

最近、Googleウェブマスターツールを確認すると、表に出したくないURLまでクロールされていることに気づきました。この状況を回避するために「robots.txt」を設定することにしました。

「robots.txt」の役割と設置する理由

Googleなどの検索エンジンは、クローラーと呼ばれるしくみでブログやサイトの中の全ページをチェックしています。そのクローラーが一番最初にアクセスするファイルがrobots.txtです。

ブログやサイトには検索エンジンにインデックス(掲載)したくない記事や、読者に読んでもらうほど重要ではないページもあると思います。またシステム上だけ必要なファイルなどもあります。

「robots.txt」の役割は、アクセスしてほしくないファイルやフォルダを、Googleなどの検索エンジンに伝えることです。

管理系のファイルや、コンテンツとして価値の低いページなどを検索エンジンに見せないようにすることも、SEO対策になるようです。カテゴリーページなどを拒否して重複コンテツ対策を行う場合にも使えます。

またシステム管理系のファイルを検索エンジンに認識させないことは、多少なりともセキュリティ対策になると思います。

「robots.txt」の作成・記述方法と設置

作成・記述方法

はじめてrobots.txtを設置する場合は、テキストエディターなどで作成してください。既に作成している場合は、そのファイルを修正すればいいでしょう。

まず「User-agent: *」で全ての検索エンジンのクローラーを対象にすることを宣言します。そしてそれ以降の「Disallow:」の後にアクセス拒否、「Allow:」の後に許可するフォルダを記述します。

上の例はWordPressで構築したブログの場合です。まずWordPressは管理系フォルダ・ファイルが多いため、最初に指定してアクセス拒否しています。トラックバック、コメントフォルダも不要です。

11行目はカテゴリーページへのアクセスを拒否しています。私はカテゴリーページへのアクセスを許可したいため、この11行目は削除しています。タグやアーカイブページも拒否する場合は追記してください。

12行目はブログで使用している画像・写真が入っているフォルダへのアクセスを許可しています。

私のブログはURLに「?」のつく記事やページはないので、全てアクセス拒否しておきます。ちなみに「*」はワイルドカードと呼ばれていて「全ての単語」という意味です。

上の記述により拡張子が「php」「js」「css」…「xhtml」のファイルは全てアクセス拒否しました。

上の記述により、サイトマップの場所を検索エンジンに伝えることができます。「●●●.com」の部分は自分のブログ・サイトのURLに変更してください。

Google XML Sitemapsはサイトマップの設置のWordPressプラグインGoogle XML Sitemapsはサイトマップの設置のWordPressプラグイン

サイトマップはGoogleなどの検索エンジンにサイト・ブログのURLを登録依頼(…

Google imageとGoogle AdSenseのクローラーボット(bot)には、全てのファイルアクセスを許可した方がいいようです。

以上は私のWordPressブログ用に設置したものです。各自の環境に合わせて修正してください。そして「robots.txt」として保存してください。「s」を忘れずに。

設置場所

必ず「ルート」すなわちサイトURLが「http://wispyon.com」なら「http://wispyon.com/robots.txt」になるように設置してください。

Googleウェブマスターツールで設置を確認

設置場所を間違える場合があります。念のためGoogleウェブマスターツールを使って、設置ができたかを確認した方がいいでしょう。設置後すこし時間がかかる場合もあります。

ウェブマスターツールにアクセスしてから「クロール」→「ブロックされたURL」で、「robots.txt」が表示されステータスが成功になっていれば問題ありません。

その下の方でサイトマップが検出されているかどうかも確認できます。ウェブマスターツールについては下の記事も読んでみてください。

保存版!Googleウェブマスターツール/Search Consoleの使い方はSEOの第一歩保存版!Googleウェブマスターツール/Search Consoleの使い方はSEOの第一歩175 shares

ブログやウェブサイトを制作したら、SEO対策にこだわる前に、まずGoogleウェ…

まとめ:今日のゆめぴょんの知恵

まだSEOを知らない時には、余計なURLもどんどんGoogleに登録されればインデックス数も稼げるかなと思っていました。しかしGoogleは「質」にこだわるため、質の低いページはマイナスになります。

また管理系のファイルが検索結果に出てしまうとセキュリティ上も大きな問題になります。ブログやサイトの運営が軌道に乗る前に「robots.txt」を設置することをおすすめします。

なお今回の記事内容は次のブログも参考にさせていただきました。興味ある方は読んでみてください。

WordPressで作ったサイトを最適化するためのrobots.txt | コリス

次回の記事は「ウェブ制作に役立つチップ」の予定です(^^)。更新を見逃さないためにも、 feedlyの登録をおすすめします(^^)/

ゆめぴょん(@yume_pyon)でした。ばいちゃお! こてっZzz

«前記事:【WordPress】アイキャッチとサムネイルの違いを解説!プラグインで再生成も可能Google検索結果でも表示される!HTML構造化データschemaの記述方法:次記事»
ページ
↑先頭
ホーム