【robots.txt】書き方・作成方法


 

こんにちは!
お盆中ですが如何お過ごしですか。

本日は、前回Googlerobots.txtに触れたのでその書き方・作成方法について紹介します。

この記事で分かること

  • robots.txt とは
  • 新機能について
  • 使用方法

robots.txt?という方は、前回記事で役割などを説明しましたのでこちらをご覧下さい。

早速、robots.txtの書き方を説明します。


robots.txtは、エディタ(メモ帳)で作成できます。

記述内容は、

  1. アクセスを制御するクローラのタイプ
  2. アクセスを許可するのか拒否するのか
  3. アクセスを制御するディレクトリ・ファイル

弊社サイト http://homepage-shop.jp/  で例を見てみます。

すべてのクローラを全てのページにアクセスさせない」場合は

User-Agent: *
Disallow: /

「User-Agent」はクローラの指定で、「*」は全てのクローラを指します。
Googleのクローラは「googlebot」、Yahoo!のクローラは「Slurp」で個別に指定できます。
「Disallow」は、「アクセス拒否」で、「/」はルートディレクトリを指します。

 

個別のフォルダhttp://homepage-shop.jp/services/)を「検索結果に表示させない」場合は

User-Agent: *
Disallow: /services/

個別のフォルダ(http://homepage-shop.jp/services/)をブロックするが、http://homepage-shop.jp/services/socialmedia.htmlだけはクロールを許可したい場合は

User-Agent: *
Disallow: /services/
Allow:/services/socialmedia.html

 

指定ページhttp://homepage-shop.jp/feature.html)のみ「検索結果に表示させない」場合は

User-Agent: *
Disallow: /feature.html

以上で、ページをブロックできますが、ここでポイント!

Sitemapを明記しましょう。
記述しておくとSitemapを積極的に読むようになってくれます。
書き方は、

Sitemap: http://homepage-shop.jp/sitemap.xml

Sitemapの記述の前には一行あけます。

 

以上のことをエディタで記述後、「robots.txt」という名前で保存してください。

作成後は前回紹介したGoogleウェブマスターでrobots.txtが正常に動作するかテストしてみましょう。
テキストをコピーしてペーストするだけです。

robots.txt書き方・作成法

問題なければ、最後にルートディレクトリ(ドメインの一番上の階層のフォルダ、URLの「/」で表記されるところ)にアップロードして完了です。

実際にhttp://homepage-shop.jp/feature.htmlをブロックするrobots.txtを作ってみます。

・メモ帳等のテキストエディタを開きます

robots.txt書き方・作成法

robots.txt書き方・作成法

robots.txt書き方・作成法

以上です。

非常に簡単なので機会があれば使ってみて下さい。

本日は以上です。

お盆で車などで遠出する方が多いと思いますが、運転には十分気をつけて下さい。

 

================================
病院・医療機関ホームページ制作
広報、宣伝や検索対策と情報更新もお任せください。
(株)日本医療ソリューションズ http://ahsj.jp/
================================