kotaoueはそんなかんじ

kotaoueの最新情報。

robots.txtでUser-Agentを複数入れるときの順番

たとえば、サイトに
http://example.com/piyo/
http://example.com/hoge/
見たいなディレクトリがあって、piyoは全部の検索エンジンでインデックスされたくない。
hogeは、ペナルティを食らったとか何かで、特定の検索エンジンだけのインデックスを弾きたいっていうとき。

User-Agent: Googlebot
Disallow: /hoge/

User-Agent: *
Disallow: /piyo/

という感じに書いていたけど、この状態でWebマスターツールから削除要請だしても全然要請が通らない・・・
というか、ちゃんとログ見てみて、上の書き方だとどうもrobots.txtがちゃんと効いてないような感じだったので・・・

User-Agent: Googlebot
Disallow: /hoge/
Disallow: /piyo/

User-Agent: *
Disallow: /piyo/

のような感じに修正。
User-Agentで切り分けると、自分のUser-Agentの方だけ見るって事か


コメントはまだありません

コメントを残す

メールアドレスが公開されることはありません。