kotaoueはそんなかんじ

kotaoueの最新情報。

bingbot…だと… ってなった話。

サーバにスゲーアクセス来ていて。
ログ見たら、bingbotだったって話。
動的なコンテンツに、見事な絨毯爆撃を決めていた…
ということで、bingbot自体のアクセスを弾こうかとも思ったものの、
Microsoft様のコラムで、bingのクロール頻度を調整できるというのを見たので、それを設定。
第1回「Crawl DelayとBingのクローラー、MSNBot」 | コラム | Webマスター向けTips | Bingナビ
ということで、robots.txtに、↓を追加。
コラムでは、極めて遅い場合は、10秒間隔でどうぞなっていたものの、
10秒間隔でも、結構ヤバい感じだったので、30秒で運用中。

User-Agent: msnbot
Crawl-delay: 30
User-Agent: bingbot
Crawl-delay: 30

クローラーの名称bingbotに統一されているらしいし、
bingbotはmsnbot用の設定も読むとかなんとかで、本来2個書かなくていいんだろうけども、
深く考えずに、書いちゃった。
ASCII.jp:米MS、Bingのクローラ名称(UA)をbingbotに変更、2010年10月から

そんな絨毯爆撃の最中、Webマスターツールに、

Bing has detected new URL normalization parameters for your site. To reduce URL duplication in Bing’s Index, please visit the Bing Webmaster Tools URL Normalization feature in the Index tab to review and activate. Reducing duplicate URLs will allow Bing to store more relevant URLS and potentially improve overall traffic for your site.
https://ssl.bing.com/webmaster

ってエラーメッセージ残すという、ドジっ娘ぷりに…

     あぁ!
   (⌒⌒⌒)て      ,,''⌒'ヽ、
    |_i_i_| て    //⌒'ヽヽ
   (; ´゚ω゚)⊃/)) ///   ・、i i i 。o
    /   o⊂| ̄ ̄ ̄|⊃・゚。ヾυζλ/ ゚。ベシャア
   しー-J(( |___| ))o゚、ζ;;;;;;;;;;;;ξ・。
                   ~~~~

コメントはまだありません

コメントを残す

メールアドレスが公開されることはありません。

次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>