ホーム » コンピュータ » Linux » 悪質なMegaIndexによるcrawl

システム

最近の投稿

  • 日立洗濯機API
    日立の洗濯機は WiFi で接続できるので、nmap をかけてみたが、反応なし。 でも何気なく「日立 洗濯機 […]
  • iPhoneバッテリー交換サービス
    AppleCare 入ってたっけ? AppleCare入ってたっけ? 無償って出てるし、予約してみた。 […]
  • curl で switchbot API v1.1 を呼出す
    Amazon タイムセールで、SwitchBot CO2 センサー付き温湿度計の割引がでていたので、Hub […]
  • Windows 11 Upgrade できるようになった!?
    とっくの昔に、Win11 Upgrade不可能と診断されてたんだけど、なんで今頃 Upgrade […]
  • 文殊山
    最近、運動不足のなか、熊ニュースも多くて山ハイキングができてなかったけど、今シーズン最初の文殊山。 […]

アーカイブ

カテゴリー

悪質なMegaIndexによるcrawl

なんか、Webのアクセスが多いと思ったら、マナーの悪いサーチエンジンMegaIndexによるクローラ。アクセス元 176.9.146.74 を調べると、所在地はアメリカだけど、UserAgent をみると、”Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +http://megaindex.com/crawler)” なんて書いてあるから、ロシアかな。

robots.txt に、”UserAgent: MegaIndex … Disallow /”を書き加え、参考にしたサイトに記載のあった他の悪質クローラも拒否る。(といっても robots.txt 無視されたら効果ないし。)

中国・ロシアとかは、geoip を使いIPアドレスを国単位で拒否しているけど、所在がアメリカじゃあなぁ…User-Agent でも弾いておくか。

Google 検索

My Google   Yahoo

Microsoft

ファンサイト