ホーム » コンピュータ » Network » マナーの悪いクローラーの拒否

マナーの悪いクローラーの拒否

自宅サーバの Web サーバの負荷が上がってる。

CTFで公開しているブルートフォース問題へのアクセスかと思ったけど、apache2のaccess.log をみると、207.241.225.60 のアドレスからページ全体をなめまわしている。whois を実行すると、アメリカの Internet Archive なる組織。

間髪を入れないでアクセスしてくるような、マナーの悪いクローラは拒否されても仕方ないよね。

ということで、個別の アクセス拒否リストに、以下を追加する。

207.241.225.0/24 # 2025-11-21
207.241.238.0/24 # 2025-11-21