ホーム » 「クローラー」タグがついた投稿

タグアーカイブ: クローラー

システム

最近の投稿

アーカイブ

カテゴリー

bc.googleusercontent.com からの大量アクセス

2020-04-14

サーバの負荷が急に上がってきた。

アクセス元を確かめると、35.210.166.102 。調べると 102.166.210.35.bc.googleusercontent.com. からのアクセスで、関連記事を調べるとこういった記事が上がってくる。Google 提供のクラウドみたいで個人からのアクセスらしい。どちらにしろ、10秒程度で次々とページを漁ってる、とてもマナーが悪いクローラー。User-Agent は、以下のようになっている。 https://velen.io をアクセスするけど、つながらない。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
"Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io)"
"Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io)"
"Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io)"

ひとまず、FireWall の IPアドレス指定で接続拒否を行う。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
((( /var/www/html/robots.txt )))
User-agent: VelenPublicWebCrawler
Disallow: /
((( /var/www/html/robots.txt ))) User-agent: VelenPublicWebCrawler Disallow: /
((( /var/www/html/robots.txt )))
User-agent: VelenPublicWebCrawler
Disallow:   /

Google 検索

My Google   Yahoo

Microsoft

ファンサイト