サーバの負荷が急に上がってきた。

アクセス元を確かめると、35.210.166.102 。調べると 102.166.210.35.bc.googleusercontent.com. からのアクセスで、関連記事を調べるとこういった記事が上がってくる。Google 提供のクラウドみたいで個人からのアクセスらしい。どちらにしろ、10秒程度で次々とページを漁ってる、とてもマナーが悪いクローラー。User-Agent は、以下のようになっている。 https://velen.io をアクセスするけど、つながらない。

"Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io)"

ひとまず、FireWall の IPアドレス指定で接続拒否を行う。

((( /var/www/html/robots.txt )))
User-agent: VelenPublicWebCrawler
Disallow:   /