2026年10月18日

robots.txtだけではやっぱりダメだ

たまにしか確認しないが、Cloudflare ダッシュボードを見ると BOT からのアクセスが定期的に行われているようだった。

 

robots.txt の更新はしたのだが、ここに挙がっている User-agent は 3つとも Disallow に設定されていた。なんでよー、と思ったが、単に robots.txt を無視してアクセスしているだけだった。

 

大手は違反しないと思っていたのだが、そんな時代ではないらしい。
Cloudeflare のセキュリティ設定で「AIボットポリシー」があったのだが、設定してなかったので許可になっていた。Bot FightモードはONにしていたのだけどね。
「ブロック」にしたらブロックしてくれるのだろうか? 「許可しない」との区別がよくわからんが、接続しようとしたときにすぐ切断するか返事をせずじらすかの違いだろうか。 

 

機能はいろいろあるけど使いこなせていませんな。  

0 件のコメント:

コメントを投稿

コメントありがとうございます。
スパムかもしれない、と私が思ったら、
申し訳ないですが勝手に削除することもあります。

注: コメントを投稿できるのは、このブログのメンバーだけです。