128 文字
1 分
生成系AIサービスから自分のサイトをブロックする方法
サイトのトップに以下のrobots.txtを設置または、コピペします。
https://gist.github.com/matsubo/1b4e362ac5a30302b324b008de703487
生成AI系サービスのuser agent名は以下から検索できます。
https://darkvisitors.com/agents
Dark Visitorを導入してみた
このBlogにDark Visitorのプラグインを導入してみてクロールしに来たBotを計測してみました。
無料だと10,000イベントちょっと計測できないようです。導入して4日で使い切ったようです。

その際のサマリーを軽く載せておきます。

生成系AIサービスから自分のサイトをブロックする方法
https://blog.teraren.com/posts/block-llm-crawler/