128 文字
1 分
生成系AIサービスから自分のサイトをブロックする方法
2024-08-02
タグなし

サイトのトップに以下のrobots.txtを設置または、コピペします。

https://gist.github.com/matsubo/1b4e362ac5a30302b324b008de703487

生成AI系サービスのuser agent名は以下から検索できます。

https://darkvisitors.com/agents

Dark Visitorを導入してみた#

このBlogにDark Visitorのプラグインを導入してみてクロールしに来たBotを計測してみました。

無料だと10,000イベントちょっと計測できないようです。導入して4日で使い切ったようです。

その際のサマリーを軽く載せておきます。

生成系AIサービスから自分のサイトをブロックする方法
https://blog.teraren.com/posts/block-llm-crawler/
作者
Yuki Matsukura
公開日
2024-08-02
ライセンス
CC BY-NC-SA 4.0

コメント