生成系AIサービスから自分のサイトをブロックする方法

Program & Service

Photo by Pixabay on Pexels.com

2024.08.022024.08.22

サイトのトップに以下のrobots.txtを設置または、コピペします。

	User-agent: GPTBot
	Disallow: /

	User-agent: ChatGPT-User
	Disallow: /

	User-agent: Google-Extended
	Disallow: /

	User-agent: CCBot
	Disallow: /

	User-agent: anthropic-ai
	Disallow: /

	User-agent: Claude-Web
	Disallow: /

	User-agent: Omgilibot
	Disallow: /

	User-agent: Omgili
	Disallow: /

	User-agent: FacebookBot
	Disallow: /

	User-agent: *
	Allow: /

view raw robots.txt hosted with ❤ by GitHub

生成AI系サービスのuser agent名は以下から検索できます。

Agents | Dark Visitors

All known normal and artificially intelligent agents

Dark Visitorを導入してみた

このBlogにDark Visitorのプラグインを導入してみてクロールしに来たBotを計測してみました。

無料だと10,000イベントちょっと計測できないようです。導入して4日で使い切ったようです。

その際のサマリーを軽く載せておきます。

Comments

タイトルとURLをコピーしました