サイトのトップに以下のrobots.txtを設置または、コピペします。
生成AI系サービスのuser agent名は以下から検索できます。
Agents | Dark Visitors
All known normal and artificially intelligent agents
darkvisitors.com
Dark Visitorを導入してみた
このBlogにDark Visitorのプラグインを導入してみてクロールしに来たBotを計測してみました。
無料だと10,000イベントちょっと計測できないようです。導入して4日で使い切ったようです。
その際のサマリーを軽く載せておきます。
Comments