ホームページ・WEBサイトをAIクローリング（無断学習）から防ぐ方法
このコラムはこんな人におすすめです
- コンテンツが、AIに学習データとして利用されるのを防ぎたい方
- サイトの安全性を高めたいと考えている方
- AIにコンテンツの模倣・生成されることを懸念している方
なぜ対策が必要なのか？
ホームページ・WEBサイトの資産価値を守るためには、無差別なAIクロールへの対策も必要です。対策を怠ることで、以下のような実害が生じるリスクがあります。
- 学習データ化されることで、独自のノウハウがAIによって安易に再配布され、コンテンツの希少性が失われます。
- AIがサイト内の情報を要約して回答することで、検索エンジンからの流入が激減し、収益機会を損なう恐れがあります。
- AIクローリングの頻繁な巡回はサーバーに過度な負荷をかけ、サイトのパフォーマンス低下やダウンを引き起こす可能性があります。
AIクローリングとは？
AIクローリングとは、ChatGPTやGeminiなどの生成AIを開発する企業が、AIの情報量や精度を向上させるために、インターネット上に存在する膨大な情報をプログラムによって自動的に巡回・収集するプロセスのことです。
AIクローリングを防ぐ2つの方法
AIクローリングを防ぐ方法として、WordPressサイトであれば専用プラグインの「Block AI Crawlers」を導入して手軽に制御する方法や、ネットワーク層で強力に遮断できるCloudflareの「AI Bot Block」機能を活用する方法があります。これらのツールを用いることで、個別のクローラー設定を手動で行う手間を省きつつ、効率的にサイトのコンテンツ保護を実現できます。
他にもサーバーレベルでの制限や規約による制限など、様々な方法があります。
「Block AI Crawlers」と「Cloudflare」の比較
| 比較項目 | Block AI Crawlers （WordPressのプラグイン） |
Cloudflare （WAF/CDN） |
|---|---|---|
| 効果 | 中 | 高 |
| 難易度 | 優しい （WordPressのブラグインを利用） |
難しい （DNS設定などが必要） |
| サーバー負荷 | なし | 軽減 |
| 費用 | 無料 | 無料 （一部有料） |
| おすすめ | WordPressを利用していて、最短で対策を始めたい方 | サイトを本格的に守り、高速化もしたい方 |
WordPressプラグイン「Block AI Crawlers」で簡単対策
「Block AI Crawlers」の特徴と注意点
特徴
WordPressプラグイン「Block AI Crawlers」、はサイト内に「クローラーへの指示書（robots.txt）」を作成・更新するプラグインです。プラグインをインストールするだけで完結するので手軽に利用できます。
大手AI企業（OpenAI、Microsoft、Alphabetなど）は「拒否されているサイトは学習しない」と公言しているため、一定の大きな効果があります。
注意点
クローラーへの指示書（robots.txt）は、あくまで意思表示になります。そのため、未知のボットや、ルールを無視する開発者に対しては強制力がありません。
「Block AI Crawlers」の作業手順・設定方法
作業手順
- 「Block AI Crawlers」をインストールする
1.「Block AI Crawlers」をインストールする
WordPressの管理画面に入り、左メニューの「プラグイン」から「新規追加」をクリックしてください。
続いて、右上の検索窓に「Block AI Crawlers」と入力します。
プラグインが表示されるため「今すぐインストール」をクリックします。
インストール完了後「有効化」をクリックします。
クローラーへの指示書（robots.txt）が自動で生成され、AIクローリングを防ぎます。
Cloudflare「AI Bot Block」でアクセスを遮断する
「AI Bot Block」の特徴と注意点
特徴
AIクローラーがサイトの訪問前に、ネットワークレベルで遮断します。AIクローラーがサーバーに到達する前に遮断するため、。サーバーの負荷の軽減にもなります。
注意点
導入にはドメインの権限設定（DNSの切り替え）を操作する必要があるため、専門的な知識を要する作業が含まれます。
「AI Bot Block」の作業手順・設定方法
作業手順
- アカウントを作成、サイトを登録
- ネームサーバーの設定
- AIクローリングの設定・開始
1.アカウントを作成、サイトを登録
Cloudflareを初めて利用する場合は「無料で始める」をクリックします。
「Email」「Password」を入力して「Sign up」をクリックします。
「Personal & Professional」を選択します。
現在の状況に最も当てはまるものを選択します。
「Protect your apps and users」をクリックします。
「Public websites」をクリックします。
ブロックするサイトのドメイン名を入力して「Continue」をクリックします。
プラン選択で「Free」を選択します。
メニュー「Overview」にある「DNS Records」をクリックします。
DNS management for ドメイン名に現在のDNSレコード（サイトの接続先）が自動表示されていることを確認します。Cloudflare Nameservers にある NSレコードを2つ表示されていることを確認します。NSレコードは後ほど使用するのでメモしておきます。
2.ネームサーバーの設定
ネームサーバー切り替えのためドメイン管理会社の管理画面へログインしてください。
本手順では、エックスサーバーの管理画面を参考に説明を進めます。
ブロックするドメインの「3点リーダー」をクリックし「ネームサーバー設定」をクリックします。
ドメイン適用先サービスの「その他のサービスで利用する」を選択し、ネームサーバー1とネームサーバー2に「1.アカウントを作成、サイトを登録」でメモしたNSレコードを入力し「確認画面へ進む」をクリックします。
確認画面に遷移したら「設定を変更する」をクリックします。
ネームサーバー反映には数分〜最大24時間かかります。その間、Cloudflareの管理画面では「確認待ち」の状態になります。
3.AIクローリングの設定・開始
Cloudflareのダッシュボードに戻りネームサーバーが切り替わったことを確認する。
「Security」の「Settings」にある「Bot fight mode」のスイッチを「オン」にします。
「Al Crawl Control」の「Crawlers」にあるカテゴリー「Al Assistant」「Al Crawler」を「Block」にします。
これで、主要なAI（OpenAI, Anthropicなど）の無断スクレイピングをネットワークレベルで一括ブロックできます。
Cloudflareのキャッシュクリアの方法
ホームページ更新内容が反映されない場合は、以下の手順でキャッシュをクリアしてください。
- Cloudflareの管理画面のメニューから 「Caching」の「Configuration」 を開く。
- 「Purge Cache」 の「Purge Everything」ボタンをクリックする。
データ保護の重要性
ホームページ・WEBサイト上のコンテンツは「情報」だけではなく「知的財産」でもあります。AIは便利ですが、コンテンツの無断学習を許してしまうと、独自性がなくなり、ビジネス上の不利益に繋がる恐れがあります。
AIクローリングを完璧に防ぐことは難しいかもしれませんが、対策を行うことでリスクは最小限に抑えられます。
相談のススメ
「設定画面を見るだけで不安になる」「自社のサイトに影響が出ないか心配」という方は、制作会社へ相談することをおすすめします。SANTABA（サンタバ）デザインでは、AIトレンドに基づいたセキュリティ診断と対策代行を行っております。
ご相談・お問い合わせはこちら