本システムでは、アクセス制限に関わるいくつかの機能を使って、不正アクセスや各種botからのクロールを抑制することができますが、
Googlebotについては、検索結果や広告表示の観点から抑制に踏み切れない店舗様が多く見受けられます。
以下の方法をお試しいただくことで、Googlebotのクロール頻度を下げられる可能性はありますが、
頻度が下がった結果、検索結果や広告表示に影響を及ぼす可能性がある点にご留意いただくようお願いいたします。
1.初期設定「同一IPからの分間PV制限数」の設定値を変更する
2.初期設定「ユーザーウェブアクセス制限除外IPアドレス」にGoogleのIPアドレスを登録する
3.Google検索セントラルからリクエストを送信する
初期設定「同一IPからの分間PV制限数」は、
1分間に同一のIPアドレスから大量のアクセスがあった際に、そのIPアドレスからのアクセスを制限する機能です。
本機能をご利用いただくことで「Googlebotのクロールが1分間にどのぐらいあった場合にアクセス制限する」といったことが
できるようになります。
本設定は、店舗様に公開していない初期設定のため、ご希望される際は弊社サポート窓口へお問い合わせください。
Googlebotのクロールを本機能でアクセス制限した場合、
店舗様がGoogleshopping連携で出稿した商品などの広告が不承認となる恐れがあります。
その際は、弊社サポート窓口へお問い合わせいただき、本機能の制限値を緩めることで
Googlebotのクロールが再開され、広告が表示されるようになります。
また本機能の制限値を緩めた場合、Googlebot以外の各種botも同様に制限されなくなるため、
サイト全体のPV数は増加傾向となる恐れがあります。
初期設定「ユーザーウェブアクセス制限除外IPアドレス」は、
指定したIPアドレスを、上記初期設定「同一IPからの分間PV制限数」でアクセス制限となった対象から除外できる機能です。
Googlebotには、複数のなりすましが存在するため、
上記初期設定「同一IPからの分間PV制限数」とあわせて、本機能にGoogleが公開しているIPアドレスを登録することで、
なりすましを排除したGooglebotのクローラーだけを、アクセス制限から除外することが可能です。
参考:Googleが公開しているIPアドレスについて
https://developers.google.com/search/apis/ipranges/googlebot.json
※本システムでは「ipv4Prefix」のIPアドレスが登録可能です。
Googleが公開するIPアドレスは、不定期に変更される可能性があります。
その際は、店舗様にて本機能に登録したIPアドレスの修正が都度必要となるためご注意ください。
以下のページからGoogleへ直接リクエストを送信することで、Googlebotのクロール頻度を下げられる可能性があります。
▼Googlebot のクロール頻度を下げる
https://developers.google.com/search/docs/crawling-indexing/reduce-crawl-rate?hl=ja
当ページの記載内容は、標準機能に関するものです。
機能に関するカスタマイズをされている場合にはこの限りではありません。