特定の検索エンジンのロボットを制限したいとき

特定の検索エンジンのロボットを制限したいとき

キャレット合同会社の椎原です。WordPress移行案件を受けたついでにお客様より質問がくるようになりました。デザインの質問はデザイナーがいますのでそちらで対応してますが、そうでもない技術的質問は、担当者が調べながら対応してます。

サイトに検索ロボットが巡回することはある意味ありがたいことです。ただし、今回、異常にロボのアクセスが多く、サイトが重くなってしまったため、対策を施すことになりました。

やりたいこと

特定のロボットだけ通して、あとは遮断する。

サイトのドキュメントルートにあるrobots.txtを編集するだけなんですが、これはググると大量に出てくるので、今回は割愛します。

静的ファイルを作成するのではなく、WordPressのプラグインである、「All in One SEO」を使って、動的にrobots.txtを生成する。

ダッシュボードのAll in One SEO → ツール を選ぶと以下の画面が出ます。

基本的に全部拒否した上、Googlebot、bingbot、Twitterbotだけ通します。

Twitterbotは通さないと、投稿できてもカードの画像が取りにいけないので表示されません。
ツイートをカードで最適化する

取りあえず、これで様子をみます。

お問い合わせ

記事の内容についてもっと詳しく知りたい方や キャレットへのお問い合わせ・資料請求はこちらからお気軽にご連絡ください。

Uncategorizedカテゴリの最新記事