Robots.txtジェネレーター
WordPress、Next.js、Shopifyプリセット付きのビジュアルrobots.txtビルダー — クロール遅延、サイトマップ、ダウンロード
Robots.txtジェネレーター について
人気プラットフォーム向けのプリセットでrobots.txtファイルをビジュアルに構築します。手動で1行も書かずにクロールルールを設定できます。
Robots.txtジェネレーター の使い方
- 1プリセット（WordPress、Next.js、Shopify、またはカスタム）を選択して、適切なデフォルト設定から始めます。
- 2ユーザーエージェントグループを設定して、どのボットがサイトのどの部分にアクセスできるかを制御します。
- 3AllowとDisallowルールを追加して、各ボットグループの特定のパスを許可またはブロックします。
- 4必要に応じてクロール遅延を設定して、攻撃的なボットによるサーバーの過負荷を防止します。
- 5サイトマップURLを追加して、検索エンジンが自動的にサイトマップを発見できるようにします。
- 6生成されたrobots.txtをコピーして、ウェブサイトのルートディレクトリにアップロードします。
ヒント
- robots.txtでCSSやJavaScriptファイルをブロックしないでください。Googleはページを適切にレンダリングしてインデックスするためにそれらを必要とします。
- 管理画面、ステージング、重複コンテンツのパスに特定のDisallowルールを使用して、重要なページにクロールバジェットを集中させてください。
- デプロイ前にGoogle Search ConsoleのRobots.txtテスターでrobots.txtをテストし、意図しないブロックを避けてください。
OneKitTools チーム更新日 2.21.4