Web & SEO
Robots.txt ジェネレーター
一般的なブロックルールとサイトマップURLを含むrobots.txtファイルを生成します。
Your data stays on your deviceNo upload, no serverWorks offline
このツールを使う理由
03管理画面や検索・プレビューなどの標準的な除外ルールを含むrobots.txtの雛形を素早く作成できます。
Robots.txt ジェネレーターは、ゼロからディレクティブを書くことなく、クリーンなrobots.txtの出発点を提供します。
allow/disallowの構造を確認しながら設定を組み立てることができます。
使い方
03コピー前のクイックチェック
03Confirm the input is the format you intended.
Scan the result before using it in a document, URL, config, or message.
Copy only the output you need.
よくある質問
03
このツールで生成したファイルはすべてのサイトに適用できますか?
いいえ。これは雛形ファイルです。自サイトのルーティングとクロールポリシーに照らし合わせて必ず見直してください。
特定のボットだけブロックできますか?
はい。User-agentフィールドに特定のボット名を設定するか、*を使用してすべてのクローラーにルールを適用できます。
サイトマップURLを出力に追加できますか?
はい。サイトマップフィールドに入力すると、生成ファイルの末尾にSitemap:ディレクティブが追加されます。
関連ツール
03クロール&サイトマップ管理ツール→
robots.txt・サイトマップ一覧・canonicalホストルール・hreflang出力を一つのワークスペースで生成します。
SEO 公開前チェックワークスペース→
タイトル・ディスクリプション・canonical・robots・サイトマップ・hreflangの公開前チェックを一元管理します。
メタ&ソーシャルプレビュー→
メタタイトル・ディスクリプション・Open Graph・ソーシャルカードのコピーを一元管理し、クリーンなタグセットを出力します。