Robots.txt生成
ウェブサイト用のrobots.txtファイルを作成・検証。
クイックプリセット
User-Agentルール
オプション
クローラーリクエスト間の遅延を追加（秒）
robots.txtは有効です
生成されたrobots.txt
# robots.txt generated by Toolbox # Generated on: 2026-01-05 User-agent: * Disallow:
使用方法
- プリセットまたは手動オプションを使用してUser-Agentルールを設定
- 検索エンジンがコンテンツを発見できるようにサイトマップURLを追加
- 生成されたrobots.txtの内容をコピー
- ウェブサイトのルートディレクトリにrobots.txtとして保存