Robots.txt ジェネレーター
構文を覚えずに正しい robots.txt を作成します。ユーザー エージェントごとの許可ルールと禁止ルールを追加し、サイトマップをリストし、オプションのクロール遅延を設定します。出力はライブで更新され、robots.txt としてコピーまたはダウンロードできます。
100% クライアント側 - ブラウザからデータが流出することはありません
User-agent: *
robots.txt ファイルの作成方法
Web サイトの検索エンジン robots.txt を生成します。
- 1
ルールの追加
ユーザー エージェントとパスを許可または禁止するように設定します。
- 2
サイトマップを追加する
サイトマップ URL とオプションのクロール遅延をリストします。
- 3
ダウンロード
robots.txt をコピーまたはダウンロードし、サイトのルートに配置します。