Robots.txt 生成器

如何创建 robots.txt 文件

为您的网站生成搜索引擎 robots.txt。

1. 1

   添加规则

   设置用户代理和允许或禁止的路径。

2. 2

   添加站点地图

   列出您的站点地图 URL 和可选的抓取延迟。

3. 3

   下载

   复制或下载 robots.txt 并将其放置在您的站点根目录中。