Robots.txt Generator

免费 robots.txt 生成器。创建带有搜索引擎爬虫自定义规则的 robots.txt 文件。添加站点地图 URL、允许/禁止路径和抓取延迟。

Rule 1

User-agent

Allow (one per line)

Disallow (one per line)

Sitemap URL

Crawl-delay (seconds, optional)

Generated robots.txt

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

关于Robots.txt Generator

Robots.txt Generator完全在您的浏览器中运行。您的数据保留在您的设备上——不会上传到任何服务器。

免费 robots.txt 生成器。创建带有搜索引擎爬虫自定义规则的 robots.txt 文件。添加站点地图 URL、允许/禁止路径和抓取延迟。免费, 无需注册, 隐私优先.