免费在线 robots.txt 生成器，配置 User-agent 和 Allow/Disallow 规则，一键生成标准 robots.txt 文件。
摘要：免费的在线 robots.txt 生成器，配置 User-agent 与 Allow/Disallow 规则一键生成标准 robots.txt，支持 Sitemap 地址声明，搜索引擎抓取控制必备，本地处理不上传。
此工具完全在您的浏览器中运行。打开 DevTools → Network 面板，搜索您的输入内容——它不会出现在任何请求中。
使用指南
robots.txt 放在网站根目录，告诉爬虫「哪里可以抓、哪里别去」——它是搜索引擎优化的第一份配置文件。本工具按分组（User-agent）+ 规则（Allow/Disallow）+ Sitemap 的结构可视化生成，实时预览结果。
1. 生成一份 robots.txt
- 添加分组：通配符 * 管住所有爬虫；针对特定爬虫（如 GPTBot、Googlebot）单独建组。
- 按组添加 Allow/Disallow 规则：路径以前缀匹配，如 /admin/。
- 填入 sitemap 地址（帮助搜索引擎快速定位全站 URL 列表），复制结果存为根目录下的 robots.txt。
2. 必须先建立的正确认知
- robots.txt 是「请求」不是「墙」：守规矩的搜索引擎遵守，恶意爬虫直接无视——真正的私有内容必须靠登录认证，robots 只是减少无意义的抓取。
- robots.txt 全网公开：Disallow 的路径等于昭告天下「这里有东西」——后台地址写进去反而是给攻击者递地图。
- 「禁止抓取」≠「禁止收录」：被 Disallow 的 URL 如果有外链指向，仍可能出现在搜索结果里（只是没有摘要）。真要阻止收录用 noindex。
3. 两个代价最大的事故
上线前把测试环境的 Disallow: / 带到了生产——全站从搜索结果消失，恢复要数周；以为 Disallow 就不收录，结果页面以无摘要形式出现在搜索里。上线流程里给 robots.txt 加一道检查，比事后补救便宜得多。
常见问题
完全免费，无需注册。规则配置与文件生成全部在浏览器本地完成。
支持按 User-agent 配置 Allow/Disallow 规则、Crawl-delay 抓取延迟，并可声明 Sitemap 地址。
可以。输出符合 robots.txt 标准语法，下载后放到网站根目录即可生效。