robots.txt 生成器 - 在线 Robots 文件生成

1. 生成一份 robots.txt

规则顺序与具体度会影响部分爬虫解释；先用保守 Disallow 保护后台与草稿路径，再逐步放开。

1. 添加或选择 User-agent 分组（如 * 或特定爬虫名）。
2. 为路径填写 Allow / Disallow 规则。
3. 需要时填入 Sitemap 绝对 URL，预览并下载或复制。

2. 常见写法

Allow 与 Disallow 同时存在时，以各爬虫实现为准；改完用公开测试工具或 Search Console 观察抓取。

• Disallow: /admin/ 保护后台。
• Disallow: /api/ 若接口本就不该被索引。
• Sitemap: https://example.com/sitemap.xml 指向站点地图。
• 分组不要互相矛盾到无法理解。

3. 它做不到什么

robots.txt 是君子协定：恶意爬虫可以无视。敏感内容必须用鉴权、不链接与正确的缓存策略保护，不能只靠 Disallow。密码、个人数据页面更不该「只靠 robots 藏起来」。

4. 上线检查

确认 https://你的域名/robots.txt 可公开访问、Content-Type 合理、无多余 BOM。CDN 或多环境部署时，预发与生产规则可能不同——以生产根路径为准。

5. 和相邻工具

抓取配置、站点地图与分享标签是三条线，改完记得各自验收。

• 站点地图：sitemap-generator。
• 分享卡片：Open Graph 预览。
• Meta 与像素：meta-tag-pixel-checker。

6. 变更习惯

把 robots.txt 纳入版本库与发布检查清单。大改前先备份旧文件；封禁整站路径前确认不会误伤落地页。处理含个人信息或密钥的内容时，即使计算在本地完成，也要留意屏幕分享、录屏与下载文件的二次传播路径。

7. 协作与风险控制

本页计算在浏览器本地完成，不把你的内容当作上传素材；但这不自动等于「可以随便外传」。下载目录、剪贴板与会议投屏同样可能泄漏。与相邻工具衔接时，注意中间格式是否有损、编码是否一致、以及是否需要保留母版以便回退。链路越长，越要在每一步写下「不保证什么」。

• 先用最小可复现样例确认选项。
• 批量前记录转换前后体积或行数。
• 输出给他人时写明边界与不保证项。