为什么用这个工具
01适合快速搭一个 robots.txt 初稿，再按站点规则复核。
可以先把后台、搜索页、预览路径等常见目录屏蔽规则组合出来。
适合从零起草，而不是空白手写。
如何使用
02复制前快速检查
03先确认输入格式符合你的预期。
在把结果用于文档、链接、配置或消息前快速扫一眼。
只复制你真正需要的输出。
常见问题
04这个结果能直接用于生产环境吗？
建议结合你的真实路由和抓取策略再做一次复核。
相关工具
03Sitemap URL 列表整理器→
清洗、裁剪并去重 URL 列表，便于后续生成 sitemap。
site indexing workspace→
site indexing workspace，在浏览器中快速完成单项任务。
Canonical 检查器→
比较页面 URL 和 canonical URL，判断是否自引用、跨域或不一致。