Is this enough for every site?

No. It is a starter file that should be reviewed against your routing and crawl policy.

Can I block specific bots by name?

Yes. Set the User-agent field to a specific bot name, or use * to apply rules to all crawlers.

Yes. The sitemap field adds a Sitemap: directive at the end of the generated file.

Web 与 SEO

生成带常见屏蔽规则和 sitemap 地址的 robots.txt。

浏览器内处理即时输出本地数据

站点地图 URL抓取延迟（可选）屏蔽后台路径屏蔽搜索页屏蔽预览路径附加禁止路径（每行一条）附加允许路径（每行一条）生成的 robots.txt

User-agent: *
Allow: /

Sitemap: https://www.toolgrid.help/sitemap.xml

适合快速搭一个 robots.txt 初稿，再按站点规则复核。

可以先把后台、搜索页、预览路径等常见目录屏蔽规则组合出来。

适合从零起草，而不是空白手写。

01输入 sitemap 链接。

02勾选需要屏蔽的路径。

03复制生成结果。

先确认输入格式符合你的预期。

在把结果用于文档、链接、配置或消息前快速扫一眼。

只复制你真正需要的输出。

这个结果能直接用于生产环境吗？

建议结合你的真实路由和抓取策略再做一次复核。