Web 與 SEO屬於 Web 與 SEO 工具 →
Robots.txt 產生器
產生包含常見封鎖規則與 sitemap 指令的基本 robots.txt 檔案。
資料留在您的裝置無需上傳至伺服器可離線使用
為什麼用這個工具
01為管理後台、搜尋及預覽路徑等常見排除情境，快速組合一份起始 robots.txt 檔案。
適合需要一份乾淨的 robots.txt 起始點，而不想從頭編輯指令時使用。
可在建構過程中清楚看到常見的 allow/disallow 結構。
怎麼使用
02複製前快速檢查
03先確認輸入格式符合您的預期。
在把結果用於文件、連結、設定或訊息前快速掃一眼。
只複製您真正需要的輸出。
常見問題
04這份檔案適用於所有網站嗎？
不一定，這只是一份起始檔案，應根據您的路由設定與爬取政策進行審查調整。
可以依名稱封鎖特定爬蟲嗎？
可以，將 User-agent 欄位設為特定爬蟲名稱即可，或使用 * 套用到所有爬蟲。
可以在輸出中加入 sitemap 網址嗎？
可以，sitemap 欄位會在產生的檔案末尾加上 Sitemap: 指令。
相關工具
03Sitemap 網址清單產生器→
在建立 sitemap 檔案前，清理、修剪並去除重複的頁面網址。
爬取與 Sitemap 管理工作台→
在一個工作台內產生 robots.txt、sitemap 清單、canonical 主機規則和 hreflang 輸出。
Canonical 標籤檢查工具→
比較頁面網址與 canonical 網址，找出自我、跨網域或不符的 canonical 設定。