Robots.txt 與 AI 爬蟲存取測試
檢查 Googlebot、Bingbot 與 AI 爬蟲的存取規則,查看允許或封鎖路徑的具體規則,並產生 robots.txt。
免費 · 無須註冊
處理結果
結果預覽和下載將在這裡顯示。
使用方法
- 讀取公開 HTTPS 網站的 robots.txt,或貼上規則在本機測試。
- 選擇爬蟲與路徑,查看匹配規則群組、最具體的規則及行號。
- 產生新檔案草稿,先測試重要網頁和資源,再自行發布。
常見問題
允許 GPTBot 就會出現在 AI 回答中嗎?
不會。本工具只檢查存取權限。訓練爬蟲、搜尋爬蟲與使用者觸發的擷取用途不同;實際 AI 可見度需要另外測量。
把結果用於實際工作
繼續使用 Omni SEO & GEO持續追蹤技術修復、搜尋表現和 AI 可見度。
