← 所有免費工具

Robots.txt 與 AI 爬蟲存取測試

檢查 Googlebot、Bingbot 與 AI 爬蟲的存取規則,查看允許或封鎖路徑的具體規則,並產生 robots.txt。

免費 · 無須註冊

Robots.txt 與 AI 爬蟲存取測試

處理結果

結果預覽和下載將在這裡顯示。

使用方法

  1. 讀取公開 HTTPS 網站的 robots.txt,或貼上規則在本機測試。
  2. 選擇爬蟲與路徑,查看匹配規則群組、最具體的規則及行號。
  3. 產生新檔案草稿,先測試重要網頁和資源,再自行發布。

範圍與隱私

允許存取不代表已索引、排名、AI 訓練或引用。不同提供者行為可能不同;本工具不計算 crawl-delay 等非標準指令。檔案不存在與擷取失敗會分開顯示。

官方參考資料 ↗

常見問題

允許 GPTBot 就會出現在 AI 回答中嗎?

不會。本工具只檢查存取權限。訓練爬蟲、搜尋爬蟲與使用者觸發的擷取用途不同;實際 AI 可見度需要另外測量。

把結果用於實際工作

繼續使用 Omni SEO & GEO持續追蹤技術修復、搜尋表現和 AI 可見度。