本小程序適閤 Web 開發者 用於按設定條件快速生成適於 百度 Google 必應 360搜索 搜狗 神馬搜索 中國搜索等 搜索引擎 Spider 蜘蛛 自動爬取收錄 網站頁麵範圍的 .TXT 文件 。

支持自動檢測｜提示生成｜加載網站排除條目 /dtconfig/exclude 配置文件，從現有 /robots.txt 文檔獲取網站域名。

請使用 數據比較 備份 100%精確比較 (或抽檢) 處理前 後內容。

相關應用

TXT 站點地圖     XML 站點地圖