本小程序适合
Web开发者等
用于按设定快速生成适于
百度 Google 必应 360搜索 搜狗 神马搜索 中国搜索等
搜索引擎 Spider 蜘蛛
爬取 收录网站
页面范围的
TXT 格式站点地图
。
支持自动检测|提示生成|加载网站排除条目 /dtconfig/exclude 配置文件,从现有 /robots.txt 文档获取网站域名。
默认支持 HTTP HTTPS 协议,每站点地图文件最少 1000 条记录。
请使用
数据比较
备份 100%精确比较 (或抽检) 处理前 后内容。
相关应用
站点 Robots
XML 站点地图