在线Robots文件生成工具

使用说明

📌 配置搜索引擎规则

在“所有搜索引擎”、“国内搜索引擎”、“国外搜索引擎”及“特殊搜索引擎”区域中，分别选择对应爬虫的访问策略：“允许”表示允许抓取，“拒绝”表示禁止收录，“默认”则沿用搜索引擎自身行为。选中项将以高亮状态显示。

⏱️ 设置检索间隔

在“检索间隔”选项中，选择希望搜索引擎抓取页面的时间间隔（单位：秒），可选不限、5、10、20、60 或 120 秒。合理设置可有效降低服务器负载，避免频繁爬取。

📁 添加限制目录

在“限制目录”输入框中填写需屏蔽的路径（如 /admin/、/bin/），路径必须以斜杠 "/" 开头并以 "/" 结尾。点击“添加限制目录”可增加多个条目，每个目录将被添加至 robots.txt 的 Disallow 规则中。

🗺️ 填写 Sitemap 文件地址

在“Sitemap 文件”输入框中填写站点地图完整 URL（如 https://www.yourdomain.com/sitemap.xml）。支持添加多个 Sitemap 地址，系统会自动将其写入 robots.txt 文件末尾，便于搜索引擎发现和索引。

🔄 生成 Robots 文件

完成所有配置后，点击“立即生成”按钮，系统将根据当前设置实时生成标准格式的 robots.txt 内容，并显示在下方文本区域中，包含 User-agent、Disallow、Crawl-delay 和 Sitemap 等完整指令。

💾 下载或复制结果

生成后可点击“下载文件”将 robots.txt 直接保存到本地；也可点击“复制结果”将文本内容一键复制，方便粘贴部署到网站根目录。

🗑️ 清空数据

点击“清空数据”按钮，可重置所有选项至初始状态，清除所有自定义目录与 Sitemap 条目，并清空生成结果，恢复工具默认界面，便于重新配置。

最新工具

常见问题