用来生成 Sitemap 的完整地址，可留空
留空表示不限制抓取。通配符 * 和 $ 只有 Google、Bing 完全支持
Allow 的优先级高于 Disallow，用来给被误伤的目录开口子
只对部分爬虫生效，Google 已明确忽略该指令
robots.txt 内容
点上方「生成」按钮开始
使用说明
- 在「站点地址」里填上你的域名，填了才会在结尾输出 Sitemap 的完整地址。
- 「禁止抓取的路径」按行写，每行一条，比如 /admin/、/search/。不需要限制就整块清空。
- 如果你的站被 Ahrefs、Semrush 这类外链工具抓得厉害，勾上「屏蔽常见采集与 AI 爬虫」，会额外生成 13 个爬虫的规则块。
- 点「生成」后复制内容，或点「下载 robots.txt」直接拿到文件，上传到网站根目录即可。
- 改完要验证：在浏览器打开 你的域名/robots.txt，能正常显示而不是 404 才算生效。
常见问题
robots.txt 放在哪里？
必须放在网站根目录，地址是 https://你的域名/robots.txt。注意只有根目录的这一个文件有效，放在子目录里搜索引擎不会读。
Disallow 能保护后台不被访问吗？
不能。robots.txt 只是「请求爬虫别抓」，它是一份公开的君子协定，任何人在浏览器里都能读到。后台目录真正的保护手段是登录验证与 IP 限制。
屏蔽了 AI 爬虫会影响收录吗？
会有一点。GPTBot、CCBot 这些是喂大模型的，屏蔽它们不影响百度 Google 的搜索结果收录，但你在 AI 问答里的曝光会减少。要不要屏蔽，看你对内容的取舍。
为什么写 Disallow: /admin 没生效？
少写了末尾斜杠。/admin 匹配的是名为 admin 的文件，/admin/ 才是目录。另外路径区分大小写，/Admin/ 和 /admin/ 是两条不同规则。
改了 robots.txt 多久生效？
爬虫每次抓取前会重新读一次，通常几小时到几天。Google 可以在 Search Console 里手动请求重新抓取，百度在资源平台提交。
相关工具
站长工具 · 该分类共 57 个工具，展开查看全部
robots.txt 在线生成Sitemap 在线生成UTM 链接生成器网站统计代码生成域名批量生成桌面快捷方式生成TDK 生成器（标题/描述/关键词）批量网址检测脚本生成CIDR 网段计算子网掩码计算IP 转数字 / 数字转 IP关键词密度分析网页源码转纯文本HTML 转 Markdown页面链接分析（内链/外链）页面图片提取与 alt 检查网页表格提取网页源码 SEO 体检robots.txt 检测TDK 长度检查模拟蜘蛛抓取分析公共 DNS 服务器地址表电信 DNS 服务器地址表（各省）联通 DNS 服务器地址表（各省）移动 DNS 服务器地址表（各省）铁通 DNS 服务器地址表教育网 DNS 服务器地址表（CERNET）搜索引擎高级语法速查在线广告尺寸对照表网站上线检查清单HTTP 安全响应头对照表HTTP 响应头对照表域名 DNS 解析查询网站图标 Favicon 地址获取网页链接提取与内外链分类网页头部信息提取与体检ICP 备案号格式校验文本 Gzip 压缩率实测TDK 标题描述批量校验外链 rel 属性检查（nofollow）图片 alt 与属性批量检查JSON-LD 结构化数据检查Meta 标签生成器（含 OG）viewport 与移动端适配检查TDK 批量提取为表格网络延迟与路由检测命令端口连通性检测命令SSL 证书检查命令DNS 诊断与污染排查命令页面性能指标采集代码域名可注册批量查询脚本死链批量检测脚本IP 归属地批量查询脚本DNS 解析耗时测试页网站截图 API 方案整理重定向与伪静态规则生成器关键词组合批量生成