粘贴 robots.txt 内容
处理结果
使用说明
- 把 robots.txt 的内容粘贴进来，点「开始分析」。
- 工具会按 User-agent 分组，统计每组的 Disallow、Allow 条数和 Crawl-delay 设置。
- 出现 Disallow: / 时会醒目提示「该块屏蔽了全站」——这是最常见的误操作，配错一个通配符就能让整站消失。
- 语法错误（少冒号、指令拼错、没有归属的规则）会单独列出来并标出行号。
- 最后检查 Sitemap 声明，没有的话会建议补上完整地址。
常见问题
为什么我的规则块被拆成了好几个？
robots.txt 的规则是「跟着最近的 User-agent 走」的。如果出现了一条规则，后面又写了新的 User-agent，就会开始新的一块。工具按这个真实语义解析，所以块的数量和你写的位置有关，合并连续的 User-agent 行可以少建块。
Allow 一定优先于 Disallow 吗？
在 Google 和 Bing 里是的，匹配最长的规则优先，长度相同时 Allow 优先。但百度对 Allow 的支持不如这两家完整。最保险的做法是别让两者产生冲突，把规则写得干脆一点。
通配符 * 和 $ 能用吗？
Google、Bing 完全支持；百度部分支持，行为不完全一致。如果只是屏蔽普通目录，用最朴素的路径写法兼容性最好。工具会在检测到通配符时提醒你这一点。
Crawl-delay 还有用吗？
Google 已明确声明忽略它；Yandex、Bing 部分支持；百度在抓取压力大时会参考。真正想控制抓取频率，应该在搜索资源平台里设置抓取频次，而不是依赖这个指令。
哪些是合法指令？
常见的就是 User-agent、Disallow、Allow、Sitemap、Crawl-delay，加上 Yandex 专用的 Host 和 Clean-param。其他指令写了搜索引擎会忽略，工具会把这些不认识的指令单独列出来提醒你。
相关工具
页面链接分析（内链/外链）
在线页面链接分析工具
网页头部信息提取与体检
把网页源码粘进来，一次把 title、description、keywords、viewpo
外链 rel 属性检查（nofollow）
付费链接没加 sponsored、用户评论里的链接没加 nofollow、新窗口打开没加 n
图片 alt 与属性批量检查
一页几十张图，漏写 alt、alt 写成文件名、没写宽高造成页面抖动，这些靠肉眼查很费劲
JSON-LD 结构化数据检查
结构化数据写错一个逗号，整段就静默失效，页面上看不出任何异常
HTTP 安全响应头对照表
HTTP 安全响应头对照表，收录 HSTS、CSP、X-Frame-Options、X-Co
站长工具 · 该分类共 57 个工具，展开查看全部
robots.txt 在线生成Sitemap 在线生成UTM 链接生成器网站统计代码生成域名批量生成桌面快捷方式生成TDK 生成器（标题/描述/关键词）批量网址检测脚本生成CIDR 网段计算子网掩码计算IP 转数字 / 数字转 IP关键词密度分析网页源码转纯文本HTML 转 Markdown页面链接分析（内链/外链）页面图片提取与 alt 检查网页表格提取网页源码 SEO 体检robots.txt 检测TDK 长度检查模拟蜘蛛抓取分析公共 DNS 服务器地址表电信 DNS 服务器地址表（各省）联通 DNS 服务器地址表（各省）移动 DNS 服务器地址表（各省）铁通 DNS 服务器地址表教育网 DNS 服务器地址表（CERNET）搜索引擎高级语法速查在线广告尺寸对照表网站上线检查清单HTTP 安全响应头对照表HTTP 响应头对照表域名 DNS 解析查询网站图标 Favicon 地址获取网页链接提取与内外链分类网页头部信息提取与体检ICP 备案号格式校验文本 Gzip 压缩率实测TDK 标题描述批量校验外链 rel 属性检查（nofollow）图片 alt 与属性批量检查JSON-LD 结构化数据检查Meta 标签生成器（含 OG）viewport 与移动端适配检查TDK 批量提取为表格网络延迟与路由检测命令端口连通性检测命令SSL 证书检查命令DNS 诊断与污染排查命令页面性能指标采集代码域名可注册批量查询脚本死链批量检测脚本IP 归属地批量查询脚本DNS 解析耗时测试页网站截图 API 方案整理重定向与伪静态规则生成器关键词组合批量生成