robots.txt(告诉搜索引擎"哪些页面能抓、哪些不能")是 SEO 的基础文件——但配错的代价很大(Disallow 写错=整站不被抓取)。robots.txt 详解讲一遍:语法、常用规则、常见错误。
先理解 robots.txt 的工作方式:robots.txt 的机制(搜索引擎抓你的站(先看 robots.txt(按规则决定"抓不抓");robots.txt 的位置(**网站根目录**(https://你的域名/robots.txt);robots.txt 是"协议"(**搜索引擎"遵守"它**(不是"强制"的(搜索引擎一般遵守(但它是"建议"不是"法律")。
语法详解(robots.txt 的基本写法):基本格式(User-agent("哪个蜘蛛")+Disallow/Allow("禁止/允许抓哪"));示例:
User-agent: *(所有蜘蛛)
Disallow: /admin/(禁止抓 admin 目录)
Disallow: /search(禁止抓搜索页)
Allow: /(允许抓全站)
常用规则:禁止目录(Disallow: /xxx/——不抓某目录);允许全站(Allow: /);"Sitemap 声明"(Sitemap: https://你的域名/sitemap.xml——告诉搜索引擎 sitemap 在哪——见本站 sitemap 文章);"特定蜘蛛"(User-agent: Baiduspider(只给百度定规则)。
常用规则场景(站长实际要配的):禁止后台(Disallow: /admin/(后台/管理目录——搜索引擎不该抓);禁止动态参数(Disallow: /?(带参数的 URL(重复内容——见本站 URL 规范文章);禁止搜索页(Disallow: /search(站内搜索页(价值低+重复——不让抓);禁止"隐私目录"(Disallow: /user/ /login/(用户相关页面);"空 rules"(**别写"Disallow: /"**(那是"禁止全站"(网站直接被"隐形"——除非你真的不想被收录)。
常见错误(robots 配错的代价):① Disallow: / 禁止全站(新站"不被收录"的第一大原因(检查一下);② 路径写错(大小写/斜杠("Disallow: /Admin"和"/admin"不同——写错=规则无效);③ 语法错误(格式不对(robots 解析不了);④ "禁止了该给的"(CSS/JS 文件被 Disallow(搜索引擎"看不到页面样式"(影响渲染和评估——别禁 JS/CSS);⑤ 忘了 sitemap 声明(Sitemap 声明没写(搜索引擎"自己找"(sitemap 提交少一条路——见本站 sitemap 文章)。检查方法(浏览器访问 robots.txt(看规则);用"robots 测试工具"(站长平台测("模拟抓取"测试(见本站收录提速文章)。
最后说 robots 的正确心态:robots.txt 的定位(**"给搜索引擎'划范围'"**(让搜索引擎抓"该抓的"(不抓"不该抓的")——不是"隐藏网站"(别用 robots 藏违规内容(**"不让抓≠不违规"**(违规内容(搜索引擎有其他手段发现——见本站 SEO 合规文章);robots 的黄金法则(**"尽量开放,只禁必要的"**(搜索引擎抓得越多越好(除非有"明确的理由"禁止(后台、参数页、隐私页)——"开放"是 SEO 的基本态度。配好 robots(语法对+规则对+不禁 CSS/JS)——搜索引擎"进得来",收录才有基础。

