robots协议详解:robots.txt写法与SEO收录规则指南

📍 WDQWDWQD987AAAAA:216.73.216.128
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /cb3ecaaae934.html
📄

robots协议是网站与搜索引擎爬虫之间的重要约定,直接影响页面能否被收录。合理配置robots.txt,既能引导爬虫高效抓取,也能保护后台、隐私等敏感目录不被索引,是SEO基础工作中不可忽视的一环。

robots.txt的基本语法

robots.txt需放置在网站根目录,通过User-agent指定爬虫,通过Disallow和Allow控制路径。常见写法如下:

注意规则按最长匹配优先,Allow与Disallow冲突时通常以更具体的路径为准。

常见配置误区

  1. 使用Disallow: /屏蔽整站,导致页面无法被收录
  2. 把robots.txt放在子目录,爬虫无法读取
  3. 误以为robots能阻止页面被索引,实际上它只限制抓取
  4. 规则过于复杂,爬虫解析出现偏差

若需彻底阻止索引,应配合noindex元标签或HTTP响应头使用。

robots与SEO收录的关系

robots.txt本身不是排名因素,但会影响抓取效率和索引范围。被禁止抓取的页面通常不会被收录,但已收录页面可能仍显示在结果中。对于电商筛选页、搜索结果页等低质页面,可通过robots限制抓取,集中抓取预算到核心内容。

实用建议

建议定期使用搜索引擎站长工具的robots测试功能验证规则,上线前检查是否误屏蔽CSS、JS资源,并在网站改版时同步更新robots.txt。合理使用robots协议,才能让爬虫与网站形成良性协作。

图1 图2

nginx