robots协议是网站与搜索引擎爬虫之间的重要约定,直接影响页面能否被收录。合理配置robots.txt,既能引导爬虫高效抓取,也能保护后台、隐私等敏感目录不被索引,是SEO基础工作中不可忽视的一环。
robots.txt需放置在网站根目录,通过User-agent指定爬虫,通过Disallow和Allow控制路径。常见写法如下:
注意规则按最长匹配优先,Allow与Disallow冲突时通常以更具体的路径为准。
若需彻底阻止索引,应配合noindex元标签或HTTP响应头使用。
robots.txt本身不是排名因素,但会影响抓取效率和索引范围。被禁止抓取的页面通常不会被收录,但已收录页面可能仍显示在结果中。对于电商筛选页、搜索结果页等低质页面,可通过robots限制抓取,集中抓取预算到核心内容。
建议定期使用搜索引擎站长工具的robots测试功能验证规则,上线前检查是否误屏蔽CSS、JS资源,并在网站改版时同步更新robots.txt。合理使用robots协议,才能让爬虫与网站形成良性协作。