Robots 元标记是什么：告诉搜索系统页面能否索引和预览
解释 noindex 与摘要控制的作用，区分页面标记、HTTP 标头和 robots.txt，并说明实际抓取才能读取规则。
先理解这个概念
Robots 元标记是页面中向支持的搜索系统表达索引或预览控制的方式，相关规则也可通过 HTTP 标头提供。noindex 用于要求不纳入搜索索引，不能与 robots.txt 的抓取控制混同。搜索系统需要取得规则才能处理，若先阻止抓取，就可能读不到页面标记。配置后仍应检查线上响应及外部处理状态，不能只看源码已改。
索引控制与抓取控制作用不同
Google 的元标记说明覆盖 noindex 及预览规则，robots.txt 则管理爬虫访问路径。页面不被抓取不一定等于 URL 不会出现在结果中，链接等信息仍可能让系统知道地址。反过来，页面可以允许抓取并要求 noindex，以便规则被读取。不同爬虫支持范围不同，应核对目标系统，不能把一个标签当作所有服务的统一权限控制。敏感资料仍应依靠认证和访问限制，搜索标记不是保护文件内容的安全边界。
同一页面核对线上标记和响应头
例如公开测试页预期不进入索引，检查真实响应中的标记和 X-Robots-Tag，再核对是否被抓取规则意外阻挡。不要只改本地模板却遗漏线上旧缓存。若能使用索引检查工具，保存其观察状态，确认更新已被处理；一次 HTTP 返回不能证明外部索引立即变化。本文没有修改任何搜索控制或提交移除，例子属于核查设计。预览限制也应核对具体语义，不能为了短摘要误设为整页不索引。
模板更新后检查意外继承和冲突
站点模板可能让测试用 noindex 传播到正式页面，发布时应对重要路径逐页核对。规则变化要保留版本和恢复方式，检查 CDN 或服务器是否另加标头。成本包括线上与搜索状态复查，而非只插入标签。撤回内容时按真正目标选择控制，并同步内链与站点地图。最终分别报告配置是否生效和外部是否处理，未观察到搜索结果变化时保留待确认，不将标记正确当作必然展示或必然立即消失。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。