先区分“旧”和“薄”
文章发布年份久并不等于低价值。一个 2016 年的技术问题如果仍有完整背景、操作步骤和限制,依然可以帮助读者。真正需要处理的是空 frontmatter、只有一句待办、只贴一段命令却不解释上下文,或者标题承诺了完整主题、正文却没有完成的页面。
这次博客共有 71 篇 Markdown。整文件不足 600 字符的有 11 篇,其中最短页面只有标题和日期,另一些正文不足一段。字符数只是发现候选项的闸门,不是通用质量标准;最终仍要打开候选文章,确认它是否能独立回答问题。
为什么不直接删除
历史文章可能被旧书签、聊天记录或其他页面引用。删除后返回 404,会让仍需要这些碎片信息的访问者失去路径,也丢掉站内标签和时间线的连续性。为每篇短文强行扩写同样不诚实:如果没有新的实践证据,增加泛化段落只会制造更多看似完整的低价值内容。
保留 URL 能维护历史;退出索引则明确告诉搜索引擎,这些页面不应作为搜索落地页。两者并不冲突。
noindex, follow 的具体语义
目标文章在 frontmatter 中增加 indexing: false。主题根据这个字段输出 <meta name="robots" content="noindex, follow">。noindex 请求搜索引擎不要把当前页保留在结果中;follow 允许抓取器继续发现页面上的站内链接。
页面仍返回 200,站内归档也可访问。它不是通过 robots.txt 阻止抓取,因为抓取器需要看到 meta 标签才能执行 noindex。把页面同时 Disallow 会让指令彼此妨碍。
sitemap 只保留希望被索引的地址
原 sitemap 生成器把所有 posts 和 pages 无条件加入列表。本轮修改后,带有 indexing: false 的文档会在生成阶段被过滤。这样 sitemap 的含义保持清晰:它列出站点主动推荐抓取和索引的规范页面,而不是所有仍能访问的历史 URL。
页面 meta 与 sitemap 必须同时验证。只从 sitemap 删除但不加 noindex,搜索引擎仍可能通过归档页发现并索引;只加 noindex 但继续写入 sitemap,则持续发出“请抓取”和“不要索引”的混合信号。
广告也不该加载在退出索引的薄页
AdSense loader 由主题全局注入时,空页也可能出现自动广告,形成广告比正文更突出的体验。主题因此把同一个 indexing: false 作为广告边界:这类页面不再加载自动广告脚本。内容页恢复为有价值、可索引后,移除字段即可同时恢复索引与广告资格。
这种联动不是说所有 noindex 页面都永远不能放广告,而是针对当前博客的保守策略。联系页、预览页或内部工具有各自的用途,不能把一条规则机械套到所有网站。
如何判断何时可以重新进入索引
整改一篇文章时至少补齐:问题发生的环境、可复现现象、实际采用的方法、验证结果和已知限制。如果内容来自旧版本,还要明确时间范围,避免读者把过时命令当成当前建议。完成后由人工复读,再移除 indexing: false。
网站质量治理不是一次大扫除。新文章发布前应阻止空模板进入生产;旧文章则按真实价值分批补写、合并或退出索引。目标不是让 sitemap 数字更好看,而是让每一个被推荐给搜索用户的 URL 都能兑现标题。
本轮还会在构建后反向验证数量:目标十一页都必须出现 robots 指令、都不能加载广告、也不能出现在 sitemap;未标记的文章则保持正常索引。规则只有能被自动检查,才不会在下一次主题更新时悄悄失效。