一次日志分析，揪出浪费了我半年抓取预算的元凶。这个发现让我重新认识了日志的价值。
那时候我的站收录一直不理想。内容在持续更新，技术上也没问题，但收录速度就是慢。我查了各种地方，都没找到原因。
后来我认真做了一次日志分析。把搜索引擎近一个月的抓取记录拉出来，按 URL 类型做了分类统计。结果让我很意外。
我发现，搜索引擎每天来抓两百多次，其中有一百五十次抓的是标签页。我的站每个标签都能生成一个页面，而这些页面内容高度重复，价值很低。但搜索引擎好像特别爱抓它们，因为标签页之间互相链接，形成了很密的网。
真正的内容页，一天只被抓好几次。
这就是问题所在。我的抓取预算，被标签页吃掉了七成多。内容页分到的预算很少，收录自然就慢。
我的处理是把标签页设成不索引，同时减少标签页之间的互相链接。改完之后，大概两周，搜索引擎的抓取重心就转到了内容页。再往后一个月，收录速度明显加快。
这个案例的关键是，你不做日志分析，就永远不知道搜索引擎在抓什么。工具报告只能给你推测，日志给你的是事实。这个动作我建议每个做SEO的人都养成，尤其是在收录有问题的时候，日志是第一手的诊断材料。
—— 来自 图趣网 - 优秀网站分类目录 的分享
