用服务器日志做SEO审计，比用工具跑出来的报告准得多。因为日志是真实的抓取记录，不是推测。
工具跑出来的报告，是根据它的算法推测搜索引擎会怎么抓你。但真实的抓取情况，只有日志知道。日志里能看到搜索引擎真的来了几次、抓了哪些页面、什么时间来的、返回了什么。这些信息工具给不了你。
那日志审计要看什么。第一，抓取量趋势。每天来几次，一周内的趋势是什么。第二，抓取分布。抓的最多的是哪些页面，最少的或者没抓的是哪些。第三，状态码。有没有大量 404、301、5xx。第四，抓取频率。搜索引擎多久来一次，是不是变慢了。第五，User-Agent。都有哪些爬虫来，有没有假冒的。
分析完之后，重点找几个问题。第一，该抓的没抓。你的核心页面在日志里出现次数很少，说明有问题。第二，不该抓的抓了很多。一堆垃圾页面占了大量抓取，是浪费。第三，异常状态码多。说明有技术问题。
我做过一次日志分析，发现搜索引擎每天来抓，但抓的全是标签页和筛选页，真正的文章页一周才被抓几个。我这才意识到，我的标签页生成了几万个 URL，把预算全吃掉了。做了限制之后，文章页的抓取立刻上来了。
日志分析的价值在于，它给你的是事实。你所有的猜测、所有的工具报告，最终都要用日志来验证。这个习惯我建议每个做SEO的人都养成。
—— 来自 图趣网 - 优秀网站分类目录 的分享
