抓取预算分配,前后对比说给你听。我这边最明显的一次变化是新文章被抓的时间。
改之前,新文章平均要两周才被看到。改之后最慢三天,最快当天。中间没做什么神奇的事,就是把浪费堵住了。
第一处浪费是标签页。几千个标签互相链,爬虫陷在里面出不来。我把没内容的挡掉,有内容的合并进栏目。
第二处浪费是死链和跳转链。一百多条 404 加上一堆多级跳转,每条都要花一次请求。清理完,日志里明显清爽。
第三处浪费是 sitemap 塞太满。我之前放了好几万条,重要的新页面被摊薄排在后面。现在只放最近更新的几百条。
第四处是参数页。排序、筛选、utm 全挡掉。
反过来也要照顾。新文章的内链一定要有,从首页或栏目进得去,别指望爬虫自己发现。我加了一个「最近更新」区块,效果立竿见影。
—— 来自 图趣网 - 优秀网站分类目录 的分享