关于 URL 参数处理,具体怎么做,我按优先级排一下。
第一优先,能改成路径的就改。品牌筛选从 ?brand=nike 变成 /brand/nike。路径好读,好记,也不会因为参数顺序不同生出两条地址。
第二优先,限制组合爆炸。筛选维度只允许一个生效,第二个维度起回退到默认。我那个商城原来三个维度随便组合,一年几十万地址,改完缩到几千。
第三优先,canonical 收敛。剩下的带参页面统一指向干净版本,让搜索引擎知道哪个是主。
第四优先,robots 挡噪声。utm 跟踪、排序、分页过深、会话 ID,这些一律挡掉,它们不产生任何真实页面价值。
第五,统一大小写和末尾斜杠。服务器配置做 301,一分钟解决,我拖了半年才发现索引里两套地址并存。
做完这些看日志,重复抓取能少一半以上,新页面被抓的时间也提前。
—— 来自 图趣网 - 优秀网站分类目录 的分享