页面渲染方式,这几个坑要绕开。我几乎每个都踩过。
第一个坑是内容全靠脚本渲染。源代码里只有一个空壳,搜索引擎第一次来看到的就是壳。我那个站两个月收录不到三成,后来用工具模拟抓取才发现抓到的确实是空的。
第二个坑是关键导航也是脚本生成的。爬虫看不到站内链接,页面之间就断了路。导航、列表、分页这些链接必须写在 HTML 里。
第三个坑是首屏依赖大脚本。整站靠一个几兆的框架启动,用户看着白屏,内容再好也留不住人。
第四个坑是混用。部分内容服务端输出,部分前端渲染,自己都搞不清哪部分被抓到。我的判断办法很土:用 curl 拉页面,看正文在不在里面。
解法我最后选服务端先输出内容、交互再接手,固定页面额外做预渲染。改完那站收录一周内就有了起色。
—— 来自 图趣网 - 优秀网站分类目录 的分享