robots 和 sitemap,是网站跟搜索引擎之间的'协议'和'地图'。
robots.txt 是告诉搜索引擎哪些能爬哪些别爬,比如后台、购物车这些没必要被抓的页面,可以在里面挡住。sitemap(站点地图)则是主动把你有哪些页面列出来,递给搜索引擎,方便它发现和抓取。
我犯过的错:一开始什么都不会配,搜索引擎有些页面抓不到,白白少一堆收录。后来配好 sitemap,收录效率明显改善。
真不难,搜索引擎官方后台都有提交入口,照着填就行。配好了,等于给蜘蛛发了张清清楚楚的地图。
—— 来自 图趣网 - 优秀网站分类目录 的分享