robots 和 sitemap，这两个词听着像天书，其实说白了，就是你的网站跟搜索引擎之间的"协议"和"地图"。搞懂了这一对搭档，搜索引擎来你家网站逛的时候，就不会迷路，也不会跑错地方。
先讲 robots.txt。它是个放在网站根目录的纯文本文件，相当于贴在门口的告示。上面写着，哪些地盘欢迎搜索引擎进来逛，哪些地方请勿入内。为啥要拦着点呢？因为有些页面，让搜索引擎抓到反而不好。比如你的后台登录页，抓了有啥用，徒增风险。再比如购物车、下单页，这些页面内容千篇一律，被抓了会稀释你整站的质量。还有那些搜索结果页、筛选参数页，一抓就是成千上万个类似的页面，把蜘蛛的力气全耗在这些没用的地方了。用 robots 把它们挡住，等于让蜘蛛把精力花在刀刃上。
再讲 sitemap，也就是站点地图。robots 是"拦"，sitemap 是"请"，方向正好相反。sitemap 就是你主动把你站点里有哪些页面列成一张清单，递到搜索引擎面前，跟人家说"我家就这些地方，欢迎都来看看"。它最大的好处是主动。你不给地图，蜘蛛只能顺着链接一点点爬，爬得慢，还可能漏掉一些深藏的页面。你给了地图，蜘蛛按图索骥，收录效率立马不一样。
我在这上面实实在在犯过错，印象特别深。刚做站那会儿，我啥都不懂，robots 和 sitemap 一概没配。结果就是，搜索引擎有些页面压根抓不到，我写了一堆东西，收录的没几个，白白少了一大块流量。那时候我还纳闷，我内容写得挺好的啊，怎么没流量呢。后来一查才明白，人家蜘蛛根本不知道我有那些页面。等我老老实实配好 sitemap 提交上去，收录效率明显就改善了，那感觉，就跟堵了很久的水管终于通了一样。
那具体怎么配呢？说实话，真不难。robots.txt 你就写几行，通用的允许抓取，然后把你不想被抓的路径列出来，比如后台目录，用 Disallow 标一下。sitemap 更省事，现在很多内容管理系统都能自动生成，你甚至可以写个脚本，把站点里的页面动态列出来，让 sitemap 实时更新。最后，去搜索引擎的官方后台（比如百度的搜索资源平台），找到提交入口，把 sitemap 的地址填进去，点提交，完事。
我再嘱咐一句，配好之后别就不管了。你网站新增了内容，sitemap 得跟着更新，不然搜索引擎还是只知道你那些老页面。现在很多方案都能做到自动更新，你设置一次就不用操心了。
一句话，robots 和 sitemap 配好了，等于给蜘蛛发了张清清楚楚的地图，还捎带告诉了它哪扇门别进。这活儿花不了你半小时，收益却能持续很久，性价比高得很。
