电商网站改善爬虫抓取和收录会有怎样的效果？

在技术层面挖掘SEO的改进空间常常会有意想不到的收获，网站规模越大，SEO技术分析也越重要，下面这个案例就是通过减少网站80%的收录结果，却带来网站营收的明显增长。

网站营收是最佳KPI

通过提升搜索引擎爬虫的抓取效率，可以带来页面收录的提升，网站权重的提升，关键词排名的提升，但是最有价值的，尤其对电商网站而言，就是销售额的提升。

2017年春天起我们就着手改进爬虫抓取和收录的问题，到了夏天初见成效，目录页面同比增长了23.5%的销售额，17年全年增长了54.9%的销售额，当然同时期SEO也在增长，但是我们更看重的是网站营收
 

17年初，我们的网站被Google收录了50万条页面，但是我们决定让其中的40万条（主要是目录页）从Google索引中消失，到年底我们的确完成了目标，收录下降到了10万条页面

也就是说清空了80%的收录，为什么要这么做，因为搜索引擎收录了大量的无用和重复的目录页面，我们想帮助搜索引擎更好地理解网站结构

另外，在清除收录前，一定要看看网站统计这些重复无效的页面是否还能带来自然流量。其实，我们做出降低收录的决定也是基于数据分析，被收录的50万URL，只有8.55%的页面在30天才能带来一个以上的点击，实在是让人胸闷。

网址中的筛选参数

几乎所有电商网站都会在网页地址中使用筛选参数，我们从Google Analytics的数据里发现，一个目录页竟然对应着58个不同的URL，且绝大多数都是能被搜索引擎可抓取可收录的。

因此第一件事就是收集网站上的所有参数（通过Google网站管理员工具，GA，日志文件等等），然后区分分析每个参数的作用

你会发现部分参数的添加与否，在页面前台没有变化，这类参数其实是不适合开放给搜索引擎访问的。而另一类参数呢，添加之后页面内容会发生变化（例如产品的尺码、颜色等属性），因此被收录是有意义和有价值的。但是如果你综合权衡下来，觉得页面变化不大，也不想让搜索引擎访问，其实也不妨做个测试看看禁止访问前后的数据变化。

确定好有用和无用的筛选参数后，我们再Google和Bing的网站管理员后台做好了配置，告诉搜索引擎哪些参数可以收录，哪些参数不需要收录。不过我建议除了在搜索引擎网站后台提交外，在网站的代码端也做相应处理。

多维度导航

多维度导航导致的SEO问题在电商网站中也很常见，不同的筛选项会组合成很多种URL，好处是新增大量页面，坏处是这些页面相似度太高，价值并不大。下面是常见的筛选项

品牌性别颜色价格高低销量高低

这几个参数就能组合生成几千个URL，我们有一套机制去判断是否要新增筛选项和维度。

维度

可被搜索引擎访问和抓取<li包含 canonical="" 标签如果相同维度被复选，则不可被搜索引擎访问

筛选项

不可被搜索引擎访问包含noindex标签使用在网站管理员后台提交过的参数Use URL parameters that are configured in Google Search Console and Bing Webmaster tools.

总结

本文说的技术层面改进SEO的方法，其实原理上并不复杂，执行起来也不困难，但其实效果可是杠杠的。