联系方式

全国服务热线

18530851009
TOP

电商网站改善爬虫抓取和收录会有怎样的效果?

责任编辑:admin  发布时间:2019-07-16

在技术层面挖掘SEO的改进空间常常会有意想不到的收获,网站规模越大,SEO技术分析也越重要,下面这个案例就是通过减少网站80%的收录结果,却带来网站营收的明显增长。

网站营收是最佳KPI

通过提升搜索引擎爬虫的抓取效率,可以带来页面收录的提升,网站权重的提升,关键词排名的提升,但是最有价值的,尤其对电商网站而言,就是销售额的提升。

2017年春天起我们就着手改进爬虫抓取和收录的问题,到了夏天初见成效,目录页面同比增长了23.5%的销售额,17年全年增长了54.9%的销售额,当然同时期SEO也在增长,但是我们更看重的是网站营收
 


内容并非一切,还需管理抓取与收录.

17年初,我们的网站被Google收录了50万条页面,但是我们决定让其中的40万条(主要是目录页)从Google索引中消失,到年底我们的确完成了目标,收录下降到了10万条页面

也就是说清空了80%的收录,为什么要这么做,因为搜索引擎收录了大量的无用和重复的目录页面,我们想帮助搜索引擎更好地理解网站结构

 

 

另外,在清除收录前,一定要看看网站统计这些重复无效的页面是否还能带来自然流量。其实,我们做出降低收录的决定也是基于数据分析,被收录的50万URL,只有8.55%的页面在30天才能带来一个以上的点击,实在是让人胸闷。

网址中的筛选参数

几乎所有电商网站都会在网页地址中使用筛选参数,我们从Google Analytics的数据里发现,一个目录页竟然对应着58个不同的URL,且绝大多数都是能被搜索引擎可抓取可收录的。

因此第一件事就是收集网站上的所有参数(通过Google网站管理员工具,GA,日志文件等等),然后区分分析每个参数的作用

你会发现部分参数的添加与否,在页面前台没有变化,这类参数其实是不适合开放给搜索引擎访问的。而另一类参数呢,添加之后页面内容会发生变化(例如产品的尺码、颜色等属性),因此被收录是有意义和有价值的。但是如果你综合权衡下来,觉得页面变化不大,也不想让搜索引擎访问,其实也不妨做个测试看看禁止访问前后的数据变化。

 

确定好有用和无用的筛选参数后,我们再Google和Bing的网站管理员后台做好了配置,告诉搜索引擎哪些参数可以收录,哪些参数不需要收录。不过我建议除了在搜索引擎网站后台提交外,在网站的代码端也做相应处理。

多维度导航

多维度导航导致的SEO问题在电商网站中也很常见,不同的筛选项会组合成很多种URL,好处是新增大量页面,坏处是这些页面相似度太高,价值并不大。下面是常见的筛选项

品牌性别颜色价格高低销量高低

这几个参数就能组合生成几千个URL,我们有一套机制去判断是否要新增筛选项和维度。

维度

可被搜索引擎访问和抓取<li包含 canonical="" 标签如果相同维度被复选,则不可被搜索引擎访问

筛选项

不可被搜索引擎访问包含noindex标签使用在网站管理员后台提交过的参数Use URL parameters that are configured in Google Search Console and Bing Webmaster tools.

总结

本文说的技术层面改进SEO的方法,其实原理上并不复杂,执行起来也不困难,但其实效果可是杠杠的。