先明晰一些根基点，一个网页被收录与否，有两个身分:

是否被爬虫爬过

页面质量是否过关

上一篇文章已经提过了收录率这么一个指标，许多网站都懒得去做这个指标，“我看看site的数据不就行了！”，究竟上没有这个指标，许多事变就无从动手。从数据中找出题目，操作数据指导办理方案，说明数据验证事变成就。 最近看了《深入浅出数据说明》这个本，认为不错，把数据说明的要领讲得很活跃，提议有乐趣的从事数据说明的同窗可以买本看看。 任何数据说明由，方针->说明->评估->决定，四个环节构成。

方针：我们想看一下网站的收录环境怎样，在SEO方面是否尚有进步的机遇。

说明：收录环境什么算好什么算坏，是不是用一些指标来权衡？网站的收录环境是不是过于笼统，是不是应该细分下各个页面的收录环境？

评估：于是我们必要下面一些数据

> 网站的页面层级相关

> 各个层级页面带来的SEO流量

> 各个层级页面的收录环境怎样

SEO流量的占比可以从Google Analytics中过滤出来。

页面数目可以从数据库得到，可能通偏激车头or廉价小剧本抓取统计。

收录率可以将获取的页面通过器材举办搜索，火车头也可以。

题目立马凸显！

1+2级目次页带来了大量的流量，收录率不是很好，优化收录的流量晋升打破口在此！

产物页面数目许多，收录也不是很抱负，可是带来的流量有限，除了收录题目，尚有页面内容的题目，本文中先不管它了。

决定：我们的结论是立即睁开动作对目次页面举办收录的优化。

看到这边，好像刚开始的方针：“通过优化收录晋升流量”

演酿成了新的方针：“怎样进步目次页面的收录量”

这边能不能再次通过数据说明的要领举办SEO呢？

谜底是必定的！

我们再来从头走一遍 方针->说明->评估->决定 的进程

方针：进步目次页面的收录量

说明：通过本文开始的有关收录的两个身分，我们必要搜查一下，网页是否被爬虫爬行过，网页的质量是不是过关。

1. 关于爬虫的环境，我们必要阐嫡志，才气确定。于是我们从日记中拆分一系列数据看看页面是否真的被爬行过。

2. 因为页面质量好像是一个很难权衡的值，于是我们可以用沟通模板下的：

已被爬行的页面数目/已被爬行而且被收录页面数目

来评估该模板页面质量对收录的影响巨细。假如被爬的页面都被收录了，那至少声名这套页面的内容搜索引擎还算承认。（现实环境远比这个伟大，并且收录后也有也许由于质量题目被删除，但总比什么参照都没有要好，对吧！）

评估：（敏感信息用编号取代，均为真实数据）

先看一下爬虫日记的环境，通过Shell剧本，我们可以说明出。

目次总计被爬行的次数为13000次阁下

不一再的目次爬行次数为5500次阁下

频道A下的目次险些被100%抓取过至少1次，频道B的目次抓取也不错，有70%被至少抓过一次。

别的频道下的目次被抓取的包围率不到30%

不要认为这个功效很神奇，着实许多网站城市面临这样的糟糕题目，只要你把数据不绝的细分，细分，再细分，总会调查出一些眉目标。

关于日记说明，不要迷信赖何的日记说明软件，那都是给懒人用的，廉价剧本+Excel才是王道，可以拆分表现出任何你想要的数据，虽然，乃至可以连Excel都不要。

然后，我们统计了一下被抓得最频仍的频道A和频道B，目次页的收录率

频道A和B是很让人安心的，声名页面质量没题目，可是余下的收录环境就让人较量担忧了。

决定：通过上面的数据评估，我们已经获得了如下结论。

页面质量并不是影响收录的缘故起因。

频道A，B的抓取量非常的高，通过观测相识，原本是首页上的目次页，表现的满是频道A下的目次页，首页又拥有全站最高的权重。频道B拥有比其他频道强盛的外链资源，权重也很是高。

除了A, B频道，其他频道的抓取环境不容乐观，抓取进口太少，太深，进而影响了收录环境。