搜索引擎抓取和收录页面的过程

　　搜索引擎对网页的收录是一个复杂的过程，简单来说，收录过程可以分为：抓取、过滤、建立索引和出结果。下面和大家简单说一下这几个步骤，让你可以清楚你的网页从你发布之后是如何被搜索引擎收录并获得相关排名的。

　　

　　1、抓取

　　网站的页面有没有被搜索引擎收录，首先要看一下网站的蜘蛛访问日志，看一下蜘蛛有没有来，如果蜘蛛都没有抓取，那是不可能被收录的。蜘蛛访问网站的日志可以从网站的IIS日志里面看到，如果搜索引擎蜘蛛没有来呢?那么就主动向搜索引擎提交，搜索引擎会派出蜘蛛来抓取网站，这样网站才有可能被尽快收录。

　　如果你不会分析网站的日志也没有关系，这里推荐爱站SEO工具包，将网站的日志导入到这个工具之后，就能看到日志的分析，你能从中得到很到信息。

　　广度优先抓取：广度优先抓取是按照网站的树形结构，对一个的层进行的抓取，如果此层没有抓取完成，蜘蛛不会进行下一层的搜索。(关于网站的树形结构，会在后续的日志中进行说明，在没有发布文章之后，在此会添加连接)

　　深度优先抓取：深度优先抓取是按照网站的树形结构。按照一个连接，一直抓取下去，知道这一个连接没有再往下的链接为止，深度优先抓取又叫纵向抓取。

　　(注意：广度优先抓取，适用于所有情况下的搜索，但是深度优先抓取不一定能适用于所有情况。因为一个有解的问题树可能含有无穷分枝，深度优先抓取如果误入无穷分枝(即深度无限)，则不可能找到目标结束点。所以，深度优先抓取策略很多时候是不会被使用的，广度优先的抓取更加的保险。)

　　广度优先抓取适用范围：在未知树深度情况下，用这种算法很保险和安全。在树体系相对小不庞大的时候，广度优先也会更好些。

　　深度优先抓取适用范围：刚才说了深度优先抓取有自己的缺陷，但是并不代表深度优先抓取没有自己的价值。在树型结构深度已知情况下，并且树体系相当庞大时，深度优先搜索往往会比广度优先搜索优秀。

　　2、过滤

　　网站的页面被抓取了并不代表一定会被收录。蜘蛛来抓取了之后，会把数据带回去，放到临时的数据库中，再进行过滤，过滤掉一些垃圾的内容或者是低质量的内容。

　　你页面的信息如果是采集，在互联网上有大量的相同信息，搜索引擎就很有可能不为你的网页建立索引。有时候我们自己写的文章也不会被收录，因为原创的不一定就是高质量的。关于文章质量的高低，我会在以后的文章中单独拿出一篇来和大家详细讨论。

　　过滤这一过程就是一个去掉糟粕的过程，如果你的网站的页面顺利通过了过滤这一过程，说明页面的内容达到了搜索引擎设定的标准，页面会就会进入建立索引和出结果这一步。

　　3、建立索引与出结果

　　这里，我们把建立索引和出结果合在一起进行说明。

　　通过一系列的过程之后，符合收录的页面之后会建立索引，建立索引之后就是出结果，也就是我们在搜索关键词后，搜索引擎展示给我们的结果。

　　当用户在搜索关键词时搜索引擎就会出结果，出的结果是有顺序排列的。这些结果排序是根据一系列复杂的算法来排定的。比如：页面的外链，页面与关键词的匹配度，页面的多媒体属性等。

　　在出的结果中，还有一些结果是通过抓取之后直接可以出的，没有经过中间复杂的过滤和建立索引等过程。什么样的内容和什么样的情况下才会发生的呢?那就是具有很强的时效性的内容，比如新闻类的。比如今天发生了一件特大事件，各大门户和新闻源快速发出了关于事件的新闻，搜索引擎会迅速对重大新闻事件作出反应，快速收录相关的内容。

　　百度对于新闻的抓取速度是很快的，对重大事件的反应也比较及时。但是这里还有一个问题就是，这些发布的新闻如果有低质量的页面会怎么办?搜索引擎会在出结果之后，仍然对这一部分新闻内容进行过滤，如果页面内容与新闻标题不符，质量过低，那么低质量的页面还是会被搜索引擎过滤掉。

　　在出结果的时候，搜索引擎会多多少少会对搜索结果进行人工干预，其中以百度为最严重，在百度很多关键词的自然搜索结果中被加入了百度太多自家的产品，而且很多是没有考虑用户体验的，这也是百度被大家诟病的原因之一，有兴趣的朋友可以百度一个词看一下搜索结果，是不是百度自家的产品占据了太多的首页位置。

　　我是刘旭，我的微信公众平台：a1719752001，希望能和大家多多交流。