当前位置:首页百度lee:搜索引擎索引系统概述(一) 举报文章

百度lee:搜索引擎索引系统概述(一)

作者:admin    来源:用户投稿    时间:2015.6.10   

  从上次8月份百度站长平台lee发布关于搜索引擎抓取信息后2个月已经过去,这次lee继续发布了搜索引擎索引系统的信息。不管怎么样,木木SEO认为百度官方的公告我们还是要了解和分析的。下面是百度官方公告:

  众所周知,搜索引擎的主要工作过程包括:抓取、存储、页面分析、索引、检索等几个主要过程。过去几周给大家介绍了抓取相关的简要过程。今天简要介绍一下索引系统,以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针,也许一定的时间内可以完成查找,但是用户等不起,从用户体验角度我们必须在毫秒级别给予用户满意的结果,否则用户只能流失。怎样才能达到这种要求呢?

  如果能知道用户查找的关键词(query切词后)都出现在哪些页面中,那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程,而检索即变成了页面名称之间的比较、求交。这样,在毫秒内以亿为单位的检索成为了可能。这就是通常所说的倒排索引及求交检索的过程。如下为建立倒排索引的基本过程:

  

  (1)页面分析的过程实际上是将原始页面的不同部分进行识别并标记,例如:title、keywords、content、link、anchor、评论、其他非重要区域等等;

  (2)分词的过程实际上包括了切词、分词、同义词转换、同义词替换等等,以对某页面title分词为例,得到的将是这样的数据:term文本、termId、词类、词性等等;

  (3)之前的准备工作完成后,接下来即是建立倒排索引,形成{termàdoc},可以粗略的理解为如下,为什么是【term->doc】,而不是直接应用【doc->term】呢?

  

  上述即是索引系统中的倒排索引过程,是搜索引擎实现毫秒级检索非常重要的一个环节。

  好了,以上就百度发布的全文了,当然是很简单的,想了解更多可以看木木SEO的《不懂搜索引擎原理就是在裸奔》,我想大家在里面可以了解得更详细。另外上面文章里面的几个词可能大家不理解,简单的说一下:term就是单词文本,即关键词;termID就是单词标识。

  文章编辑自:木木SEO博客 http://blog.sina.com.cn/mumuhouzi

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:百度  搜索  搜索引擎  索引  引擎  系统  概述  
  • 相关搜索
图片推荐
    谈谈自媒体原创与转载的不同,涨粉靠的是原创文章?

    谈谈自媒体原创与转载的不同,涨粉靠的是原创文章?

    不少新媒体人头痛,做原创公众号好?还是非原创公众号好?原创指的是由自己创作的原创内容,非原创指的是转载、抄袭、洗稿等内容。原创文章是不是更容易涨粉?但原创内容成本很高怎么办?今天发原创文章,明天发非原
    一群小蚂蚁凭什么顶起近四千亿估值

    一群小蚂蚁凭什么顶起近四千亿估值

    一个月不黑风不高的晚上,杭州万塘路18号黄龙广场B座,闪进一个穿着西服套装的身影。他看起来与加班的白领没什么区别,但保安却觉得有点不对劲,当场拿下,果然从身上翻出盗窃工具,马上扭送派出所。  这个段子
    杜一楠的反躬自省与24券的墓志铭

    杜一楠的反躬自省与24券的墓志铭

    杜一楠的这次出现,少了火药味,取而代之的是反躬自省的姿态。  24券倒了,创始人杜一楠静默了近三个月后再次出现。对他来说,去年9月份与投资方的那场互相指责弄得双方都不好看,最终公众对两者各自辩解的事实
    百花园传媒创始人辛东方:优质内容不缺少投资人

    百花园传媒创始人辛东方:优质内容不缺少投资人

    移动互联网创业大潮,从2012年开启到2016年,短短的四年间,商业模式和赚钱方式都悄悄的变化了,逐渐转移到以移动手机端巨大的流量入口上。移动互联网冲击着传统电商,淘宝、京东、亚马逊、一号店等实力雄厚
    微商十大奇葩广告套路:武媚娘也被玩坏了

    微商十大奇葩广告套路:武媚娘也被玩坏了

    【编者按】朋友圈被柴静和她的《苍穹之下》刷屏了。不管你愿不愿意接受,同不同意她的看法,事实上,这个公共议题就如此暴力地展现在你的面前,不由分说。除非你屏蔽掉你的至亲好友。不可否认,《苍穹之下》不失为一
    刷10万+的工具在淘宝被举报后 猜猜发生了啥?

    刷10万+的工具在淘宝被举报后 猜猜发生了啥?

    刷微信公众号的10万+,和淘宝有什么关系呢?    淘宝是普通用户刷量的得力助手,基本上你想买的东西,在淘宝都能找到,所以各种互联网点券、会员服务,在淘宝基本可以买到。  昨天朋友圈的主题是不少10万
    QQ群营销攻略:群主与群员两种角色的营销方式

    QQ群营销攻略:群主与群员两种角色的营销方式

    身处互联网的时代,网络营销的发展也将是势在必行的。QQ群营销是互联网营销推广非常常见的一种方式,大到企业商家,小到个人都是经常要用到QQ群来做推广,但是大家都知道用QQ群去做营销推广,却不甚了解这其中
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面