当前位置:首页从百度蜘蛛IP段爬行日志分析收录情况是否可信 举报文章

从百度蜘蛛IP段爬行日志分析收录情况是否可信

作者:admin    来源:用户投稿    时间:2015.6.10   

  笔者近日刚刚上线一个新站,于是开始关注一些有关SEO的信息,偶然间搜索到一篇文章,题为:“百度蜘蛛IP段详解”,内容为介绍通过分析网站日志中百度蜘蛛爬行的IP段来了解网站首页或内页的收录放出情况。看后,笔者便亲自试验了一下,发现可能并不可信。

  文中曾提到:“220.181.108.95这个是百度抓取首页的专用IP,如是220.181.108段的话,基本来说你的网站会天天隔夜快照,绝对错不了的,我保证。”

  那么笔者查询了下日志中,IP为220.181.108.95的蜘蛛爬行日志:“220.181.108.95 - - [31/Dec/2013:12:04:42 +0800] "GET / HTTP/1.1" 400 39 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"”,笔者的站地址为:一问网日志爬行时间为2013年12月31日中午12点,截止投稿前,首页快照还停留在几个月以前,并未如文章中所说隔夜快照。

  此时笔者便有了疑问,于是又找了一个文中作者曾经保证过的另外一个IP,文中原文为:“220.181.108.*段IP主要是抓取首页占80%,内页占30%,这此爬过的文章或首页,绝对24小时内放出来和隔夜快照的,这点我可以保证!”

  而笔者又查询了下日志中是否存在此IP,发现确实存在,而且还不少:

  220.181.108.116 - - [31/Dec/2013:03:17:17 +0800] "GET / HTTP/1.1" 200 3652 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"

  220.181.108.112 - - [31/Dec/2013:07:56:58 +0800] "GET / HTTP/1.1" 200 3652 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"

  220.181.108.108 - - [31/Dec/2013:08:55:43 +0800] "GET / HTTP/1.1" 200 3652 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"

  220.181.108.80 - - [31/Dec/2013:09:57:11 +0800] "GET / HTTP/1.1" 400 39 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"

  由于内容过多,便不过多列举,像文中作者所保证的("220.181.108.*段IP主要是抓取首页占80%,内页占30%,这此爬过的文章或首页,绝对24小时内放出来和隔夜快照的"。)结果并未出现,一问网www.yiwen.cn,至今距离百度蜘蛛爬过已经过48小时,并未放出。

  由此可见,网上所流传的百度蜘蛛IP段详解可能并不可信。以上是笔者的一人之见,请大家多多批评指教,欢迎大家找我讨论,邮箱:z#yiwen.cn(请把#换成@)。

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:百度  蜘蛛  爬行  日志  分析  收录  情况  是否  可信  
  • 相关搜索
图片推荐
    为你读诗微信号同名APP被判侵权  最终赔款20万元

    为你读诗微信号同名APP被判侵权 最终赔款20万元

    前瞻科技 12 月 7 日讯,微信公众平台的兴起使得 Web 终于有了可以和 APP 一较高低的平台,两者之间的竞争关系也逐渐加深。近日,为你读诗App 的所有者被为你读诗微信公众号所有者起诉,最终前
    网红吸金惊人 是“黄金时代”还是“泡沫宿命”?

    网红吸金惊人 是“黄金时代”还是“泡沫宿命”?

    靠每次不到5分钟的短视频在网络平台走红,迅速积累800多万粉丝的网络红人papi酱,近日获得了1200万元投资,估值上亿。一时间,不少网民也开始摩拳擦掌:德国小伙子阿福以上海话吐槽洋女婿的种种烦恼,被
    浅谈:一个网站如何做到刚放出就被收录

    浅谈:一个网站如何做到刚放出就被收录

    网站被收录才会有关键词排名,收录是排名的基础,所以收录对于关键词排名就犹如房子对地基的关系。这里附上笔者网站刚放出就被收录的截图:  首先说明一点,由于网站备案的缘故,以及文章修改的问题。域名也只是在
    315让你淘的开心:2015年网购维权全攻略

    315让你淘的开心:2015年网购维权全攻略

    IT之家讯 明天就是3.15消费者权益保障日,一年一度的央视3.15晚会也将再度与我们见面。今年315的主题为消费在阳光下,包括淘宝、京东等这种网购、以及化身商业圈的各种微信朋友圈代购、微店网购等都将
    JS与SEO的关系 站长使用JS代码要有度

    JS与SEO的关系 站长使用JS代码要有度

    当我们谈起SEO的时候,我想更多的一部分人可能把搜索引擎当做是第一用户,往往为了博得搜索引擎的喜欢,而轻视了真正的用户体验。鉴于搜索引擎对待JS的态度,更多的人不愿意去做JS。这是一个误区,而这个误区
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面