当前位置:首页从百度蜘蛛IP段爬行日志分析收录情况是否可信 举报文章

从百度蜘蛛IP段爬行日志分析收录情况是否可信

作者:admin    来源:用户投稿    时间:2015.6.10   

  笔者近日刚刚上线一个新站,于是开始关注一些有关SEO的信息,偶然间搜索到一篇文章,题为:“百度蜘蛛IP段详解”,内容为介绍通过分析网站日志中百度蜘蛛爬行的IP段来了解网站首页或内页的收录放出情况。看后,笔者便亲自试验了一下,发现可能并不可信。

  文中曾提到:“220.181.108.95这个是百度抓取首页的专用IP,如是220.181.108段的话,基本来说你的网站会天天隔夜快照,绝对错不了的,我保证。”

  那么笔者查询了下日志中,IP为220.181.108.95的蜘蛛爬行日志:“220.181.108.95 - - [31/Dec/2013:12:04:42 +0800] "GET / HTTP/1.1" 400 39 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"”,笔者的站地址为:一问网日志爬行时间为2013年12月31日中午12点,截止投稿前,首页快照还停留在几个月以前,并未如文章中所说隔夜快照。

  此时笔者便有了疑问,于是又找了一个文中作者曾经保证过的另外一个IP,文中原文为:“220.181.108.*段IP主要是抓取首页占80%,内页占30%,这此爬过的文章或首页,绝对24小时内放出来和隔夜快照的,这点我可以保证!”

  而笔者又查询了下日志中是否存在此IP,发现确实存在,而且还不少:

  220.181.108.116 - - [31/Dec/2013:03:17:17 +0800] "GET / HTTP/1.1" 200 3652 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"

  220.181.108.112 - - [31/Dec/2013:07:56:58 +0800] "GET / HTTP/1.1" 200 3652 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"

  220.181.108.108 - - [31/Dec/2013:08:55:43 +0800] "GET / HTTP/1.1" 200 3652 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"

  220.181.108.80 - - [31/Dec/2013:09:57:11 +0800] "GET / HTTP/1.1" 400 39 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"

  由于内容过多,便不过多列举,像文中作者所保证的("220.181.108.*段IP主要是抓取首页占80%,内页占30%,这此爬过的文章或首页,绝对24小时内放出来和隔夜快照的"。)结果并未出现,一问网www.yiwen.cn,至今距离百度蜘蛛爬过已经过48小时,并未放出。

  由此可见,网上所流传的百度蜘蛛IP段详解可能并不可信。以上是笔者的一人之见,请大家多多批评指教,欢迎大家找我讨论,邮箱:z#yiwen.cn(请把#换成@)。

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:百度  蜘蛛  爬行  日志  分析  收录  情况  是否  可信  
  • 相关搜索
图片推荐
    从用户注册输入验证码来说 用户体验真的很差

    从用户注册输入验证码来说 用户体验真的很差

    不用验证码可不可以?对于老网民来说,曾经有过那么一段黄金岁月,注册任何网站,玩任何网络游戏,根本就没有验证码这一说。不过,好日子并没有享受多久,现在无论注册什么网站、论坛、玩游戏、支付都需要验证码,什
    淘宝客引流/微信引流的思路分析和技巧分享

    淘宝客引流/微信引流的思路分析和技巧分享

    大家好,我是前锋。抱歉,最近都比较忙,没有和大家交流机会。今天跟大家分享一个引流的技巧和关于淘宝客的干货。引流的方法和技术有很多种,只要抓住一个小模块,做精了就很牛!  我最擅长的是淘宝引流和微信淘宝
    如何利用4种参考群体的力量 去影响你的消费者?

    如何利用4种参考群体的力量 去影响你的消费者?

    【Re-think】  群体力量  这篇文章,带你重新思考,营销中很多人忘记使用的一种力量群体。  (内容部分来自之前去唯品会培训的演讲,现在分享给各位。)  我看过很多这种文案:  我的产品,开机快
    世界杯时段全民大热,互联网的各种借势营销

    世界杯时段全民大热,互联网的各种借势营销

    世界杯来了,在北京花两块钱都能游遍全世界了。  能引起全民注意的持久性运动,一直都颇受企业重视,2006年青岛啤酒搭乘德国世界杯、一路青云直上,2010年海尔携手央视大型足球娱乐节目《豪门盛宴》推出我
    今日头条与腾讯缘尽 个性化资讯市场依然充满变数

    今日头条与腾讯缘尽 个性化资讯市场依然充满变数

    腾讯投资今日头条的消息被传得沸沸扬扬。今天凌晨今日头条CEO 张一鸣在头条问答进行了侧面辟谣:最近有同事郑重地跟我说,他加入头条的目的不是为了成为腾讯员工。我当然也不是,多没意思。,几乎封死了今日头条
    谷歌CEO收入过亿 但他曾是个印度穷孩子

    谷歌CEO收入过亿 但他曾是个印度穷孩子

    执掌谷歌第一年的桑达尔皮查伊(昵称劈柴哥)这下可乐了,因为他在2015年的收入已经超过了1亿美元。而他从印度的一个穷孩子变成谷歌的CEO,可谓是最励志的成功故事。    劈柴哥薪酬超过一亿  在谷歌母
    .top域名使用中的困扰

    .top域名使用中的困扰

    说正事。我们最近在搞一个新的网站做在线教育,因为现在好的域名实在不好注册,所以我们选择了比较新的域名.top 。虽然在一开始注册时也想到会不会百度收录有问题。但是还真没想到困扰远不如此啊。  就拿今天
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面