当前位置:首页【网站抓取】如何正确识别Baiduspider移动ua 举报文章

【网站抓取】如何正确识别Baiduspider移动ua

作者:admin    来源:用户投稿    时间:2015.6.29   

  百度站长平台发布公告宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider ua,那么该如何正确识别移动ua呢?我们百度站长平台技术专家孙权老师给出了答案:

  新版移动ua:

  Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  PC ua:

  Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  之前通过“+http://www.baidu.com/search/spider.html”进行识别的网站请注意!您需要修改识别方式,新的正确的识别Baiduspider移动ua的方法如下:

  1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。

  2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

  另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:网站  抓取  如何  正确  识别  移动  
  • 相关搜索
图片推荐
    呀!小米在泰国遇到山寨的了!还很受欢迎

    呀!小米在泰国遇到山寨的了!还很受欢迎

    小米也遇上山寨了!很有戏剧性吧?但这件事情就是发生了。  近日,一个名为iMI的品牌在泰国正式发布了自己的4款新手机。价格为3990-8990泰铢,约合人民币700-1600元。据泰国媒体报道,自从i
    微信公众号违规封号之官方所谓的谣言

    微信公众号违规封号之官方所谓的谣言

    微信公众号违规封号之官方所谓的谣言,关于谣言封号,这个问题我们最近半个月的时间听起来是比较敏感的一个话题,我们发现,大量的号被封都是因为谣言导致的,那么对于我们来说,我们要想去判断这个到底是不是谣言这
    如何判定wordpress主题是否安全

    如何判定wordpress主题是否安全

    在之前的淘宝客模板中,和大家分享了一些淘宝客的常用wordpress模板,不过,有些朋友在QQ群中提到,这些模板安全么?其实wordpress的优势之一,就是有N多的免费模板,在淘宝中也有N多的破解模
    实例分析:网站内页排名比首页高的原因

    实例分析:网站内页排名比首页高的原因

    目标网站:www.xxx.com  网站的问题:首页优化的部分关键词,内页在搜索结果中出现的是内页。也就是说网站的内页权重比首页还要高,这对于一个快6年的老域名和PR4的权重来说,太不可思议了。怎么会
    SEO团队应该如何谈单的技巧

    SEO团队应该如何谈单的技巧

    曾经笔者也有一个4人的小团队,业绩不是太好但是一个月也能接个2-3单,因为种种其他因素,我们没有继续进行下去,不知道是逃避还是另有选择,总之我觉得挺可惜的。前天看到一篇文章,讲述的是自己和客户谈合作的
    董明珠:格力正考虑把空调变成一个发电站

    董明珠:格力正考虑把空调变成一个发电站

    昨日,全国人大代表、格力电器董事长董明珠接受南都记者采访时称,格力二代手机的确已准备就绪,但有待公告。她还表示,格力二代手机定位适合所有的人群,售价未必一定是高价。据董明珠透露,格力在开发新的产品,考
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面