当前位置:首页【网站抓取】如何正确识别Baiduspider移动ua 举报文章

【网站抓取】如何正确识别Baiduspider移动ua

作者:admin    来源:用户投稿    时间:2015.6.29   

  百度站长平台发布公告宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider ua,那么该如何正确识别移动ua呢?我们百度站长平台技术专家孙权老师给出了答案:

  新版移动ua:

  Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  PC ua:

  Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  之前通过“+http://www.baidu.com/search/spider.html”进行识别的网站请注意!您需要修改识别方式,新的正确的识别Baiduspider移动ua的方法如下:

  1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。

  2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

  另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:网站  抓取  如何  正确  识别  移动  
  • 相关搜索
图片推荐
    曝光一个亲身经历的“快递到付”广告套路模式

    曝光一个亲身经历的“快递到付”广告套路模式

    现在的推广真是无孔不入啊!今天突然收到一份“不速之客”寄来的快递,直接邮寄到公司里去了,封面正常里面实则八竿子打不着的“广告宣传”资料,还是快递到付,同事未知代签收白白付了45块到付快递费。又一个搞灰
    搜索引擎面临危机 谷歌升级引擎称能理解语句

    搜索引擎面临危机 谷歌升级引擎称能理解语句

    [摘要]对于谷歌而言,最重要的业务是YouTube,网页搜索已经排在第二名。  腾讯科技讯 11月17日消息,在移动互联网时代,各种垂直类APP(比如旅行APP、订餐APP)正在取代传统的网页搜索引擎
    中石化谈为何选阿里云:双11都能扛得住,更放心

    中石化谈为何选阿里云:双11都能扛得住,更放心

    日前,中国石化信息化管理部副主任张朝俊在出席云栖大会厦门峰会时,首次谈及中石化为什么选择阿里云,以及如何用云计算、大数据技术对传统石油化工业进行升级。我们大部分传统企业的IT架构,前几年都是烟囱式的发
    微商:选产品是门技术活,学问深着呢!

    微商:选产品是门技术活,学问深着呢!

    随着时间的不断推移,微商行业的规模已经突破了千万人数,行业内的竞争也随之激烈化。面对着数千万的微商从业者,政府部门不断完善法律法规,出台微商行业规范,尤其是近期出台的《无店铺零售业经营管理办法(试行)
    跨境电商怎样规避法律风险

    跨境电商怎样规避法律风险

    新闻背景  近日有媒体报道,在跨境电子商务中,来自美国的买家以高价购买仿冒品为由与中国商户聊天,获取其PayPal账户(国际第三方支付平台),随后相关品牌商凭借聊天记录在美国提起诉讼。由于在美国打官司
    VR元年即将过去 但还有三件VR大事不能错过

    VR元年即将过去 但还有三件VR大事不能错过

    (原标题:[VR观点学]VR元年 你不能错过的3件VR大事)年初时,我们还在讨论索尼PS VR什么时候上市、HTC Vive未来用户会不会超过Oculus、苹果VR/AR产品什么时候才能发布等等,这不
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面