当前位置:首页【网站抓取】如何正确识别Baiduspider移动ua 举报文章

【网站抓取】如何正确识别Baiduspider移动ua

作者:admin    来源:用户投稿    时间:2015.6.29   

  百度站长平台发布公告宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider ua,那么该如何正确识别移动ua呢?我们百度站长平台技术专家孙权老师给出了答案:

  新版移动ua:

  Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  PC ua:

  Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  之前通过“+http://www.baidu.com/search/spider.html”进行识别的网站请注意!您需要修改识别方式,新的正确的识别Baiduspider移动ua的方法如下:

  1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。

  2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

  另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:网站  抓取  如何  正确  识别  移动  
  • 相关搜索
图片推荐
    庶民屌丝淘客电商的胜利契机

    庶民屌丝淘客电商的胜利契机

    小舟先来跟大家分享一段数据,就去年,阿里妈妈给淘宝客们的佣金分成高达30亿元RMB,这不是重点,重点是来自移动端(平板,手机等)所提供的佣金分成就高达10亿元RMB,高达总额的3分之1。这是站长淘客们
    卖家提高转化请用友爱方程式

    卖家提高转化请用友爱方程式

    提到转化,百度一下漫天文章飞。我所说的友爱方程式,其实也不是那么的遥远,人人都可触及。    上图是推哈网在跟众多卖家朋友交流时总结出来的,也许你感觉看不懂。其实没有那么高大上,下面我就跟大家一起学习
    SERP中出现图文标志攻略大分析

    SERP中出现图文标志攻略大分析

    近日在界内开始了关于百度搜索结果出现图文标志的讨论,但现在只是止于谈论,未有人深入解析。例如在非凡网赚网 08398.com 就有看到了几篇文章是关于该事件的。  百度鼓励高质量的文章,对图文并茂的文
    传说中《太子妃升职记》的独门营销秘籍,被我们拿到了

    传说中《太子妃升职记》的独门营销秘籍,被我们拿到了

    为了揭秘爆红的《太子妃升职记》的营销路数,我们找到了乐视自制传播及营销负责人花生、《太子妃升职记》的营销团队时趣互动团队谈了谈这部神剧为何成功。  剧组真不穷,监制可是乐视网老板娘啊  全网说烂的剧组
    人性弱点的逆向网络营销思维

    人性弱点的逆向网络营销思维

    我们大都基于搜索引擎中的流量和趋势来分析及研究流量的来源和价值,我们是否研究过整个互联网中网名整体层次及计算机水平呢?做的最好的网站无疑都是最接 地气的,那么,接地气需要具备哪些条件呢?站长之家,非凡
    创新工场联合创始人汪华:2014,创新者去哪儿

    创新工场联合创始人汪华:2014,创新者去哪儿

    新浪科技讯 1月10日晚间消息,2014年极客公园创新大会今天在京举行,创新工场创始人、管理合伙人汪华先生在会上的分享主题为《2014,创新者去哪儿?》。汪华认为,创新是为了满足需求,而所有创新都来自
    批量检测被百度收录的死链的方法

    批量检测被百度收录的死链的方法

    前段时间服务器被入侵,挂了很多博彩之类的黑页,而且全部被百度收录。  现在把漏洞补好了,但删除黑页文件以后成了死链,要怎么让百度删除收录呢?  在网上找了一下,似乎只有检测网址是否被收录的工具,而没有
    创业一年,人人车是怎么躲过“C轮死”的?

    创业一年,人人车是怎么躲过“C轮死”的?

    摘要:创业公司最怕什么?第一,进错了行;第二,遇上了狼。    本文是人人车创始人李健的自述投稿。最近,人人车C轮巨额融资的消息在业内不胫而走,虽然人人车官方未作回应,但是事件本身的影响力却并未因此削
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面