当前位置:首页【网站抓取】如何正确识别Baiduspider移动ua 举报文章

【网站抓取】如何正确识别Baiduspider移动ua

作者:admin    来源:用户投稿    时间:2015.6.29   

  百度站长平台发布公告宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider ua,那么该如何正确识别移动ua呢?我们百度站长平台技术专家孙权老师给出了答案:

  新版移动ua:

  Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  PC ua:

  Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  之前通过“+http://www.baidu.com/search/spider.html”进行识别的网站请注意!您需要修改识别方式,新的正确的识别Baiduspider移动ua的方法如下:

  1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。

  2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

  另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:网站  抓取  如何  正确  识别  移动  
  • 相关搜索
图片推荐
    创业者要警惕人本管理“变味儿”

    创业者要警惕人本管理“变味儿”

    随着时代的变迁,目前我们已经进入了一个全民创业的商业时代。如何让你的创业团队更好地发挥出卓越的力量,如何让你的事业走向成功,其关键就在于管理。王国维曾在《人间词话》中指出人生的三大境界:昨夜西风凋碧树
    未来语音搜索和图片搜索将会在移动领域大放光彩

    未来语音搜索和图片搜索将会在移动领域大放光彩

    微信和企鹅上都有语言功能,另外安卓市场的搜索框中也有语言搜索,未来语言功能将会得到广泛的应用。而语言功能植入搜索引擎将会大大方便众多移动用户,不仅是语言搜索,其实百度早就上线了图片搜索。只需将图片拖入
    “有钱任性”“90后CEO”爆红的“潜规则”

    “有钱任性”“90后CEO”爆红的“潜规则”

    导读:最近,微信朋友圈被两个事件刷屏,一个是有钱任性,一个是90后牛逼CEO。我是做营销的,不关注事情本身,对它们瞬间爆红背后的规律很感兴趣。这两个事情一个是自发爆红,一个是炒作爆红,但是二者的发展路
    靠教人说话赚了3000万 一个内容付费的创业样本:马薇薇

    靠教人说话赚了3000万 一个内容付费的创业样本:马薇薇

    很小的时候,马薇薇就发现自己有语言天赋。因为小时候长得不漂亮,她主要靠口甜舌滑来讨家长喜欢好在是,她很早就学会了说话。  马薇薇调侃着说,那时她就知道,说话是自己的生存之道。  可会哄父母了。马薇薇在
    好搜不好搜,用户说了算

    好搜不好搜,用户说了算

    1月6日 君羊SEO上班的时候打开360游览器一艘,360搜索直接跳转到了好搜,用时名称LOGO修改为好搜。一位业内人士对此表示,360屡败屡战,源于对其自身市值缩水、股价不振的焦虑。相关数据表明,今
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面