当前位置:首页站点流量异常原因之运维篇 举报文章

站点流量异常原因之运维篇

作者:admin    来源:用户投稿    时间:2015.6.26   

  1、CDN

  一些网站会使用CDN加速服务,最近每周站长平台都会接到一两个跟CDN加速问题有关的案例。CDN这里存在一个问题:不同的CDN服务商在全国分布的节点数不同,站点在使用CDN服务时,同一地区CDN给蜘蛛返回的IP地址要和给用户的一致。那么现实情况是,部分CDN服务商出于成本考虑与资源使用率的问题,会在不告知用户的情况下变更IP地址以节约成本,这样就导致蜘蛛在去抓的时候,会遇到新IP和老IP的问题,在站点没有告知更换IP的情况下,蜘蛛会认为站点目前存在问题,首先是减少抓取量,其次会判断是否把不可访问的页面下掉,这时候就出现了用户访问IP与蜘蛛抓取IP不一致的情况。所以建议站点在选择CDN服务时要选择稳定的CDN服务商,其次如果IP更换最好通过站长平台抓取诊断工具抓取测试,如果IP不正确可以点击下图红框“报错”提示给站长平台

  2、Robots

  站长应该对robots都不陌生,但为什么还要提呢?有这样一种情况:站点需要更新robots文件,对站内部分内容禁止或放开抓取。但由于操作后没有检查是否生效,站长会默认为已经生效。同时还有一个生效周期的问题,那么站点需要在百度站长平台提供的robots检测工具中做一个抓取测试来验证是否生效。

  如果看到robots内容和你更改后的内容不一致,有几种可能:第一种可能是网站没有全面布局,因为有的站点服务器可能在很多地方,你需要确认robots是否已全部推送;第二种可能是百度没有及时做更新,可以通过robots检测工具下方的更新按钮来告诉百度Robots有变化。

  3、UA/IP

  UA封禁一般不会是站点主观错误操作,往往是意外情况,站点在程序中过滤误操作UA封禁,而通常却不知道自己封禁了蜘蛛。只有在逐步的排查才会发现这种概率很小的问题。所以在流量异常中我们在运维篇中把这项列进去,让站点注意这些个细节。

  那么当您的网站不希望Baiduspider访问时,才需要该设置,如果您希望Baiduspider访问您的网站,useragent相关的设置中是否有Baiduspider UA,并及时修改。禁止所有来自百度的抓取: User-agent: Baiduspider Disallow: /

  IP封禁往往是遇到CC攻击的时候不知道哪些是真百度蜘蛛和仿冒百度蜘蛛而封禁了蜘蛛IP,这里我们建议通过DNS反查方式让站点了解哪些是真实蜘蛛,根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

  A、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  B、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  C、在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  更多内容请访问:http://zhanzhang.baidu.com/college/articleinfo?id=34

  4、安全/管理不善

  安全问题在站长平台能观察到的绝大多数属于管理问题,站点被黑客钻了漏洞而受到了惩罚等,且惩罚力度与站点漏洞的存在时间成正比。

  A、域名泛解析

  近几个月域名泛解析是一个非常经典的案例,很多网站由于安全意识薄弱、密码简单被黑客钻了空子,解析出了大量非本站内容的低质页面,导致百度搜索引擎对整站采取了临时措施,使得站点流量掉了很多甚至清零。

  B、网站被黑

  网站被黑跟泛解析也有相似之处,网站内有大量的垃圾页面都是黑客创造出来的,导致受到惩罚,给站点带来致命的打击。

  C、网页被挂马

  其实这也是被黑的一种,但比被黑释放垃圾页面更为隐蔽,这类案例主要出现在企业网站或者是一些比较小的网站上,黑客直接在页面上放置展现广告代码,而且会判断来访者是普通用户还是蜘蛛,然后区别对待;或者是仅给某一个地区的用户访问挂马页面,给蜘蛛和其他大部分所在地展现正常页面等,这些其实都是非常隐蔽的行为,没有用户举报站点也很难发现,但百度搜索引擎无法容忍这样的页面出现在搜索结果里,自然这些站点会受到惩罚。

  D、UGC站点被SPAMMER群发

  最后说UGC站点,所有以用户贡献内容的站点在审核机制上一定要加强防范,目前平台能够接到的不少案例都是UGC站点存在监管不利,导致有大量的垃圾内容在线上,当垃圾内容与正常内容的比例达到一定阈值,就有可能整站被百度搜索引擎惩罚。

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:站点  流量  异常  原因  
  • 相关搜索
图片推荐
    微信自断O2O:微购物僵而不死 大品牌撤离

    微信自断O2O:微购物僵而不死 大品牌撤离

    在京东微店、拍拍微店、有赞、微盟等大行其道的今天,已经很少有人还记得大明湖畔的腾讯微购物了。在2014年5月腾讯电商打包给京东的同时,微购物并入微信事业群,此后便杳无音讯,外界一直有其已经解散的传闻。
    他是史上最毒舌的投资人 盘点2016年王思聪都“怼”了谁

    他是史上最毒舌的投资人 盘点2016年王思聪都“怼”了谁

    说到抄袭,王思聪在《小葱秀》里直言:我是一个极其尊重知识版权的人,极其讨厌和鄙视抄袭,所以在我微博上有人@我,只要我看到确实在维护自己的知识版权,我都会帮他转发,不管认不认识。  作为万达集团董事长王
    骁龙810+4GB内存 Vertu安卓旗舰机曝光

    骁龙810+4GB内存 Vertu安卓旗舰机曝光

    【IT168 资讯】曾经的芬兰巨人诺基亚,已经完全停止了其下的手机业务。然而,作为已故手机厂商诺基亚的遗珠,Vertu在被诺基亚出售后,仍在高端手机领域活跃着。根据最新的消息,Vertu即将推出一款配
    360搜索右侧新增谈谈栏目:360搜索谈谈

    360搜索右侧新增谈谈栏目:360搜索谈谈

    近日,通过360搜索一些名词性的关键词的时候,在右侧顶部会出现一个谈谈聊天框,用户可以对该关键词进行相关的话题讨论,其实有点类似于百度贴吧了,只不过形式不一样,一样可以申请谈主,对谈谈的内容进行管理操
    又是版权问题 音乐网站正面临一场大浪淘沙式的洗牌

    又是版权问题 音乐网站正面临一场大浪淘沙式的洗牌

    有关网站内容问题,在各种局的管理下,都在被版权所扰、所控制;有关网站的盈利问题,又大多都在向羊毛出在猪身上的模式靠拢。  天天都在说的互联网,早已融进了人们生活的各行各业,当互联网的一切正在步入正轨,
    SEO案例分析:新站两月做到权重6

    SEO案例分析:新站两月做到权重6

    大家好,我是小新,是个SEO新手,仅仅是维护了三个月的seoer,虽然时间这么短,但是自己确实也是学到了不少的SEO知识。今天,我就给大家分析一个偶然接触到的网站。这个网站是高手做的,仅仅两月就权重6
    为什么现在很多人业余时间都做网络兼职呢?

    为什么现在很多人业余时间都做网络兼职呢?

    很多人都因为生活的压力而感觉到烦恼,因为钱实在是太难挣到了,那么应该怎么挣呢,其实对于挣钱这件事情我们要勇于尝试,因为网上兼职赚钱实在是非常靠谱的一件事情因为文章大家谁都看,那么同样的道理,有多少人喜
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面