当前位置:首页如何让网站页面内容不被抓取? 举报文章

如何让网站页面内容不被抓取?

作者:admin    来源:用户投稿    时间:2015.6.10   

  可能有的朋友会奇怪,网站的页面不是让搜索引擎抓的越多越好吗,怎么还会有怎么让网站页面内容不被抓取的想法。

  首先,一个网站可以分出去的权重是有限,哪怕是Pr10的站,也不可能无限的分权重出去。这权重包括链到别人网站的处链以及自己网站内的内链。

  外链的话,除非是想坑被链的人。否则外链都是需要让搜索引擎所抓取。这不在本文讨论范围之内。

  而内链,因为有些网站有不少重复或冗余的内容。比如一些按条件查询的搜索结果。特别是一些B2C站,在专门查询页或在所有产品页面的某个位置内,都可以按产品类型,型号,颜色,大小等进行分类搜索。这些页面虽然对浏览者来说是极大的方便,但对搜索引擎来说,这可是耗费蜘蛛极大的抓取时间,特别是网站页面较多时。同时也会分散页面权重,对SEO不利。

  另外网站管理登陆页面,备份页面,测试页面等等,也是站长不想让搜索引擎所收录的。

  所以就有需要让网页的某些内容,或某些页面不被搜索引擎所收录。

  下面笔者先介绍一下较为有效的几种方法:

  1.在FLASH展示不想被收录的内容

  众所周知,搜索引擎对FLASH的内容抓取能力有限,不能完全抓取所有FLASH内的所有内容。但遗憾的是,也不能完全保证FLASH的所有内容都不会被抓取。因为谷歌和Adobe正努力的实现FLASH抓取技术。

  2.使用robos文件

  这是暂时最有效的方法,但有个很大的缺点。就是不传出任何的内容及链接。大家知道,在SEO来说比较健康的页面应该是有进有出的。有外链的链入,同时也页面内也需要有链到外部网站的链接,所以robots文件控制,让此页面只进不出,搜索引擎也不知道内容是什么。会把此页定为低质量页面。权重有可能受一定的惩罚。这个多用于网站管理页面,测试页面等。

  3.使用nofollow标签包裹不想被收录的内容

  这个方法也不能完全保证不被收录,因为这并不是严格要求遵守的标签。另外,如果有外部网站链向了有nofollow标签的页面。这样就很有可能会被搜索引擎抓取。

  4.用Meta Noindex标签加上follow标签

  这个方法可以做到防止收录而且还能传递出权重。要不要传递,看网站建设站长自己的需要。这个方法的缺点是,也是会较大的浪费蜘蛛的抓取页面时间。

  5.用robots文件的同时在页面上使用iframe标签展示需要搜索引擎收录的内容

  robots文件可以阻止iframe标签以外的内容被收录。所以,可以把不想收录的内容放到正常页面标签下。而想被收录的内容放在iframe标签内。

  紧接着,再说一下已经失效的方法,大家以后不要用这些方法了。

  1.使用表格

  谷歌和百度早已经能抓取表格用的内容了,无法阻止收录。

  2.使用javascript及Ajax技术

  以现在的技术来说,Ajax和javascript现在的最终运算的结果还是以HTML的形式传给浏览器以作显示,所以这同样无法阻止收录。

  初学者大多着眼于如何收录,但细节决定成败。怎么让网站页面内容不被抓取也是SEO进阶人士需要注意的。

  本文出自云南盈岚科技有限公司(http://www.ynynyn.com/website-process/),尊重作者劳动成果,请在转载时注明出处。

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:如何  网站  页面  内容  不被  被抓  抓取  
  • 相关搜索
图片推荐
    Apple Watch需求放缓 可穿戴设备发展思考

    Apple Watch需求放缓 可穿戴设备发展思考

    苹果旗下智能手表Apple Watch已经上市两个多月了,不同于4月刚上市时受热捧的景象,近期市场分析师普遍看衰Apple Watch的销量,甚至不少国外媒体在报道中加上了Apple Watch滞销标
    开淘宝网店需要什么手续条件?注意哪些步骤?

    开淘宝网店需要什么手续条件?注意哪些步骤?

    现在在淘宝网上开网店已经不是什么新鲜的事情了,每天都会有很多人涌入淘宝这个大家庭,而对于一些想在淘宝上开店的新手来说,应当先把开店需要准备的手续办理好,万事具备你才能赢在起跑线上。至于开店需要哪些手续
    浅谈:不相关行业的原创文章应该如何写

    浅谈:不相关行业的原创文章应该如何写

    现在SEO界好多人都在谈用户体验,都在谈高质量的外链。都在谈网站要有高质量的文章。可是,这个高质量跟写原创文章分不开。也就是我们只要能写出高质量的原创文章,所谓高质量和用户体验也就有了。那么,高质量的
    揭秘淘宝新闻外链骗局,垃圾链接你敢买吗?

    揭秘淘宝新闻外链骗局,垃圾链接你敢买吗?

    在SEO优化中,一直有这样一句话:内容为王,外链为皇!,SEO外链产业孕育而生,很多站长为了提升自己网站的权重,获取更好的排名,花钱购买外链,而这一行为对百度来说也算是作弊的,随着搜索引擎算法的不断升
    扒一扒黑客为什么不敢攻击支付宝?

    扒一扒黑客为什么不敢攻击支付宝?

    “支付宝被黑客搞了!!!”女票发给我一段视频。中哥我虎躯一震,这么大的事儿居委会咋没通知我??赶紧打开视频。我去,这是黑客吗?谁来解释一下,明明是黑客,为神马穿得这么白,连脸都是白的。。。还有,你带着
    谷歌葫芦卖啥药?Android Wear 2.0延期明年发布

    谷歌葫芦卖啥药?Android Wear 2.0延期明年发布

    TechWeb报道 在智能手表操作系统领域,Google一样也是苹果的劲敌,不少媒体和消费者都聚焦于Google在10月4日召开的发布会,但官方在发布会之前,宣布原定于今年秋季上线的Android W
    由热播剧大秦帝国之纵横想到的网站原创文章的构建策略

    由热播剧大秦帝国之纵横想到的网站原创文章的构建策略

    众所周知,内容为王已经是不争事实,但究竟如何做好网站内容,不仅仅考虑的是产品业务的熟知程度更重要的是文章究竟能不能更深层次的方面帮助你网站的用户更深入的了解自身产品,从而在认识上和客户达成一致,建立信
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面