当前位置:首页TF-IDF:传统IR的相关排序技术 举报文章

TF-IDF:传统IR的相关排序技术

作者:admin    来源:用户投稿    时间:2015.6.10   

  那一年,菊花还只是菊花,2B还是考试时涂卡使用的铅笔,黄瓜只有蔬菜的功能,信息检索技术(Information Retrieval)还只是简单的使用在图书馆、资料库等处。

  也正是在那一年,信息检索的相关排序技术很风靡的是TF-IDF。

  或许此刻你会十分想问,啥是TF-IDF?嗯,不捉急,在找寻这个问题的答案之前,先来看一个问题。

  在一堆书籍里面,你想找寻和OOXX主题相关的资料(不要想歪),你用什么标准来判定这堆书籍里面的A比B更符合你的主题呢?

  思考一分钟。

  你或许会说,看一下这些书籍的名字,看看哪些书名里面包含我要找的主题的相关信息,然后再在剩下的这部分书籍中概览一下内容,看看哪个更符合我想要的。

  想法很好。

  人是这么想的,信息检索系统也得这么干才能给出我们最想要的结果,但是一个问题又暴露了出来——程序看不懂文字无法判定。

  来,再给你一分钟时间,想想怎么帮程序解决这一问题。

  嗯,你发现了,你想查询的主题中所包含的词汇跟这堆书籍中的某个子集内容中的词汇是有交集的。

  对,用上次在搜索引擎原理简介的文章中我们谈到的基于词典的分词技术,来找寻交集。

  先来给定一个词典,它是N个词的集合。

  ∑={t1,t2,…,tn}

  而对于你搜索的条件q和这堆书籍中的某一本d,则可以根据这个词典表示为:

  q={q1,q2,…,qn}

  d={d1,d2,…,dn}

  其中q1为t1这个词汇在你的搜索条件q中出现的次数,q2为t2这个词汇在搜索条件q中出现的次数,依次类推。如果qn为零,则表示第n个词在q中没有出现。

  设定w1=d1/∑dn,则w1即为词汇t1在d中出现的频率,此刻d即可表示为:

  d=,wi(i=1,2,3,…,n)即为词频(term frequency)。

  对于一些质量很高的信息(书籍、文献等),词频是一个很好的,可以通过程序语言实现的,表达词汇在文档中所占权重的方式。

  嗯?疑问出来了,一些词比如“我们”、“大家”等这种词汇也肯定会在多篇文章中出现,但是用此来衡量的话显然上面下的结论是不成立的啊。

  恭喜你想到了这一步,此种词汇对于文档内容的辨别来说,实在木有太大的意义。

  来,找特征,去掉这种词汇的影响。

  啊,这些词汇会在多个文章中同时出现。

  用ki(i=1,2,3,…,n)来表示ti这个词汇在书籍的集合D中所涉及的书籍次数,M表示书籍D的大小,则ki/M的值即可以说明一些问题,我们定义这个值为ti的文档频率(document frequency)。

  显然,文档频率越高,这个词的权重就应该越低。

  为了便于计算,常用的会是与文档频率成反比的一个量,我们称之为倒置文档频率(inverse document frequency),定义为:

  IDFi=lg(M/ki)

  这样以来,wi就变成了(哥从网上找了一个公式)

  

tf-idf

  给定某种权重的定量设计,求文档和查询的相关性就变成了求d和q向量的某种距离,最常用的是余弦(cos)距离(这句话果断不懂,完全复制来的)。

  

余弦距离

  虽然说上面的这个算法在理论上看起来比较垃圾(不考虑文章的意思,将文章看成词的集合),但是从实践下来看,其价值还是得到了普遍的认可(尤其是对于上述提到的图书检索来说)。

  当然,对于目前web上这些个鱼龙混杂的网页,仅仅依靠td-idf是不够的(很容易造成一大堆关键词堆砌的网页获得好的排名),这也促成了基于链接关系等一系列算法的诞生。

  原文地址:http://www.seosos.cn/search-engine/tf-idf.html

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:传统  相关  排序  技术  
  • 相关搜索
图片推荐
    买卖微信号,微信将梯度封禁处理

    买卖微信号,微信将梯度封禁处理

    自人民网曝光微信号地下交易市场,微信交易内幕逐步进入我们的视线。微信黑产涉及的微信号被大肆网上公开叫卖,微信将对此违规的一系列账号实行梯度式封禁处理!湖北武汉何某“艳遇白富美”被拉入微信投资群,套路的
    卖笑的生意:人人都爱听段子

    卖笑的生意:人人都爱听段子

    导语:作为潮流文化的带领者,段子产品的价值到底有多大?难道大到足以获得风险投资甚至寻求上市?    因近期完成1亿美金C轮融资而备受关注的今日头条,创始阶段发布的最初几款产品并非如今的个性化信息推荐引
    为了创业 他剪断了大学宿舍所有洗衣机的电源线

    为了创业 他剪断了大学宿舍所有洗衣机的电源线

    如今是移动互联网时代,越来越多的年轻人投身创业,尽管现在创业成本低,但是成功率很低。基本上99%的创业都会死掉。  正因为此,唯成败英雄论得到很多创业者的赞同,其中不乏一些歪点子。  据搜狐报道,融资
    2016年全国大学生创业实训营营员分享创业感悟

    2016年全国大学生创业实训营营员分享创业感悟

    微媒体联盟讯:由共青团中央学校部、全国学联秘书处主办,全国大学生创新创业联盟、KAB全国推广办公室、共青团长春市委承办的为期6天的2016年全国大学生创业实训营于7月17日在吉林省长春市落下帷幕。该活
    跟踪网络外推效果和效率怎么才能做好,你知道吗?

    跟踪网络外推效果和效率怎么才能做好,你知道吗?

    生活在互联网时代,人们的衣食住行都离不开互联网,现如今,百度已成为人们有效解决问题的一种最直接途径,不管有哪方面的问题大家首先想到的都是上网查找解决方法。也正是出于对大众这一心理的考虑,所以商家们都在
    我创业1000天以来最黑暗的一夜

    我创业1000天以来最黑暗的一夜

    导言:要准备好过上一段午夜醒来,发现眼泪淌在枕头上的日子。    2012年夏日的某一晚,我在深圳东门附近的一家七天酒店的小破房间里。  我的合伙人David给我打来电话,沉痛地说:Joey,我们的成
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面