同义词反馈机制

标签: 算法 | 发表时间:2012-07-05 13:38 | 作者:editor
出处:http://www.blogread.cn/it/

标签:   反馈   同义词

1.   介绍

    由于搜索算法本身的局限性,对于用户的语义、意图等理解不够,而基于用户行为的点击调权,作为对传统搜索算法的补充,在搜索中扮演着重要的作用。尽管用户行为已经被证明在搜索中的效果,但是一直只是停留在query-url层面,或者ngram-url层面[1],没有深入反馈到检索算法中的基础策略,比如:同义词、紧密度、省略等,这些策略影响了url与query之间的关系。本文以对同义词的反馈为例,提出一个通用的基于用户行为的基础策略反馈框架。

    由于同义词词典与线上应用算法的限制,检索系统中存在部分质量不好、或者本来质量好但是应用时错误降低了权值的同义词。在同义词召回出来结果后,呈现在用户面前,用户的行为数据可以帮助我们识别同义词的好坏。在计算出同义词的好坏后,就可以直接应用于同义词的退场或者调整应用的权值。

2.   反馈框架

    

    在进行反馈机制的挖掘中,主要分为三部分:

1)       日志记录。主要进行基础策略用户行为的记录、以及query-url对进行用户行为数据的统计,解决如何利用用户行为衡量query-url转义问题。这部分还要记录影响具体query-url的策略,比如,这个url是哪个同义词所召回,或者是哪个term被省略。

2)       反馈机制挖掘。根据query-url中统计的基础策略的用户行为数据,进行基础策略的统计。这个地方不同的基础策略的衡量方式可以保持相同,但是基础策略提取的信息不一样。比如同义词是替换对,省略是指省略的term等。

3)       线上反馈应用。将第二步挖掘的词典,应用于具体的query,比如进行上下文的匹配,以及一些应用策略。

    以上的框架比较笼统,下面针对同义词的反馈做具体的讨论。

3.   日志记录及统计

    这部分首先需要记录具体的策略,比如在这个query下,每条url是由哪个基础策略所影响的,而且需要更加具体。比如同义词需要记录由那些具体的同义词所召回。因为往往一个query有很多同义词,但是真正每条url只是其中1到2个同义词影响的。

    衡量query-url是否转义是非常关键的步骤,本文主要篇幅是讨论这个。衡量的方法需要借助用户的行为。在搜索引擎的日志系统中,对query-url有如下的用户行为统计量:(下面的讨论中,url的统计都是和query相关的,不再特殊说明)

    展现次数:用户搜索后,搜索引擎返回的url在前k条展现的次数(display)

    点击次数:用户点击url次数(click)

    满意点击次数:考虑是否满足用户的需求的点击(相对停留时间,是否是最后点击) (satisfy)

    因此我们可以用click/disply、satisfy/display来衡量url的好坏。但有如下问题:

1.位置偏置问题:点击次数对位置非常敏感,搜索结果中, url的点击次数随着url的排序位置越靠后,其点击次数越少,而且越后面减少得越快。因此位置在前的url,虽然转义了,但也有很多用户点击;反之,位置在后的url,虽然满足用户需求了,但也很少有用户点击。这样很容易让我们的反馈系统失效。

2.在搜索引擎中,用户对搜索结果的满意大致可以分为两个层次:1) 检索出来的url的标题和摘要是否和用户的query的意图一致。2) url内容的质量是否满足用户的需求,比如是否死链、知道页面没有人回答、作弊页面等。我们的目标是识别出转义的替换词对,这些只和第1个层次的满意相关。我们可以假设用户既然点击了这个url,说明这个url的title摘要是没有转义的,至于网页的质量不是同义词本身的质量所能影响的。

    为了解决问题1,可以从这一角度考虑。排在后面的url点击次数少的原因是用户看到的次数少,因此不能用展现来与click做比值,可以利用一些方法来估计用户看到的次数,我们称之为检查次数(check)。这里有一些很简单的方法。比如对于每次用户的搜索,用户最后点击的url位置为p,那么位置在p之前url检查次数是1,在p之后的url的检查次数依次以一个概率衰减。这些概率可以采用一些贝叶斯的方法进行学习。[2]

    采用检查次数可以部分解决位置偏置问题,但是学习到的衰减参数是对所有的query-url,但不同的query-url有很大的差别,这也是该方法的不足之处。

4.   反馈挖掘和应用

4.1 反馈挖掘

    基于第3章中日志记录的工作,可以采用click次数用来表示url满足query的次数,而check-click表示url不满足query的次数。这样用click/(check-click)这个值来表示url满足query程度。对于具体的同义词反馈任务,可以把多条query-url结果中记录的同样的同义词替换进行统计click和check次数(即统计的key是 原词 替换词 二元组),把最后得到的click/(check-click)作为衡量这个同义词替换的相似度,即同义词的反馈替换相似度:

    

    这个地方还有一大问题是,由于很多同义词是上下文相关的,比如:考虑一对同义词 看->治疗,在某些上下文下,比如: 哪里看病比较好,是同义的;而在某些上下文下,比如: 哪里看还珠格格连播。因此为了更智能的在不同的上下文进行同义词的反馈,需要在统计的时候考虑上下文,即统计的key为:原词 上下文 替换词 三元组。

    

    但是不能把整个query作为上下文,这样统计会有很大的数据稀疏性,而如果随便把单个词作为上下文,会有很大的准确率问题。比如 哪里看-> 治疗 以及 -> 观看 都是支持的。因此为了兼顾上下文数据的稀疏以及准确问题,需要一个上下文选择算法。在自然语言处理中通常采用似然比的方法(llr, likelihood ratio)[3],用来衡量orig与context的搭配强度,从而搭配强度越强,这个context词可以认为是orig词的替换上下文。其计算方法为:

    

    其中a表示orig,context共现次数;b表示orig出现,context不出现的次数;c表示orig不出现,context出现的次数;d表示oirg和context都不出现的次数。N=a+b+c+d表示总共的样本数,那么llr的计算公式为:

    

4.2 反馈应用

    反馈机制应用时,是针对每一个替换进行独立的判断,即已知替换对(orig sub),需要先进行上下文的选取。上下文相关的同义词,本质上来说被替换词是一个多义词,对于大部分query来说,只用一个上下文词就可以限定被替换词的意义。因此从简单的角度考虑,以及多个词的上下文融合所带来的噪音以及融合方式的问题,反馈机制应用时只选择一个在一定上下文窗口内的词语。

    最后计算所选择的上下文,利用4.1节中训练的数据,作为替换的反馈相似度,即sim(orig,contex,sub)。利用这个值作为同义词的置信度应用于线上:或退场,或降权,或升权。

5.    总结和展望

    在检索系统中,对基础策略做基于用户行为的反馈是一个比较新的方向,对于改进基础数据具有非常重要的意义。本文根据对用户行为的深入调研,探讨了一些方法和指标。

    从总体上来说,本框架的相当于做了两个假设:用户行为与相关性的关系正相关,url相关性与基础策略正确性正相关。

    第一个假设涉及到基础统计特征的调研思考角度。点击 检查是体现这些关系的特征之一,另外还可以考虑更多的特征,比如:满意点击,点击的url条目。还有飘红对点击的影响,用户的作弊识别等干扰基础特征的统计。这一点不同的基础策略是可以统一的

    第二个假设涉及到基础策略以什么形式来表示这些基础的统计特征。这个是和基础的策略紧密相关。比如同义词选择上下文的方法,以及上下文的位置,多个上下文,或者不需要上下文的替换对识别等。另外还需关注基础策略的应用问题,比如同义词不转义,url转义的问题,这对基础策略的识别会产生误导。

    从机器学习的角度上,该方法主要从生成模型的角度出发,因此模型的各个步骤解释性很强,但是无法利用更多的特征,可以挖掘更多的特征并采用机器学习的方法来利用这些特征。

6.    参考文献

    [1] Huihsin T, Longbin C, Fan Li etc. 2009. Mining Search Engine Clickthrough Log for Matching N-gram Features . Proceedings of the 2009 Conference on EMNLP, 524-533.

    [2] Ricardo Baeza-Yates, Carlos Hurtado,etc. Modeling User Search Behavior. In LA-WEB 05

    [3] Christopher D. Manning, Hinrich Schutze. Foundations of Statistical Natural Language Processing. The MIT Press. 172-175

by xuwenzhi

您可能还对下面的文章感兴趣:

  1. 善用用户反馈――浅谈用户反馈数据的处理 [2010-08-10 04:34:03]


相关 [同义词 反馈] 推荐:

同义词反馈机制

- - IT技术博客大学习
标签:   反馈   同义词.     由于搜索算法本身的局限性,对于用户的语义、意图等理解不够,而基于用户行为的点击调权,作为对传统搜索算法的补充,在搜索中扮演着重要的作用. 尽管用户行为已经被证明在搜索中的效果,但是一直只是停留在query-url层面,或者ngram-url层面[1],没有深入反馈到检索算法中的基础策略,比如:同义词、紧密度、省略等,这些策略影响了url与query之间的关系.

oracle同义词与dblink

- - 数据库 - ITeye博客
           Oracle同义词(synonyms).         从字面上理解就是别名的意思,和视图的功能类似,就是一种映射关系. 这种映射关系体现在同个数据库中通过表别名进行访问,也体现在访问远程数据库中某张表,这时候就需要创建dblink.         同义词创建权限       .

中文分词之9577组同义词

- - 杨尚川的个人页面
这9577组同义词出自 Java分布式中文分词组件 - word分词,这里列出50组同义词,更多同义词请看 这里.

同义词相似度可以怎样计算

- - IT瘾-dev
词语的相似性的计算方法有很多,比如字面相似度计算方法、基于语义词典的计算方法、基于统计的相似度(向量空间模型)计算方法和基于神经网络的相似度计算方法. 本篇文章讲讲基于词林的语义相似性. 《同义词词林》是上世纪80年代出版的对汉语词汇进行语义分类的义类词典,共收录64223条词目. 随后发展,哈尔滨工业大学信息检索实验室对其进行修正完善,《哈工大社会计算与信息检索研究中心同义词词林扩展版》.

如何有效处理用户反馈?

- - i黑马
作者: 骆驰(资深产品运营人员). 乔布斯曾经说他从来不做市场调研,张小龙说他不看数据. 他们二人的姿态曾令不少从业者大跌眼镜,摸不着头脑,也有不少从业者当真就从此否定了市场调研和数据的作用. 关于怎样处理用户反馈,不同的大佬说法也不一样. 有的说只要是用户的声音就该听,有的说用户不知道自己真正想要的不用听.

感受 TeslaTouch——真正的力反馈屏幕

- mzhair - 爱范儿 · Beats of Bits
今天的智能手机已经全面触屏化,在呈现更丰富内容的同时也剥夺了实体按键的反馈. 各平台都通过视觉反馈和声音反馈进行弥补,比如你按下软键盘之后按钮会变色并发出声音 ,有些平台还会通过机内的马达发出震动反馈. 不过这些都有局限性:视觉反馈需要我们将视线集中在屏幕上、声音反馈在嘈杂的环境下听不见、震动反馈会发出噪音而且耗电.

游戏设计应避免出现正反馈现象

- hosven - GamerBoom.com 游戏邦
每到晚上,我和朋友们围坐在一起玩桌面游戏时,我们会先放点音乐,吃点东西,然后就开始游戏了. 一开始,大家都乐在其中,但大约三十分钟以后,有人等得不耐烦了. 更多人觉得厌烦了,有些甚至对游戏完全丧失兴趣了. 在游戏的最后三十分钟,只有两个人还在游戏上拉踞. 这两位玩家也只是唯一两位有希望胜出的人. 其他人不仅是输了,而且是早就知道自己输定了.

八款企业用户反馈系统服务

- huige - 天涯海阁-Web2.0Share
去年一年电子商务发展很快,很多电子商务网站也广受投资人的青睐,对于电子商务而言,除了网站信息流,支付和物流以外,其实相关的基础配套服务也非常重要,比如用户反馈系统,一个好的用户反馈系统可以很好的提高用户满意度. 这方面的企业级服务国外相对较成熟,国内这一块相对发展还不是特别成熟,个人觉得有很大的潜力,当然用户反馈系统不仅仅可以用于电子商务领域,任何互联网产品和传统领域都是有用武之地的,这样的服务对于中小型企业尤其有价值.

google+收到的用户反馈及其改进方向

- ACE - 译言-电脑/网络/数码科技
来源Google+ is being changed this week based on user feedback | Geekcom. google+已经启动数周,除了某国已经墙了它之外,人们看起来都十分喜欢这个产品. 这对历经了Buzz和Wave之败的google来说无疑是个好消息,而对正面临社交网络领域重量级竞争对手的facebook来说,是不折不扣的坏消息.

Foxmail 7: 邮件管理新体验 [用户反馈,非评测]

- Chinaxingwei - 善用佳软
尽管邮件客户端的总体重要性在下降,但 Foxmail 作为一代经典,以及很长时期国人收发邮件的首选方案,无论在当下的实用性,还是作为中国软件史、或自己过往岁月的见证,仍引人关注. 7月初,就分别有几位朋友推荐我试用或宣传 Foxmail 7 的内测版本. 尽管我已经几年不用邮件客户端,尽管我用客户端期间也以thebat, becky, thunderbird为主,但还是禁不住多人推荐的诱惑,试用了一下.