问答之间的智慧

标签: 技术 | 发表时间:2014-01-14 10:57 | 作者:微软亚洲研究院
出处:http://blog.sina.com.cn/msra


编者按:既要有直接给出答案的能力,也要知道什么时候应该这样做,这是搜索引擎们下一步竞争的焦点。一问一答之间的智慧并不仅仅是搭建一个可查询的知识库就能做到的。

 

转载自《CHIP新电脑》

 

科技领域的4个巨头,微软、苹果、Google和Facebook在下一代搜索这件事上撞车了。它们都希望自己的服务能真正理解用户的搜索意图,然后尽可能地直接给出可靠答案。作为当前主流搜索引擎的代表,Google和微软的Bing都小范围地加入了“知识引擎”的内容,Facebook推出不久的Graph Search的搜索结果不是链接而是答案,苹果的Siri用对话的形式满足用户的信息需求。在基于网页图谱的关键词搜索时代,Google是大赢家。但在新的背景下,它的对手各具优势,搜索引擎的格局或许将迎来改变。

 

2013年7月的最后一天,我们在微软亚洲研究院的办公室看到了一个智能问答系统的演示,该项目的内部代号是Light,目前尚未对外发布。在我提出的问题“微软亚太研发集团何时搬到中关村?”被转换为英文输入搜索框后,Light直接给出了正确答案——2011年05月25日,答案后面标注的可信度超过90%,点击该答案则可以查看Light推断出是这一天的“证据”,也就是很多英文媒体的报道链接。

 

接下来,研究员韦福如又展示了几个难度更大的问题。其中一个翻译成中文是“1917年琼斯法案给了这个加勒比岛屿的居民美国公民地位”,Light给出了正确答案“波多黎各”;另一个是“如何成为一名足球裁判”,Light给出的最佳答案来自问答社区Answers.com,原问题是“成为足球裁判需要哪些要求?”韦福如向我们强调,“Light真的读懂了这些复杂的问题。”对于Light的表现,周明不无自豪地称,Light集合了微软领先的自然语言处理、信息检索和机器学习等技术,“如果拿Light去参加智力问答节目Jeopardy!,也可以与人类冠军一较高下。”

 

上述同样的问题,在目前主流的搜索引擎上只能把带有关键词的网页搜索出来,然后需要用户再通过人工找出可能包含具体内容的网页。这时候我们就能领会到Light的奥妙了。演示结果令我对Light问答系统刮目相看的另一个原因是针对这些冷门的问题,Light并非从知识数据库中调出答案,而是从相关的Web页面或问答社区中分析出答案的。


负责该项目的自然语言计算组首席研究员周明告诉CHIP,用户的搜索意图很难仅通过一两个关键词就表达出来,作为一个智能问答系统,Light的首要任务是理解用户说的话(自然语言),明确搜索意图,然后在浩如烟海的互联网中把答案找出来。


 

问答系统是自然人机交互、搜索引擎和手机个人数字助理等领域的关键技术。移动终端的逐渐普及也让问答系统的重要性日益凸显——一方面,因为在手机有限的屏幕空间上,用户希望能恰到好处地直接获得答案;另一方面,更便捷的语音输入方式让用户渐渐习惯于,通过一句话而不是一个关键词来表达自己的搜索意图。目前主流的搜索引擎也在发现并适应用户的需求,但做得还不够好。

 

“Light问答系统的目标并不是完全取代基于关键词的、成熟的搜索技术,而是与之互为补充,无缝提升用户的搜索体验。”Light项目的负责人周明表示,“针对用户的问题,如果找到了特别可信的答案,Light就会把它放在搜索结果的最前面给用户看;如果没有可信度足够高的答案,那么就提供普通的搜索结果。”

 

Light背后的3个引擎
目前主流的搜索引擎都正在向搜索结果中导入更多的“知识图谱”,在回答用户一些不需要推理的事实和常识性问题时可以直接给出答案,例如某个国家的国庆日和姚明的身高等。


Light问答引擎并没有止步于此,而是开发出了更先进的系统。据研发人员介绍,Light背后使用了3个QA引擎,分别是知识库、Web内容挖掘和各种问答社区的内容整合。Light会根据问题类型的不同将其导入不同的QA引擎——首先在知识库中查找,因为知识库中保存的是结构化的数据,机器容易识别;如果知识库里找不到,就通过Web内容来挖掘;对于一些偏主观的问题,Light会去雅虎问答和百度知道这样的问答社区寻找答案,因为这些问题机器太难回答了,必须要有人的参与。


在被问到Light与苹果Siri、Facebook Graph Search相比的区别和优势时,周明说,一般的公司可能做了一个
QA引擎,很少有公司拥有把3个QA引擎集合在一起的实力。在每个QA引擎都能做出规模的前提下,尽管背后有很复杂的推理和执行逻辑,但Light问答系统的运行速度仍然很快,这方面是他们比较满意的地方。

 

但他也清楚地认识到,要想真正让用户广泛地使用Light问答系统,还要投入很多工作,其中最关键的任务就是扩大问题的覆盖面。目前Light可以回答的问题类型主要是“用户经常问的”,但是在实际运用中,有很多不常出现的“长尾”问题会被人问到。具体到知识库方面,周明告诉我们,目前Light问答系统的知识库对“一阶”问题掌握比较好,“二阶”和“三阶”问题的掌握仍需要改进。通俗地解释,“一阶”问题就是只包含一层关系的知识,例如姚明的身高是多少。“二阶”和“三阶”问题就需要包含2层或3层关系的知识,例如姚明母亲的身高是多少以及姚明的母亲比妻子高多少。


目前Light主要基于英文语言和内容,但研究人员表示他们具备了汉语处理的关键技术,加入另一种语言更多地是与现有的系统进行磨合。目前汉语的知识库量还比较小,需要花些功夫做储备。最后整个系统要不断地磨合、测试、反馈和改进,这个过程要花很长的时间。


突破人类的极限
作为一个研究机构,在周明看来,微软亚洲研究院的优势是眼光更远、更宽。“我们的研究不会局限在一两个产品上,也不追求非得赢了哪个公司,我们真的想通过突破人类知识和技术的局限性,使我们的研究成果成为人类知识和技术宝库的一部分。同时我们的研究成果可以为微软的产品和服务提供动力,或者提高原有产品的水平,最终造福用户。”

 

声音

“传统搜索对用户的真实意图并没有多少了解,就是根据关键词的权重进行网页排序。而Light问答系
统是真的理解了用户的意图,然后直接给出精准答案,我觉得这是搜索的未来。但是传统的搜索仍然有它的舞台,只是有很多的问题是用关键词搜索解答不了的。多数问题是关键词搜索,少数问题是自然语言搜索,这两种搜索都有存在的必要。”


——周明
微软亚洲研究院自然语言计算组首席研究员

 

“用户的反馈会帮助我们把Light问答系统越做越好。比如如果很多用户对可信度比较低的答案点了“赞”,Light就知道这个答案真的很好,下一次出现在前面的概率可能会更高。”


——韦福如
微软亚洲研究院自然语言计算组研究员

 

申明:《问答之间的智慧》一文在微软研究院博客上转载经由《CHIP新电脑》同意,版权归《CHIP新电脑》所有。原文刊登于《CHIP新电脑》 2013年9月。

____________________________________________________________________________

 

相关阅读

读心机器人的阳谋

室内定位蓄势待发

用Kinect为听障人士架一座沟通的桥梁

 

 

欢迎关注

微软亚洲研究院官方微博: http://e.weibo.com/msra/profile

微软亚洲研究院人人主页: http://www.renren.com/ 600674137


  青春就应该这样绽放   游戏测试:三国时期谁是你最好的兄弟!!   你不得不信的星座秘密

相关 [智慧] 推荐:

二楞的智慧

- lzhi - Lzhi's Views
城里打工的二愣一个电话打给媳妇水月“水月,我被砸了头,医生说要不少医药费呢. ”水月急了,大哭:“那可怎么办啊. 二愣粗着嗓子吼了一声:“哭有啥用. 二愣家里本来就穷,这回听说他被砸了头,村里人更是避之不及. 水月跑了两天,亲戚朋友都转了个遍,一分钱也没借到. 水月愁得满嘴泡,没想到这天晚上,二愣竟好好地回来了.

《集体智慧编程》

- Ken - 小美的部落格
这本书不是讲 软件工程或者敏捷啥的,它是讲数据挖掘的. 书的英文名字是:《Programming Collective Intelligence》. 不知咋的中文书名就变成这个了. 豆瓣上的评论:http://book.douban.com/subject/3288908/. 简单的说,这本书是讲让web 2.0更智慧,更智能的技术.

问答之间的智慧

- - 微软亚洲研究院
编者按:既要有直接给出答案的能力,也要知道什么时候应该这样做,这是搜索引擎们下一步竞争的焦点. 一问一答之间的智慧并不仅仅是搭建一个可查询的知识库就能做到的. 科技领域的4个巨头,微软、苹果、Google和Facebook在下一代搜索这件事上撞车了. 它们都希望自己的服务能真正理解用户的搜索意图,然后尽可能地直接给出可靠答案.

营销工具的智慧

- - 月光博客
  在传统企业营销是基于传统经济学理论,既对稀缺资源的有效利用,当物质匮乏过度到丰裕经济之后,企业的营销需要重新开始,因为丰裕经济理论是建立在物质极度丰富,消费者的心理需求分散化的社会和经济环境. 在过去,人们购买产品,更多是通过询价的方式,商品信息和价格并不透明,现在,网络使得所有商品价格透明,很容易货比三家.

社交杀死大众的智慧

- hank - Solidot
大众的智慧已是老生常谈,并有实例证据支持. 但在社交环境下,大众的智慧是否真的去芜存菁. 根据《美国国家科学院院报》上发表的一项研究,苏黎世的研究人员发现,社交影响力会抹杀大众的智慧. 研究人员指出,大众的智慧是一种统计学现象. 许多人对于任意指定的一个值只有模糊的感觉,不清楚精确的值. 他们的答案会在真实值之间上下浮点,一步步调整答案,越来越接近精确值.

马悦凌:生了病的“智慧”

- ysorigin - 科学松鼠会
据说在自然界里,动物逃避捕猎者的重要策略之一就是集群活动,可以让捕猎者眼花缭乱,容易分散注意力而让猎物逃脱. 而我浏览了一下“养生教母”马悦凌的 官网之后,对于那里面的胡说八道和歪理邪说,就有种一头狮子面对一群奔涌而过的肥猪的感觉——-都是蠢到家的猎物,但多到不知道从哪只下手比较好 了,或者换个时髦的说法,叫吐槽点多到让人吐槽无力了.

日本人的智慧与诡异

- 王AQ - 阿毛博客
  下述文字是上月跟萨苏兄等人在北京公开对谈时说的,感谢优米网的视频与文字整理,专此贴出.   从我亲生经历讲比较有意思. 在日本碰到非常荒诞场面,葬礼和婚礼区别是很微妙的. 因为出席婚礼的人,他们穿黑西服挂白色领带. 唯一区别就是黑和白之间区别,在一个婚礼场上,上午办完婚礼以后,下午两点钟走. 迅速变成一个葬礼,当然是不同的家庭,来源于不同的社区.

转载:少数人的智慧(The wisdom of the Few)

- hanson - Resys China
转载自:http://www.wentrue.net/blog/?p=1034. 看到这么个有吸引力的名字,你不会觉得它是一篇学术论文,但实际上,它是的. 这是2009年Amatriain等人发表在ACM的一篇关于推荐系统的文章. 从这个并不太学术的题 目,你大概可以意想到这里面并不会涉及太多繁琐的理论细节.

碎片时代,智慧生存

- - 逍遥游·萧秋水
和菜头在10月18日写的《碎片化生存》,有人做成长微博,也有朋友爱特我,让我看看. 菜头说的没有错,因为,他说的是他自己的情况,事实上,他还谦虚了,因为,他其实一直没有中断过阅读和写作,他所说的碎片低能,是一种自谦,是他自己对照过去和现在,感觉阅读和写作的数量下降了,所得出的结论,他愿意暂停新浪微博,也是自己的选择,这都应该尊重.