问答之间的智慧

编者按：既要有直接给出答案的能力，也要知道什么时候应该这样做，这是搜索引擎们下一步竞争的焦点。一问一答之间的智慧并不仅仅是搭建一个可查询的知识库就能做到的。

转载自《CHIP新电脑》

科技领域的4个巨头，微软、苹果、Google和Facebook在下一代搜索这件事上撞车了。它们都希望自己的服务能真正理解用户的搜索意图，然后尽可能地直接给出可靠答案。作为当前主流搜索引擎的代表，Google和微软的Bing都小范围地加入了“知识引擎”的内容，Facebook推出不久的Graph Search的搜索结果不是链接而是答案，苹果的Siri用对话的形式满足用户的信息需求。在基于网页图谱的关键词搜索时代，Google是大赢家。但在新的背景下，它的对手各具优势，搜索引擎的格局或许将迎来改变。

2013年7月的最后一天，我们在微软亚洲研究院的办公室看到了一个智能问答系统的演示，该项目的内部代号是Light，目前尚未对外发布。在我提出的问题“微软亚太研发集团何时搬到中关村？”被转换为英文输入搜索框后，Light直接给出了正确答案——2011年05月25日，答案后面标注的可信度超过90%，点击该答案则可以查看Light推断出是这一天的“证据”，也就是很多英文媒体的报道链接。

接下来，研究员韦福如又展示了几个难度更大的问题。其中一个翻译成中文是“1917年琼斯法案给了这个加勒比岛屿的居民美国公民地位”，Light给出了正确答案“波多黎各”；另一个是“如何成为一名足球裁判”，Light给出的最佳答案来自问答社区Answers.com，原问题是“成为足球裁判需要哪些要求？”韦福如向我们强调，“Light真的读懂了这些复杂的问题。”对于Light的表现，周明不无自豪地称，Light集合了微软领先的自然语言处理、信息检索和机器学习等技术，“如果拿Light去参加智力问答节目Jeopardy!，也可以与人类冠军一较高下。”

上述同样的问题，在目前主流的搜索引擎上只能把带有关键词的网页搜索出来，然后需要用户再通过人工找出可能包含具体内容的网页。这时候我们就能领会到Light的奥妙了。演示结果令我对Light问答系统刮目相看的另一个原因是针对这些冷门的问题，Light并非从知识数据库中调出答案，而是从相关的Web页面或问答社区中分析出答案的。

负责该项目的自然语言计算组首席研究员周明告诉CHIP，用户的搜索意图很难仅通过一两个关键词就表达出来，作为一个智能问答系统，Light的首要任务是理解用户说的话（自然语言），明确搜索意图，然后在浩如烟海的互联网中把答案找出来。

问答系统是自然人机交互、搜索引擎和手机个人数字助理等领域的关键技术。移动终端的逐渐普及也让问答系统的重要性日益凸显——一方面，因为在手机有限的屏幕空间上，用户希望能恰到好处地直接获得答案；另一方面，更便捷的语音输入方式让用户渐渐习惯于，通过一句话而不是一个关键词来表达自己的搜索意图。目前主流的搜索引擎也在发现并适应用户的需求，但做得还不够好。

“Light问答系统的目标并不是完全取代基于关键词的、成熟的搜索技术，而是与之互为补充，无缝提升用户的搜索体验。”Light项目的负责人周明表示，“针对用户的问题，如果找到了特别可信的答案，Light就会把它放在搜索结果的最前面给用户看；如果没有可信度足够高的答案，那么就提供普通的搜索结果。”

Light背后的3个引擎
目前主流的搜索引擎都正在向搜索结果中导入更多的“知识图谱”，在回答用户一些不需要推理的事实和常识性问题时可以直接给出答案，例如某个国家的国庆日和姚明的身高等。

Light问答引擎并没有止步于此，而是开发出了更先进的系统。据研发人员介绍，Light背后使用了3个QA引擎，分别是知识库、Web内容挖掘和各种问答社区的内容整合。Light会根据问题类型的不同将其导入不同的QA引擎——首先在知识库中查找，因为知识库中保存的是结构化的数据，机器容易识别；如果知识库里找不到，就通过Web内容来挖掘；对于一些偏主观的问题，Light会去雅虎问答和百度知道这样的问答社区寻找答案，因为这些问题机器太难回答了，必须要有人的参与。

在被问到Light与苹果Siri、Facebook Graph Search相比的区别和优势时，周明说，一般的公司可能做了一个
QA引擎，很少有公司拥有把3个QA引擎集合在一起的实力。在每个QA引擎都能做出规模的前提下，尽管背后有很复杂的推理和执行逻辑，但Light问答系统的运行速度仍然很快，这方面是他们比较满意的地方。

但他也清楚地认识到，要想真正让用户广泛地使用Light问答系统，还要投入很多工作，其中最关键的任务就是扩大问题的覆盖面。目前Light可以回答的问题类型主要是“用户经常问的”，但是在实际运用中，有很多不常出现的“长尾”问题会被人问到。具体到知识库方面，周明告诉我们，目前Light问答系统的知识库对“一阶”问题掌握比较好，“二阶”和“三阶”问题的掌握仍需要改进。通俗地解释，“一阶”问题就是只包含一层关系的知识，例如姚明的身高是多少。“二阶”和“三阶”问题就需要包含2层或3层关系的知识，例如姚明母亲的身高是多少以及姚明的母亲比妻子高多少。

目前Light主要基于英文语言和内容，但研究人员表示他们具备了汉语处理的关键技术，加入另一种语言更多地是与现有的系统进行磨合。目前汉语的知识库量还比较小，需要花些功夫做储备。最后整个系统要不断地磨合、测试、反馈和改进，这个过程要花很长的时间。

突破人类的极限
作为一个研究机构，在周明看来，微软亚洲研究院的优势是眼光更远、更宽。“我们的研究不会局限在一两个产品上，也不追求非得赢了哪个公司，我们真的想通过突破人类知识和技术的局限性，使我们的研究成果成为人类知识和技术宝库的一部分。同时我们的研究成果可以为微软的产品和服务提供动力，或者提高原有产品的水平，最终造福用户。”

声音

“传统搜索对用户的真实意图并没有多少了解，就是根据关键词的权重进行网页排序。而Light问答系
统是真的理解了用户的意图，然后直接给出精准答案，我觉得这是搜索的未来。但是传统的搜索仍然有它的舞台，只是有很多的问题是用关键词搜索解答不了的。多数问题是关键词搜索，少数问题是自然语言搜索，这两种搜索都有存在的必要。”

——周明
微软亚洲研究院自然语言计算组首席研究员

“用户的反馈会帮助我们把Light问答系统越做越好。比如如果很多用户对可信度比较低的答案点了“赞”，Light就知道这个答案真的很好，下一次出现在前面的概率可能会更高。”

——韦福如
微软亚洲研究院自然语言计算组研究员

申明：《问答之间的智慧》一文在微软研究院博客上转载经由《CHIP新电脑》同意，版权归《CHIP新电脑》所有。原文刊登于《CHIP新电脑》 2013年9月。

____________________________________________________________________________

相关阅读

读心机器人的阳谋

室内定位蓄势待发

用Kinect为听障人士架一座沟通的桥梁

欢迎关注

微软亚洲研究院官方微博： http://e.weibo.com/msra/profile

微软亚洲研究院人人主页： http://www.renren.com/ 600674137