由情感计算带来的惊喜发现——记Rosalind W. PICARD“21世纪的计算”大会主题演讲

标签：技术 | 发表时间：2013-12-18 17:01 | 作者：微软亚洲研究院

出处：http://blog.sina.com.cn/msra

编者按：“情感计算”于近期成为了关注热点。在今年11月份于合肥举办的第15届“21世纪的计算”大会上，来自麻省理工学院媒体实验室情感计算研究组创始人兼主任Rosalind W.Picard博士带来了《由情感计算带来的惊喜发现》的主题演讲。Rosalind W. Picard博士是麻省理工学院媒体实验室情感计算研究组创始人兼主任，美国电气电子工程师学会（IEEE）院士。她的研究方向包括多维信号建模，计算机视觉及模式识别，机器学习，人机交互和情感计算等。她认为：“我们的情感时刻影响着行为。大脑模式如何映射到皮肤的不同位置以及情绪变化如何在睡眠中影响我们的记忆和学习的，这就是情感可穿戴技术带给我们的思索。”她所在的实验室通过非常动态技术的推进来追踪不同的情感，并理解情感的发生。在演讲中，Rosalind提出用皮电反应技术研究皮肤电传导，并利用皮肤与交感神经系统、副交感神经系统的应激反应机制追踪心跳，并理解情感。

演讲者： Rosalind W. PICARD

谢谢各位，今天很荣幸有这个机会。在15年前我还是麻省理工大学的一个非常年轻的教授，当时我们希望能够建立一个能够像人脑一样工作的计算机。我们当时认为能够理解大脑怎么工作的，然后可以用电子元件来建造一个电脑来模拟像人脑一样工作。我们希望这个电脑像我们一样能够看，能够听，而且有人类的智能。我做了很多关于视频方面的研究，但是在我们研究过程中，我发现大脑皮层这个部分，对人类智能来说是非常关键的一个部分。然后在某一年的圣诞期间，我阅读了一些关于癫痫病人的书籍得知，当他们异常激动的时候，他们的大脑皮层并不是非常的活跃，实际上是他们的皮质下区域更加的活跃。当时我不太明白，我就很好奇，意识到这个部分可能对人的情感更加的重要，可能对于记忆，还有情感紧张度都是很重要的。

我知道记忆和紧张度是很重要的，当时我是电脑工程的一个年轻的女教师，我不想太多设计情感方面的这个话题，然后随着时间的推移，我发现情感在我们的智能过程中，是非常重要的，不仅仅是在我们认知的过程，在我们决策、行动选择、语言学习等等方面都非常的关键。我们看一下MIT和周围的环境，都可以发现情感发挥的作用是非常大的。然后我们就想看到人工智能的发展过程中，长期以来不能取得进展，我就转到了情感方面的研究。当时我写了一篇论文叫《情感计算》，我投到一本学术新刊，但是被退回了，我需要进行终身教授资格的申请，我就要准备一些著作，因此我把它写成一本书出版。

我们需要确保电脑不仅仅能听，而且能够对要听什么进行一些选择。因此在这些方面，我们需要进行一些技术的开发。在心理学的领域，对情感的分析一般都是给一些选择，对我来说，心理学领域我不太感冒，因为我是工程师，心理学偏向于更加主观，没有办法做得很可靠，很客观的数据分析。很多时候人们会问我怎么样来阅读人们的面部表情？我们因此开发技术来追踪人们脸部的一些表情点，比如说你是怎么样在看，比如说你在摇动、点头的时候，有些什么样的面部表情的变化？有一天我的办公室来了一个人，告诉我你现在开发了一些计算机，能够阅读人们的表情，我们只是捕捉情感的外在表现，然后他问我你知道孤独症吗？我说我并不太了解，他告诉我他有一个弟弟有困难来理解人们的表情，因此我们就考虑是否能够提供这样的辅助工作，来帮助这样的人群来阅读和理解别人的面部表情。当时我用了一个Google眼镜来帮助我们搜集一些信息和数据，那这个Video，现在我给大家放一个视频，大家可以看一下。

我们可以看到这里有展示一群人，他们看这个广告的时候，他们面部表情的变化。这个广告是当年最佳年度广告，你可以看到在橙色和绿队的这些人，他们笑的程度比穿紫色衣服的团队笑得更厉害，那是为什么？因为他们以前看过这个广告，喜欢这个广告。昨天我在彩排的时候，有一位工作人员说中国的广告非常的无聊，其实美国大部分的广告也很无聊。那如果说有些人喜欢某一个广告，可能第二次看的时候笑的更厉害，甚至在玩笑出现之前，他们可以开始会心的微笑了。那这方面，我们需要将它应用到广告效果，或者课程方面的分析。

另外再给大家放一个视频，给大家展示一些更复杂表情的计算。我们可以看到这个市场针对不同的年龄群。当时大众公司的经理告诉我，他们如果知道这个数据的话，可能会放弃放第二部分的广告，但是在美国超级碗投放一个广告的成本是非常高的。这个群体在蓝色团队是18岁以下的人群，给大家看这些视频，是因为后来经理告诉，他们以前以为当时这个广告录制的是这么棒，大家都知道这个广告，我们必须在这个时间段放这个广告。但是一年之后，人们看这个广告没有办法建立一种联系，他们就觉得这个广告在这个时候放，是非常奇怪的。有些时候我们以为人们跟我们的感觉一样，但是借助于技术、工具，我们可以搜集一些非常客观的数据，而不是像我们想象的一样，从而带给我们一些价值。我们希望搜集一些收据，来帮助机器学习能更加的精确。我们现在已经搜集了100万多部的脸部表情的视频，当中也有自动生成的，将近10万亿的表情点，我们可以看到针对八个情感方面丈量的标准，我们可以看到实验证明90%多都是正确的，而且它会给我们追踪一些非语言表达方面的数据。

这个产品，目前是在全球56个国家，24小时不间断的搜集这些数据。我们来分析一下微笑这个表情，如果说你微笑的时候，嘴角会上翘，颧骨也会抬深，因此眼睛周围也会有些皱纹。并不是所有的笑容，都代表他们是开心的，有些时候他们可能是在一个情感峰值的时刻，但并不代表他们都是很开心的一种笑容。我不知道中文怎么样表达，如果说你不喜欢一个东西，会引发出什么样的情感，用中文怎么说？用英文的话是沮丧、受挫，这是一个例子，怎么样来引出沮丧的表情，那这个视频应该可以播放，我需要技术人员帮我一下，倒回，我们应该先放这一个视频。

当然这种技术方面遇到挫折也是很让我沮丧的。很抱歉，填这个表格好像有困难，可以看下摄像头，然后跟我们分享你的感觉吗？这太糟糕了。有些时候人们会给我记一些他们的文章，比如说有些人生气的时候会打他们的电脑，甚至用枪来射击电脑等等。那这个学生经历到这个情况，他看上去非常的沮丧，那在另外一个视频，有一个学生也经历了同样的事件，但是当时他在微笑的表现，好像看上去，他确实是在笑，他的面部表情也很丰富，嘴角也上翘，然后眼睛笑起来有皱纹等等，你可以看到他在微笑，看一下眼睛周围的微笑表情，就是这里，一个很快很大的微笑，但是他并不开心，他也遇到了同样的这种困境。我们可以看到好像这种微笑，沮丧式的微笑看上去像开心时的微笑，如果我们做一个调查，人们可能只有50%能猜对哪些微笑是真实的开心的微笑，哪些是沮丧时候的微笑，而且他们都是一种猜出来的答案。

我们可以看一下，在实验室我们比较容易通过机器识别外在的表情和情感。但是要叫机器发现人们内心深处的感情，这是很困难的。最近有一种非常动态技术的推进，不仅是要追踪不同的情感，而且来理解情感的发生等等。我们也推出了一种算法，使机器比人能够准确的识别这种假笑，它们判断的正确率达到92%。当然我们还在这方面还有更多需要探讨的，需要结合当时的情境，以及一些手势来一起研究。

接下来我们再看这样的一个系统，我们可以看到在我们交流的时候，我们说的方式比说的内容更重要。比如说我们的语速，还有一些身体的动作，传递的信息更多。想象一下，你是否能够在你的客厅里，通过MIT媒体实验室推出的技术来操练一下沟通的技术，怎么样呢？我们会有一个计算机辅助的训练师来帮助你，进行沟通技能的训练。通过这个网络摄像头，可以捕捉你的脸部表情，包括你的头部动作，你是否在点头，或者摇动，不仅仅能够理解你想说的内容，同时可以理解你说话的方式，从而捕捉一种非言语的沟通信息。在测试之后，会给你一个报告，分析你什么时候在微笑，然后你的语速等等，而且你在事后可以观看这样一个视频记录，你是在哪些方面进行的一种强调，而且甚至会捕捉你什么时候走神等这样的情况。我们将这个实验推给麻省理工学院的90名学生，我们可以看到，做过这个实验的人，他们在工作面试的时候，表现更好，除了找工作可以有用，这个工具可以帮助人们进行演讲，还有约会时的一些社交技能。

这个可以帮我们捕捉非言语的交流，然后跟你反馈，提高你的社交技能。确实在MIT本科生的实验中，我们可以看到帮助他们提升了面试技能和面试表现。那很多时候经常问我们，这个系统能否帮助我们很成功的约会？比如说帮助我们进行一种调情式的对话，对机器来说，意识到这种功能是非常有挑战性的。所以从另一方面来说也是一种机会，可以值得我们更加深入的研究。我们也非常希望能够帮助有情感限制的人群，比如说像一些患孤独症的人群。在最开始，我们认为孤独症是因为他们不能够理解别人的情感，但实际上他们能够读懂别人的情感，他们不想跟别人交流。对我们来说，我们必须要先了解他们的想法，然后才能帮助他们设计一些技术。随着我们对他们的了解，我们知道他们需要被理解并不是说他们不能够理解我们的情感，而是说你不能够理解我们的想法，我们的情感。普通人应该理解我们的情感。他们的说法是最正确的，我们需要了解他们的情感，很多时候孤独症的人，没办法用语言跟我们交流他们的感觉，他们经历了很多的压力，可能对声音、灯光，这种环境超级敏感，对我们来说都不会注意到，但是对他们来说都需要躲到墙角，来躲避这一切。

因此我们需要理解他们，这样的话他们周围的朋友才能够帮助他们更好的在这种环境下进行交流，因此我们要做一个情感激发方面的技术研究。可能你们有的人听过一个皮电反应技术。我们会通过这个技术，来研究皮肤电传导，一般来说，我们是把它分在手指上，或者脚掌来进行分析，这是一个很大的进步，因为这样我们就可以把这个实验放到实验室之外进行操作，把它放到球场、教室来进行数据搜集，在人们真正有情感表现的地方进行交流。

这个图片显示了孤独症女孩脚踝上面安的这个传感器，来帮助我们理解她的情感变化。我们可以看到当她崩溃的时候，这个峰值达到了顶点，当她平静下来，或者是做一些重复动作时，数值就会降低。因此通过这个技术，我们可以了解到她内心的这种情感活动，通过这些反馈可以使医生更好的对她进行治疗，也使她更好的认识自己的一些行为，更加好的协调，那我们看到在这里她就很放松了。这样的话我们的治疗更加有针对性，更加的有效。通过这个女孩我们可以看到，她有压力的时候，这个峰值上升；平静的时候，数值下降，但是并不一定都是这样。有的时候，一个人外部有压力，但是这个数值表现的是非常的平静，非常的低。或者说有个人看上去他的峰值很低，实际上他的压力是比较大的。我们在做机器学习的时候，接触到一个概念叫做因变量，我们的任务就是需要把一这些因变量暴露出来，帮助我们观察和了解人们的情感。

接下来，我想谈一下皮肤，皮肤是唯一的一个组织，它是与交感神经系结合在一起的，我们把它称作为一种应激反应的机制。我们有副交感神经系统，它控制我们的休息和消化系统，比如说在午饭以后，我们都很平静，都想睡个午觉等等，这个时候不要去打扰。关于这个皮肤的传导，我们也会通过这个来追踪我们的心跳。接下来我会给大家举个例子，怎么样能够用新的方法来测量我们的心逃。

我们这里有一个MIT的学生，我们对他进行了一个实验，他在实验室的活动性很高，在教室时非常的低，那他在睡眠的时候，我们有一些奇怪的发现。在第五、六天，他的这个活动性很高，花了很多时间学习和实验，使我们觉得作为教授很尴尬的时候，他在教室时，他的活动性是很低的，标为黄色。我不知道如果在课程中，学生中的反应又是怎么样？这是一个星期搜集的数据，这里我们还有一个实验室，五个孤独症小孩三个月的数据，我们可以看到他们每天，每个人的数据，其中两个小孩，他们的数值从来没有超过1，可能是活动性比较低的。那另外两个小孩，他们也是同样孤独症的患者，他们平均数值大约另外两个小孩最高的值。我们也对双胞胎做了一个研究，有些时候他们的这种生理反应也是非常不同的，这证明光是基因不能完全的得出结论，同时我们还有一点要意识到这个情感激发系统的测量，会给我们带来很多惊奇的发现。在某一年的圣诞节，有一个学生问我能否建两个传感器给他用，因为他有一个小弟弟得了孤独症，不能够用语言交流，他想用这个传感器来观察一下他的表现。我说好的，你可以带两个去做一下实验。

我在回到MIT的这个办公室观察这个数据，第一天和第二天的数据都很正常，第三天的时候我就非常的吃惊，因为这个信号是如此的强，我就在想是不是这个传感器坏了，我是电子工程师，我知道可能会有任何的偏差，我看了一下数据，这个数据看上去也是正常的，在这个大事件发生之前，看上去一切正常。最后我给他打电话，我说很抱歉，在节日期间给你打电话，你知道在12月26号这一天4点钟你的小弟弟出现了什么状况？他说我不知道，我看一下我的日记，然后我觉得好像很奇怪，这个MIT的学生还会记日记，然后就提到他在这一天是否真正的记录了这个事件，然后他问我几点钟？我说四点钟，他告诉我，这在之前这个信号变强，是因为他的癫痫发作了，我并不了解这个癫痫的情况下，我是一个工程师的背景，然后我就进行了一些检索，问到一个医生，我告诉他如果说在癫痫发作之前，这个神经系统是否会变得非常的活跃？你可能外观可以看到，但是具体什么样，我们还是需要进行一个观察。我们也做了一个针对90个孩子的研究，在那些大的事件发生之前，比如说在癫痫之前，100%的这些癫痫都可以通过我们的计算算法进行检测，这个准确性达到了94%。

关于这个睡眠的检测，我们也看到睡眠也有峰值的情况，还有慢波睡眠的时段。我们也发现了一个奇怪的发现，首先我要告诉大家，这个癫痫发作是怎么回事。现在我给大家放一个视频看一下。如果这个癫痫超过了五分钟，我们需要打电话叫救护车。但是在癫痫发作的时候，你不能把东西放在他的嘴上。我想他的癫痫结束了？刚刚癫痫发作了？我知道你感觉很累，好好休息一下，直到你觉得可以回家了为止。他们说五分钟是个时限，五分钟之后就要求救了，那谁在那里进行时间的控制，来计算这个时间？癫痫并不是说峰值是否是它的长度，或者是它的运作强度，而是另外的一些方面。就像这个图片显示一样，脑电图它可以用来观察一个癫痫患者的情况，如果说这个脑电波突然变的平了，这是很危险的，比如说大部分这样情况的患者，最后就会去世。一般来说，我们需要用脑电图来观察这些信号，现在我们可以用一个传感器，也能达到同样的功能。我觉得这是很令人惊异的，就是我们可以通过戴在手上的传感器来追踪脑部的情感变化。我的医生朋友说其实很简单，如果你学过这个课程，你就会理解了。这个课程说在我们出生之前作为胚胎的时候，我们有三种组织，这种组织就可以看到一种组织是将皮肤跟神经联系在一起的，所以这是很简单的医学常识。

有些时候需要用脑电图来捕捉这些数据，来分析人们的学习能力。我们看一下慢波睡眠时期，以及早上醒来之前的这种变化，也能够给我们一些提示：他们是否能够完成这个学习任务的能力。我们可以看到确实是有一些规律可循，当然也有一些非典型的这种规律，看上去也很有意思。近期我们通过六种方法来运行机器学习，我们会分析它的频率，通过对于这种好学生，或者学习能力比较差的学生做一个晚上的这种实验，就能够做出一个结论和推理。我们可以看到，对于我们机器学习的技术，会有很多的参考意见，我们可以看到这些方面不仅仅是对情感有用，而且对记忆力还有紧张度也是有参考价值的，我们刚刚谈的是关于交感神经系的实验，接下来我们会谈一下副交感神经系统。

接下来我想谈一下，对于心率的观察。一般来说研究心率变化，只要给患者插上心电。就行。但是心电图那个液体是粘粘糊糊的，如果你要观察它24小时的活动，会非常的恶心、不舒服。我们就想出了一个技术，是用网络摄像头来进行观察人们心态的变化，而不需要借助电机插满全身的方法来进行研究。同时在观察的时候，我们发现脸色的变化也会传递一些跟你的心跳相关的信息。我们可以看到这里有不同颜色的变化，来帮助我们进行分析。有些是手指上戴的装置传感器来研究心跳，另外一种是利用网络摄像头来捕捉一些信息，捕捉一些数据，来计算出你的心跳。我们也做了更多的这种数据处理的工作，然后我们做了一下比较，我们通过对于脸部表情研究的这个成功率非常高的，精确度达到了百分之九十几，我们的实验对象有不同心跳的指数、指标，还有不同的年龄群。

那另外一个方式，是通过给对象戴上手指脉冲装置来捕捉他的心跳变化，在这个过程中，通过摄像头我们也能够捕捉到人们出汗的这些数据。这些搜集的数据可以帮我们应用到临床治疗的过程中。我想再强调一下，我们的交感神经性是比较活跃的，就像汽车启动的时候，踩油门。那副交感神经系统控制的是我们休息时段的情感，包括像我们要刹车时需要休息一下。我们还可以把这个技术换成一个装置放在这个镜子后面。当你在照镜子的时候，就能够捕捉你心跳的信息等等。我们可以看到这个数据，镜子后面告诉你的数据是78，心电图是76，很近的，如果你有智能手机，像iPhone，你可以现在下载一个应用，你可以玩一下、试一下。

所以这给我们带来很多的惊喜，现在我们的实验结果不仅仅是能够出现在学术上，而且真正成为了应用装置，你们可以下载在自己的智能手机上，因此这个应用性是非常强的，我们也感到非常的惊异和欣慰。

最后我再给大家举一个例子，关于皮肤电传导的例子，一个患孤独症的年轻女性，她今天晚上八点钟的时候需要发言，她感觉到很有压力，很紧张，她问我能否借传感器给她用一下，我说当然了。很多患孤独症的人，他们希望有一个时间表，也希望人们能够固守这个时间表不要变。但是在会议开始之前，她被通知这个会要延后到八点半才开，她会觉得压力太大，很紧张。她的第一个反应是来来回回在屋子里走来走去、踱步。她的男性朋友，当时坐在旁边，不喜欢她走来走去，告诉她不要再走来走去了，这不能够帮你什么，然后她就停止了这种走来走去，就开始Sidimy），我问她什么是Sidimy？就是一种摇摆式的，摇来摇去舒缓她紧张的情绪。我们可以看到，实际上传感器显示的是她在走来走去时，她的数值是低的，在她摇摆的时候是高的。然后她就进行了她的发言，在这之后她和她的朋友和我，一起看了这个数据，她的男性朋友最开始发言，他说我以后再也不会叫你停止踱步、走来走去了。

第二天，在另外一个场合，我也看到他们两个在一起，这次她在走来走去，他只是坐在那里安静的在电脑上打字，让她踱步，放松情绪。有些时候我们自己知道怎么样能够协调我们的情绪，但是我们周围的朋友可能不相信我们，也许他们不理解，过去可能我们针对的是非常主观的一些情绪，来做一个非常独立的数据为基础的研究，这样的话，我们就能理解，并且帮助到人们的情绪。

在结束我的发言之前，我想告诉大家，情感计算并不是说让这个计算机更富有情感，而是要达到一种平衡，因为在过去我们的计算机忽视了人们的情感，我们只是做了一些认知方面的工作，但这不够，我们是需要一种平衡，不是说要更多的情感，而是达到一种恰当比例的情感，要表达我们对人们情感的这种尊敬和敬意。这样的话，才能够真正的对我们人类做很好的服务。最后请大家看上面的一些链接，你们可以在上面下载我的一些论文，谢谢。