领英如何认识并运用人工智能

作者 | 领英人工智能负责人Deepak Agarwal

2005年，我在AT&T（美国电报电话公司）贝尔实验室开始了我的职业生涯。当时，电信产业正受困于价格战和来自无线运营商的竞争，看着一个又一个同事离职，前往谷歌和雅虎这样正蓬勃发展的消费互联网产业寻求职业发展机会时，我不禁也开始思考自己的下一步。

尽管当时领英已经成立，但我却没有听过这个平台。我当时做了什么呢？我开始联系自己身边的朋友和曾经的老板，参加了一场接一场的招聘面试，最终那年年末，我在雅虎研究院找到了工作。这是我在科技行业职业发展的起点。

我分享自己故事的原因是，它和很多领英会员的故事十分类似：我在自己的人际关系网中找到机会。领英的愿景就是促进大规模的经济流动。我们希望连接全球职场人士，为每一位会员都创造经济机会。为了践行这一宏大的愿景，我们采用人工智能帮助会员匹配合适的求职岗位，为客户筛选理想求职者。在人工智能的协助下，我们能够将海量数据转化为洞察，包括招聘职位、希望建立的人脉、信息流内容等，根据会员的兴趣提供高效精准的推荐。

多年来，我们一直把人工智能应用到我们的产品和服务中，我们也曾在博客中谈到过人工智能在领英的几个具体应用案例。在本博文中，我会更深层次地谈谈我们是如何应用人工智能来改善会员和客户体验的。由于人工智能技术在不断发展进步，它在领英的应用已经无处不在，而不仅仅局限于一两个应用。全面观察人工智能在领英的应用将有助于展现并解释人工智能是如何融入到领英的方方面面中。

什么是人工智能？

根据基本定义，人工智能（AI）是构建智能计算机程序的科学和工程，可以实现复杂的目标，例如驾驶汽车，识别图像中的一只猫，或向你推荐可能感兴趣的工作。广义的人工智能下有多个专业分支，例如机器学习和深度学习等等。

为了了解人工智能系统如何帮助我们实现目标，需要首先了解人工智能算法的基本原理。

• 首先需要为人工智能系统定义一个宽泛的目标，例如为“为会员提供符合其技能和兴趣的工作机会”或者“为招聘者提供满足搜索标准、同时符合招聘要求的求职者名单”。
• 接着建立一套中间指标（图1中的“相关度”指标），用以衡量系统在多大程度上实现了这一目标。这是必要的步骤，因为机器学习算法很难直接优化最原始的指标（例如：招聘成功）。在领英，此类指标一般包括申请职位的会员数量、成功招聘的数量、点击职位列表的会员数量等等。
• 然后根据相关指标开发一种算法，它可以改进现有的依靠数据获得结果的方法。例如，某一模型采用了一个不同的标准向会员进行职位推荐，从而增加了求职列表中的会员点击数，这表明职位推荐算法得到了改善。

最后，采用科学方法测试算法、调整算法，以及通过相互比较不同的算法进而确定哪种系统变更能够实现最佳成果。以下的A/B测试可以作为一个例子。

图1：产品设计、人工智能系统和A/B测试之间的关系图

对于每一个应用人工智能的企业来说，确保采用正确的指标十分重要。例如，当企业想增加职位推荐的互动时，就可能由于推荐的职位过多而破坏了用户体验，尤其是那些并不想找新工作的会员。同样的，一般会员们并不想花费过多时间去申请录用几率渺茫的工作。领英的一个关键策略是：采用一个最优化、整体而全面的机器学习算法，可以让客户和会员的体验得到同时优化，包括动态内容和职位推荐，以及向招聘者提供求职者搜索结果。了解此项研究的更多详情，大家可以通过观看KDD’14视频，了解关于这项研究的更多信息，同时通过另一篇博客文章，了解如何应用于会员的信息流推送功能中。

另一个值得关注的点是，要及时对会员的反馈做出反应。无论反馈是来自A/B测试，还是来自访谈和小组座谈会，通过多种方式做出反馈是与长期的成功同等重要的。

领英如何使用人工智能？

人工智能支持着领英的方方面面。会员每一天的使用过程中都蕴含了人工智能的成果，例如向其推送合适的职位和联系人，或者在信息流中提供有价值的内容。我们在针对企业客户的产品中也应用了人工智能，例如帮助销售人员预测客户的反馈、向会员提供精准的广告服务，或者帮助招聘人员找到新的人才库。我们在后台也采用人工智能技术，例如确保会员不受有害内容干扰，自动寻找最佳连接点以提高网站接入速度，并确保向会员推送有价值而不是令人感到厌烦的通知。

图2：领英动态信息流及职位页面

• 人机结合，最大限度地利用大数据

很多人认为，人工智能是一个不需要人力投入、完全自动化的流程。实际上，我们人工智能系统中所使用的非常多的数据，以及人工智能系统的部署方式都依赖于人力的投入。以领英档案数据为例，几乎所有会员数据都是由会员自己自行输入的。因此，同一个职位在一家公司可能称为“资深软件工程师”，而在另一家公司则称为“研发负责人”。汇总上百万份会员档案后，你会发现，在职位名称错综复杂的情况下为招聘者提供良好的搜索体验是一件极具挑战的事情。将数据标准化成人工智能系统可以理解的形式是打造良好搜索体验非常重要的第一步，而这一过程需要人工和机器的共同努力。我们的分类学家创建了职位分类体系，然后采用机器学习模型（LSTM模型、其他神经网络等等）进一步将大量职位进行关联。了解这些关联后，我们就可以进一步推断出每名会员在档案内容之外具备的深层次技能；例如，具有“机器学习”技能的会员同时也了解“人工智能”。这就是构建领英知识图谱分类和关联体系的一个实例。

从这里可以看出，我们的人工智能方法既不是彻底的机器驱动，也不是彻底的人工驱动，而是二者的结合。我们认为，机器和人工密切协作才是最好的解决方案。

• 深度学习促进个性化和内容理解

为了向会员提供个性化服务，我们需要采用能够从多角度理解内容的机器学习算法。将机器学习与会员意图信号、档案数据和会员人脉网络信息结合起来，我们就能实现会员推荐和搜索结果的高度个性化。

我们广泛采用了机器学习的一个分支—深度学习，这是一种能够使用多层神经网络自动学习复杂层级结构，从而理解各种类型的内容的算法。我们在广义线性混合效应模型（GLMix）的基础上开发了全新类型的机器学习模型，将来自不同渠道的数据结合起来为会员提供个性化服务。

另外，深度学习方法还可以高效地识别暂存、时序和空间数据中的非线性规律。我们针对大部分自然语言处理和计算机视觉任务采用三大类深度学习方法：即上述的LSTM、CNN和序列到序列模型。对于某些指导性学习任务，我们还会在必要时采用典型多层感知器。

人工智能开始被大规模地使用

开发和启动人工智能系统是一项巨大的挑战。几年前，当我入职领英的人工智能团队时，我们已经从多个渠道积累了大量数据，这也为我们创建人工智能提供了方便。但是我们接下来仍然面临双重挑战：全球人工智能人才短缺，如何扩大我们的人才队伍；如何扩展基础架构以部署那些需要大量计算和处理大规模数据的系统。在当今的科技行业中，很多公司依旧面临着类似挑战。

• 扩大人才队伍

为了扩大人工智能工程师、统计师和数据科学家队伍，我们采用了集中式组织模式，在保持人工智能团队内部汇报关系的情况下，分配我们的专家进驻到不同产品团队中。我们因而能够有独特的跨部门合作机会，在为整个会员体验解决问题的同时，在产品层面对机器学习问题进行更多本地优化工作。在集中式组织体系下，我们的工程师经常就各个不同项目开展合作，并轻松地分享知识。

领英人工智能学院是另一个为公司全体员工提供学习机会的计划，学院培训涵盖工程、产品管理等领域。他们在学院学到的知识帮助他们更加高效地为会员提供影响深远的人工智能体验。例如，一名工程师可以参与每周一天、共计五次的深度课程，然后参与核心人工智能团队的一月学徒培训。学员通过培训将学到如何从接入、维护人工智能系统，到为团队实际交付一个人工智能系统的知识。对产品经理和公司高管来说，可以参加为期一天的深度课程，课程专注于他们管理人工智能产品所需的特定领域知识。

• 一个可以培训并部署任何人工智能模型的平台

每个人工智能系统都只可利用特定类型的数据，这种限制是由模型中内置的 "特征" 所决定的。这些“特征”指出了可以帮助我们为用户做出更好推荐的不同信息。例如，你的职位头衔可以作为一个特征，利用它来匹配未来的新工作机会。我们的专家和A/B测试框架教给人工智能系统如何使用这些特征，根据已有数据来推送更适合的推荐信息，例如使用“实习生”职位的用户更关注初级开发工程师信息，而非高级开发工程师。

这项工作非常耗时。在领英，我们为多项产品开发了数百个模型及数十万个特征。我们由此建立了名为Pro-ML的“人工智能自动化”平台，通过一个统一的系统为所有工程团队集中管理这些特征和机器学习模型。这一系统为机器学习模型的整个开发、培训、部署、测试的生命周期提供单一化平台，已经极大加快了领英开发及上线新产品的速度。

• 扩展我们的基础架构

在数据基础架构方面，领英在该领域的创新有着悠久的历史。

例如，我们将著名的数据消息系统Kafka作为管理领英所有信息的“中央神经系统”。我们拥有自己的流处理框架Samza，它采用开源结构，也为世界上的其他企业所使用。除上述流数据系统外，我们还为Hadoop生态系统及其他各种类型的项目做出了贡献，其中包括Ambry。我们还贡献了新的开源项目，从而加速Spark机器学习的应用案例。

我们同时也在自己的项目中使用各种开源软件。例如，我们在深度学习流程中广泛地使用了谷歌打造的TensorFlow。我们在数据处理中广泛使用Spark和Scala，在数据分析中使用Pig和Hive。

除上述开源创新外，我们近期还与微软开展合作，从而利用Azure云平台上的人工智能服务。例如，正如上篇博文所述，我们采用微软文本分析API对推送内容进行动态翻译。

魔法成真

人工智能就像是领英的氧气，它是我们一切工作的驱动力。为什么我们会认为我们所作的所有事情都将受益于人工智能？原因如下：

• 领英的人工智能系统为那些正在找工作的会员提供了极大的帮助。自领英上线了一个新的为会员推送“可能感兴趣的职位”的个性化人工智能模型之后，工作职位申请数量随之增长了30%。
• 领英同时为会员和招聘专员提供了很多人工智能技术驱动下的用户体验优化和产品更新，从而使工作职位申请量实现了40%的年度增长。
• 通过利用人工智能改进的领英招聘解决方案已经使招聘站内信的回复率提高了45%，同时还减少了我们向会员短信推送的数量。
• 人工智能成功地优化了领英主页上会员的文章阅读体验，文章的点击率提高了10-20%。

领英中国：共赴愿景

作为全球领先的职场社交平台，领英一向致力于连接全球职场人士，并协助他们事半功倍、发挥所长。领英的愿景就是为全球30亿劳动力中的每一位都创造经济机会，进而绘制世界首个经济图谱。

中国无疑是这一愿景中极为重要的一部分。为了更好地连接中国4,400万用户，向他们提供全球化的发展平台，助力他们实现职业理想，我们构建了一支60余人的国际化研发团队，在硅谷和北京两地以“One Team”的形式高效协作：20余名常驻硅谷的工程师实时分享总部最新产品计划和资源；超过40名常驻北京的工程师专攻适合本地会员的产品与服务；两地团队的工作无缝衔接。“One Team”的研发形式满足了从资源层面到人员层面的交流共享需求，保证在紧跟全球最新技术趋势的同时，实现产品本地化，从而实现领英的终极愿景。

值得骄傲的是，在这60人的团队中，五分之一的成员为女性工程师，这和领英一贯秉承的“多样性”文化相契合。为了助力女性职业发展，领英还通过Women In Tech、Women at LinkedIn等活动，培养年轻女性对科学、技术、工程和数学类职业 (STEM) 的兴趣。此外，领英中国通过开放、多元、包容的工作环境为员工创造了自由的办公空间、完善的配套设备。我们鼓励平衡工作和生活，将优秀的工程师文化和前沿的全球视角带入国内；我们支持员工学习和深造，通过主办Learning InDay等企业文化活动，鼓励员工提升更广泛的技能、开拓更广阔的自我发展空间。