下一代大数据分析技术

原文发表于《程序员》杂志2013年第2期.

文 / 陈冠诚

随着以Hadoop为代表的大数据分析技术的普及，大数据的商业价值得到深入挖掘，并开始在互联网、零售、医疗、物联网等多个行业里成为商业变革的主导力量。Facebook最近就发布了名为Graph Search的新型社交搜索产品，基于海量的社交关系网络及“Likes”行为数据，为用户提供个性化的社交搜索服务，该产品被认为将是Google搜索业务的重要竞争对手。在电子商务领域，淘宝的数据魔方就是一个基于大数据分析的典型产品。数据魔方基于淘宝所掌握的大量消费数据提供各种各样的分析服务，例如展示消费者的购物习惯，地域分布，年龄分布，热销排名等，为淘宝卖家提供了非常有价值的分析数据。然而，这些现有的大数据分析技术处理的主要对象仍集中于文本数据，例如社交图谱，搜索关键字，商品数目，店铺、商品浏览记录，成交、收藏、评价记录等等，却没有涵盖一类非常重要的数据：多媒体。

实际上，多媒体数据的数据不仅规模远远超过文本数据，其商业价值也毫不逊色。以全球流量最大的网站Youtube为例，它在07年一年所消耗的网络带宽就等同于整个互联网在2000年的全部流量。另一方面，多媒体数据的来源也是异常丰富。仅以手机为例，手机的摄像头、麦克风可以产生丰富的图像、视频、语音数据。除此之外，社会中的各种监控摄像设备、医疗图像设备、物联网传感设备、卫星图像等都能产生大量的图像、视频数据。而多媒体相对于文本数据更有其得天独厚的优势：丰富的多媒体数据对人的感官刺激远胜过纯文本数据。以新浪微博为例，微博中被大量关注和转发的微博大都含有图片、视频等链接；相反，纯文字的微博受关注的程度还是会差不少。同样，微信以语音作为主要的信息载体，一举与纯文本的短信形成差异化竞争优势，再加上产品的社交因素而一炮走红，现在大家经常能在街上看见与手机上的微信好友对话的用户。在零售行业，基于图像的大数据分析也将打开一片新的市场。例如在一个大型的购物中心，我们可以对人流的视频数据进行分析，从而对消费者的购物习惯、逛街顺序等信息进行充分挖掘，从而有针对性地设计相应的促销方案、货架摆放规律等等。在安防行业，基于对视频数据的实时分析，我们可以监控潜在的安全隐患（例如检测出消防通道被占用需要及时清理），大大提升安全措施的响应时间。可以预见，基于多媒体数据的大数据分析将对互联网、零售、安防、生物医药等在内的众多领域发挥重要的作用。

在笔者看来，基于多媒体数据的大数据分析主要的技术难点就在于数据量和算法复杂度大大增加。Google在2012年有一项曾引起广泛关注的研究成果：他们使用了一千台电脑的一点六万颗处理器核组建了一个机器学习神经网络，花了三天时间用来自Youtube中截取的1000万幅图像来训练该神经网络，从而使得该网络可以自主学习并形成了“猫”这个概念，最终成功地识别出猫的图像。从这个例子中我们可以看到，要对海量图像、视频进行分析所需要的机器规模确实对计算资源和软件算法提出了极大挑战。好在视频、图像、语音处理并不是一个什么崭新的领域，这些方向都有很多的技术积累。笔者认为，真正的挑战可能在于如何将现有的多媒体处理技术扩展到大规模数据上去，毕竟对小规模数据有效的算法可能在处理超大规模的数据时会遇到从未有过的挑战。但是笔者也相信，基于多媒体数据的分析技术也一定会在未来得到蓬勃发展，并为用户创造新的价值。