[原]观点:深度学习,先跟上再说

标签: | 发表时间:2017-06-18 20:53 | 作者:myan
出处:http://blog.csdn.net/myan

观点:深度学习,先跟上再说

H是我认识的一个互联网老炮,十多年前 Web 2.0 刚刚兴起的时候,他做了几个创业项目,基本上都是 Copy 2 China 类型的,虽然没有像美团的王兴一样取得特别大的成功,但其中终于有一个在光景尚好的时候脱手卖掉,也算早早的实现了财务自由。中间有好几年我跟他没有什么联系,断断续续的消息说,H 开始做一些投资,而且收益不错。

前几天在一个意想不到的场合突然见到 H,聊起彼此最近的兴趣点,他竟然狮子大开口,滔滔不绝的讲起深度学习来了。而且交流之中,我发现他对于深度学习的理解程度还真不只是停留在高瞻远瞩的互联网口炮层次上,而是针对一些具体技术问题下过功夫钻研。当然,他本人就是国内 Top 5 名校计算机科班出身的高材生,真下功夫研究这些东西是没有问题的,但令我奇怪的是,你一个浓眉大眼搞投资的,不缺钱也不缺机会,你苦哈哈的去给神经网络调超参,你图什么呢?要是说你天性爱技术,逮什么学什么,那当年 Node.js、VR/AR和区块链火的时候也没见你往里冲啊,为什么对深度学习就这么上心呢?

我把这个问题抛给他,他想了想,说了一段挺实在的话:

“其实是因为 不得已。为什么?因为深度学习结合力太强。它可以放在各个场景下,给各个领域带来冲击。我们不知道这个东西能用在多少地方,有多大的潜力,能搞出什么名堂。别的技术,你大概可以设想出它极大发展之后所能达到的那个状态。比如说,区块链彻底重构互联网,一切数字产品皆可资产,代码即法律,所有的交易都自动履约完成;比如说,物联网给每一粒灰尘赋予一个 IP,纳米机器人在我们的血液里纵横,消灭一切疾病;比如说,VR 创造出的虚拟世界让人难辨真伪,一辈子体验几十辈子的人生,等等,这些事情,不管多么科幻,你都可以想得到,它有一个明确的方向。有方向就好办,你可以选择说这个方向我要跟,或者这个方向我不跟。但是深度学习不一样,你不知道它能力的边界在哪里,更没有明确的场景限制。几乎在你可以想到的任何事情中,你都可以构造一个复杂的网络,然后就把数据灌进去开始学啊学啊,蛮不讲理的就可能得出一个更好的结果。在竞争当中,这种武器是最可怕的,没有固定的形态,放到哪里都有可能弄出一个意外的大杀器。这种武器,如果别人有而你没有,不知道对方在什么地方、什么时候就突然拿出一个核弹把你炸得渣都不剩,你的准备、经验和积累完全不起作用,而且在此之前你完全预见不了。这种感觉太可怕了,因此我必须直接掌握这个工具,这个不是技术情怀,也不是前瞻,而是 不得已。”

不得不说这是一个很有说服力的观点。

之前我也了解了一点深度学习,用 TensorFlow 搭了几个模型,也看了一些论文。有两个突出的感受。第一,深度学习这座山,你不爬到一定高度,其实做不出什么新东西来,这跟之前的移动互联网是两码事。跟着网上的教程把例子做出来并不难,但是解决新的问题,并不是谁都能做到的,不客气的说,绝大多数人做不到。即便现在深度学习已经这么火了,能够把这个方法用在新的领域,创造新的网络结构,解决新的问题,这样的研究者也是凤毛麟角,屈指可数。第二,很多事情深度学习干不了。Bharath Ramsundar最近写了一篇文章,介绍了深度学习干不了的那些事,洋洋洒洒列了十多条。其实之前某些媒体把深度学习描绘成为强人工智能的最终解决方案,就是很不负责的。真正在这个领域的人都知道,这一波深度学习的技术并不能支持强人工智能,现在很多普通围观群众对 AI 的憧憬,多半将再一次落空。

所以,不容易学成,学成之后也有好多事情还干不了,那么究竟值不值得跟进深度学习?这其实一直是我内心的一个问题。

H 的一席话点醒了我。深度学习其实是一个我们这五年不得不去跟进的方向,因为它的结合性强,它的应用形态不可预测,它是一个“脑洞”科技。 确实,它有很多事情干不了,但反过来,它能干成哪些事,也不是你能预见的。因为深度学习真正的威力不在于技术,而在于使用这个技术的人。你不知道你的对手会在哪个行业出现,从哪个地方开一个脑洞,对你现在所做的事情、对于你的经验、优势和自信心进行降维打击。

我并不是在耸人听闻。关于深度学习在计算机视觉、语音、自动翻译、自动驾驶等领域的进展,相关报道最近几年来已经汗牛充栋,我们已经逐渐消化了这些消息所带来的冲击,不再觉得惊奇。但是如果你以为深度学习只有这些本事,自己只要避开这些领域就可以不受冲击,你可能就太乐观了。

2012年9月,Kaggle 举办了 Merck分子活动数据挖掘大赛。各路分子生物学、医学、化学和药学数据科学团队纷纷出场,激烈厮杀。这个时候,Geoffrey Hinton 的博士生团队拎着深度学习大杀器闯进赛场,仅仅用了两个星期,就把各路高手纷纷干翻,夺得冠军。重要的是,这个冠军团队是清一色的计算机和深度学习专家,一点生物、医学、分子、化学背景都没有。难道资深专业人士在深度学习面前如此不堪一击吗?这件事情当时震撼了科技界,连《纽约时报》都进行了 报道。不过今天看来,这件事只是一幕序曲。未来相当长的一段时间里,很多行业都可能会出现一批用深度学习武装到牙齿的野蛮人,以你意想不到的方式,从你意想不到的角度对你进行暴击。

你还记得2006年 Netflix 推出的 百万美金大奖赛吗?当时 Netflix 悬赏100万美金给第一个能够将其影碟推荐算法性能提高10个百分点的团队。时隔三年之后,经过不断的努力,终于有团队拿到奖金。冠军团队的算法以集成算法为基础,整合了107种不同的优化技术,最后提高了10.06%。而2016年, 有人用 Keras 写了一段不到20行的深度神经网络程序,经过40个 epoch 迭代,效果非常接近当年的冠军。这就是深度学习的威力。

京东在618这一天启用了配送机器人,一天之内在人大校园内配送了20单。这个机器人能够自动避让行人,应该有深度学习的支持。这个机器人的出现,当然是京东的创新,但另一方面,这也是对京东引以为傲的配送铁军的威胁。智慧物流发展到高度自动化的阶段,一辆大型物流车一路开一路沿途放下配送机器人,用户通过手机开锁取货,今天必须由快递员完成的大部分配送工作,未来靠机器人就可以完成。物流业将变成什么样?电商将变成什么样?

在金融量化交易领域,传统的算法交易系统研究已经多年,有研究先行指标的,也有用传统机器学习算法调了很久的模型,也出现了像 MetaTrader 这样的自动交易机器人开发平台。大家正在不断积累盖楼,其乐融融。现在突然出现一组人,用深度学习和深度增强学习杀到这个领域里。他们悄悄的进村,打枪的不要,但是出手不凡,在选股策略和价格预测等方面已经取得很大的成功。现在来看,很有可能深度学习在很短的时间里能把老炮们辛辛苦苦积累了多年的大部分指标和模型抛到垃圾堆里。有兴趣了解的可以参考这个 文档

当然,从市场数据里踏踏实实建模,这还只是常规思路。深度学习的牛逼之处在于它鼓励脑洞。比如,有些人设想用深度学习捕捉企业高管演讲内容和面部表情,来判断股票价格走势。这个脑洞开得够大吗?恐怕还只是一个开始。

在搜索和计算广告学(当前机器学习最大落地应用没有之一)领域,深度学习也已经开始悄悄上线。前不久阿里P10专家盖昆发表了一篇 论文,公布了2012年以来阿里所使用的广告点击率预测算法 LS-PLM。论文中介绍 LS-PLM 平均来说比逻辑回归算法的 AUC 高 1.44 个百分点。这对于每天数亿 PV 的阿里系网站来说,当然有非常巨大的价值。这么牛的算法,时隔五年被公布出来,外界猜测,阿里内部一定部署了新的广告点击率预测算法,而且一定比 LS-PLM 有明显的优势。会是什么样的算法呢?非常大的可能是基于深度学习的算法。 这篇文章也许能给我们一点提示。

搜索和计算广告学算是大数字营销当中的一部分,大多数情况下它解决的是消费者已经表露出来的消费需求,这就已经支撑起了整个互联网产业几乎一半的收入。实际上数字营销里还有更大的一块,就是针对客户的潜在需求进行个性化推广,以及品牌传播。把系统对于用户的了解跟商家的营销需要结合到一起,再用上深度学习,会发生什么? Lars Eidnes 开发了一个“标题党”RNN,可以自动生成耸人听闻的标题或者诱饵链,他基于这个 RNN 开发了一个网站叫 Clickotron,可能是世界上第一个完全用RNN生成标题和新闻内容的网站。我们可以设想以后的互联网新闻和商家宣传文字都是根据你的个人偏好实时生成的。同一条新闻,你看到的版本跟我看到的版本不同,目的却是为了吸引我们采取某种特定的行动,比如买买买。这样的技术如果成熟,今天数万亿美元的企业营销、品牌和广告行业将面目全非。想到这些,我不知道都有多少人会吓出一身病来。

你有病,深度学习有药。在医疗领域,有些实力雄厚的大公司在诊疗专家系统方面有多年的投资和积累,聘请了一大批医学专家,建立了先进的基于规则的诊疗系统。但是突然之间,一帮野蛮人冲进赛场,用深度学习暴力蛮算,在医学影像分析、药学等领域已经带来很大冲击。宾夕法尼亚大学医学院教授 Nick Bryan 认为,十年内所有医学影像都将首先交给机器读片,有质疑才会由人类复审。如果你知道现在医学影像在医疗诊断的作用,你就会知道这个变化对于医生这个行业的影响有多大。但这只是刚刚开始,医疗诊断本身就是机器学习的最佳应用领域之一,

还有,CMU有两位教授在研究用深度学习自动编程,印度尼西亚一所大学用深度学习来研究高层建筑结构在地震中的力学特征,MIT的研究员在用深度学习给默片自动配音,Kaggle上有一个团队开发的英语作文自动评分系统,表现比人类教师更一致。还有人在研究如何根据你的照片来判断照片拍摄的位置,还有一个应用根据你在 IM 工具中的对话内容自动建议表情包,帮助你进行表情包大作战…

这样的例子我可以不断举下去,但要点不是这些新的进展有多炫酷,而是深度学习这项技术的可结合性,确实是超强的。它就像氧气,碰到什么就把什么氧化,你不知道它会从那里钻进来驱动创新。而每一个这样的创新,背后都是一个行业被改变,一堆人的工作和生活方式被冲击。正如 H 所说,跟进深度学习,不是我们要表现的多么新潮或者前瞻,而是不得已。所以,虽然深度学习挺难学,而且很有可能学下来也无所施展,但是我认识的一大批技术老炮都在跟进,捧起多年未翻的数学书开始吭哧吭哧学习,为什么?就是因为 面对新的时代,手里没有深度学习这个大杀器,说话就不硬气

我建议有条件的人,不必再犹豫了,尽快跟进深度学习吧,不必陷入孰优孰劣的争论之中,也不一定非要等到有了现成的加薪跳槽机会。坦率的说, 深度学习人才的薪资今天是存在一定的泡沫的,但是以后这个泡沫会吹得更大。进入深度学习能给你打开一扇窗,帮助你在各个领域开拓创新的可能性。更重要的是,使你在很多领域里获得话语权,获得上牌桌的机会。

最后我做一个广告。对于那些决心进入深度学习的人来说,我推荐CSDN和 AI100 马上将要推出的 《深度学习基础与TensoFlow实践》课程。虽然这个课程还在准备当中,但从我目前了解到的情况来看,我有信心这将是目前市面上有水平、有特色的一个深度学习培训课程。

我的信心来自两点。

第一点是教学思路。对于一般人来说,入门深度学习最大的风险是把握不好节奏,不知哪里当详哪里可略,在一些理论细节上纠缠太久,消耗精力和信心,最后中途而废。而这个课程的主讲人是海豚浏览器的深度学习专家王琛。我曾经就如何入门深度学习跟王琛以及海豚浏览器的 CEO 刘铁锋进行过数次探讨,思路非常一致。王琛本人虽然是爱丁堡大学人工智能专业科班出身的高手,但在海豚浏览器团队中长期的产品和工程实践使他非常接地气。他坚信,在 TensorFlow 等工具的支持下,今天入门深度学习的人,不能长时间纠缠于数学和理论基础,应该以工具为抓手,以实践为导引,先把握主要理论和技巧,集中突击,快速应用,先把深度学习用起来,然后在问题的驱动下倒回去补足基础。我认为这个思路对今天绝大多数深度学习爱好者来说是友好的、适用的。这次培训课程的整个体系就是按照这个思路组织起来的,王琛的教学框架,是经过多次线下培训打磨出来的。他计划在五次讲授中,带领学员快速突破,迅速掌握深度学习的主要框架,达到可以动手实践的程度,既大胆放弃对初学者来说不必要的枝节,又为后续的深造留下气口。我相信会是目前网上比较实战的一个教学体系。

另一点信心来自于王琛参与撰写的一本书,名字与这次课程的题目一样, 《深度学习原理与 TensorFlow 实践》。为什么这本书很重要呢?首先是因为这本书写得很不错,详略得当,畅快淋漓。但更重要的是因为因为深度学习还是有一定的理论要求的。你再提纲挈领,再实践引导,对于一些关键的理论也还是得掌握。我目前正在跟着国外一个著名的在线课程学习深度学习,根据我的体验,光看视频、做练习,确实可以提高动手能力,但是理论上的理解,恐怕还是得啃书。如果没有书,当一个理论问题没搞懂的时候,我就得反复去看视频。但是视频的优势是生动,真的到严格的理论推导,很多时候其实效果并不是那么好。因此,在学习一个课程的时候,有一本教材可作参考,作为课程内容的深度延展,这是十分重要的。王琛将要开的这门视频课程, 可能是目前市面上唯一一个拥有配套教材的深度学习在线课程。学生可以听完可之后精读这本书的相关内容。也就是说,因为这本教材的存在,这门课程的教学内容被成几倍的放大了,学习者的成功几率也就大得多了。

作者:myan 发表于2017/6/18 17:36:17 原文链接
阅读:148 评论:0 查看评论

相关 [深度学习] 推荐:

深度学习二三事

- - FreeBuf.COM | 关注黑客与极客
我知道博客标题中使用否定词很奇怪,但是前几天有一波讨论正好相应于我正在思考的一些问题. 这一切开始于 Jeff Leek 发表的 一篇有关说明在小样本范围内使用深度学习的文章. 要言之,他认为当样本较小时(生物领域中属于常见现象),带有少许参数的线性模型甚至比带有少量层和隐藏单元的深度网络性能更优.

关于深度学习——Deep Learning

- - 互联网旁观者
转载自: http://blog.csdn.net/abcjennifer/article/details/7826917. Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,最近研究了机器学习中一些深度学习的相关知识,本文给出一些很有用的资料和心得.

深度学习的本质探究??

- - ITeye博客
原创 2016-10-07 朱洁 . 标志型事件,阿尔法围棋(AlphaGo)战胜李世石. alphago是一款围棋人工智能程序,由谷歌(Google)旗下DeepMind公司的戴维·西尔弗、艾佳·黄和戴密斯·哈萨比斯与他们的团队开发,这个程序利用“价值网络”去计算局面,用“策略网络”去选择下子. 2015年10月阿尔法围棋以5:0完胜欧洲围棋冠军、职业二段选手樊麾;2016年3月对战世界围棋冠军、职业九段选手李世石,并以4:1的总比分获胜.

深度学习利器:TensorFlow实战

- - 孟飞阳的博客
深度学习及TensorFlow简介. 深度学习目前已经被应用到图像识别,语音识别,自然语言处理,机器翻译等场景并取得了很好的行业应用效果. 至今已有数种深度学习框架,如TensorFlow、Caffe、Theano、Torch、MXNet,这些框架都能够支持深度神经网络、卷积神经网络、深度信念网络和递归神经网络等模型.

深度学习三大框架对比

- -
| 导语 Science is NOT a battle, it is a collaboration. 人工智能的浪潮正席卷全球,诸多词汇时刻萦绕在我们的耳边,如人工智能,机器学习,深度学习等. “人工智能”的概念早在1956年就被提出,顾名思义用计算机来构造复杂的,拥有与人类智慧同样本质特性的机器.

Nimbus: Hulu的深度学习平台

- - 董的博客
Hulu是美国领先的互联网专业视频服务平台,目前在美国拥有超过2500万付费用户. Hulu的目标是帮助用户在任意时刻、任何地点、以任何方式查找并欣赏到高质量的电视剧、电影和电视直播. 实现这一目标离不开各个团队的努力,而AI在其中扮演者越来越重要的角色. 在Hulu, 我们拥有诸多的researcher团队,如广告团队,推荐团队,视频理解团队等ji等.

深度学习大牛Bengio教授在Reddit吐槽

- - 博客园_新闻
     Deep Learning 界的三架马车,目前 Geoffrey Hinton 已被 Google 收编, Yann LeCun 已被 Facebook 收编,还留在学术界的 Yoshua Bengio 最近心情好,在 reddit 上定期回答问题. 我抽取了一些比较有料的观点在下面,希望对大家了解这方面有帮助(再不上船可就晚了).

深度学习技术可以给你带来第三只眼

- - 互联网分析沙龙
智能手机已经采用了多种技术,使得日常任务更易于完成. 打开谷歌地图或其他使用手机GPS传感器的导航应用. 但是美国普渡大学一位教授认为,当前的技术只能做到这些. 普渡大学研究员们正在研发一种技术,可以从根本上将智能手机转化成人的第三只眼睛. 这项技术使用一种被称为深度学习(deep learning)的算法系统,使智能手机摄像头立即辨识它看到的物体.

深度学习word2vec笔记之应用篇

- - 我爱机器学习
1)该博文是Google专家以及多位博主所无私奉献的论文资料整理的. 2)本文仅供学术交流,非商用. 所以每一部分具体的参考资料并没有详细对应,更有些部分本来就是直接从其他博客复制过来的. 如果某部分不小心侵犯了大家的利益,还望海涵,并联系老衲删除或修改,直到相关人士满意为止. 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢.

深度学习大牛Bengio教授在reddit吐槽

- - 弯曲评论
转载自: http://meroa.com. Deep Learning学术界的三架马车,目前Geoffrey Hinton已被Google收编,Yann LeCun已被Facebook收编,还留在学术界的Yoshua Bengio最近心情好,在reddit上开帖定期回答问题. 我抽取了一些有料的回答在下面,希望对大家了解这方面有帮助.