深度学习大牛Bengio教授在Reddit吐槽

标签: 深度学习 大牛 bengio | 发表时间:2014-03-07 09:21 | 作者:
出处:http://news.cnblogs.com/

     Deep Learning 界的三架马车,目前 Geoffrey Hinton 已被 Google 收编, Yann LeCun 已被 Facebook 收编,还留在学术界的 Yoshua Bengio 最近心情好,在 reddit 上定期回答问题。

我抽取了一些比较有料的观点在下面,希望对大家了解这方面有帮助(再不上船可就晚了)。

最近掀起的深度学习浪潮,只能表明机器学习界浪费了很多年没去探索它,尤其 1996-2006 这十年。(吐槽深度学习大热)

学习好的表示(representations)是深度学习的核心目的,而非像 SVM 一样就是在特征的固定集合做一个线性预测。(吐槽 SVM 用 kernel 转移重点)

为什么决策树注定泛化能力差?我的 文章中曾说明,其关键点是决策树(和许多其他机器学习算法)划分输入空间,然后给每个区域分配不同的参数,因此没有推广到新区域或跨区域的办法。不可能学习到一个需要跨越区域比训练样例数目还多的函数。相反神经网络可以做到非局部的泛化,是因为每个参数在许多区域被重新使用,在常规的神经网络通常是一半的输入空间。(吐槽决策树泛化能力差)

无监督的处理过程(和预处理)仍然是处理半监督和转移学习(领域适应及非平稳数据)问题的关键成分, 尤其新出现类别的标记样本很少(或分布改变)的时候。我们就是这么赢得 ICML2011 的 比赛

无监督学习(unsupervised learning)的未来更吸引人的原因

  1. 利用未标记数据的庞大数量的优势
  2. 了解所有观察变量间的统计依赖关系,因此可以回答给定任何变量子集下关于任何子集的新问题(训练集中未见的)
  3. 是非常强大的正则化,可以帮助学习者理清变化的潜在因素,使得更容易从极少数的例子解决新任务。
  4. 可用于在受监督情况下输出变量(待预测的)是一个非常高维的复合物(如图像或语句)的场合,即所谓的结构化输出。

超参数与在训练中学习到的参数不同,因为后者通常是通过试错手动设置的,或是对所有参数值组合做愚蠢的大范围探索。(吐槽 grid search 傻大粗)

问:目前深度学习取得成功的问题都是人类保持最先进水平(previous state-of-the-art)的问题,如图像和语音识别、自然语言处理(vision/audio/language),有没有胜过人类的案例?

答:在欺诈识别以及 Netflix 的 推荐系统中有成功的案例,特别是当输入变量巨大到无法可视化或人类可以消化的时候。尽管我没具体比较机器和人脑的性能,但纯粹的速度优势,也不会考虑让人类做这些工作。

在一天结束时,只有数据。专业的知识也是从过去的经验来的:要么通过与人的交流传达(最近的人,或过去的几代人,即所谓文化的进化),要么通过遗传进化(这也依赖于将知识刻入基因的经验)。潜在说明我们可能需要多种优化方法,而不仅仅基于梯度下降(大多数的学习算法)。(吐槽大数据,不明觉厉)

我相信大脑的大部分工作是尽量把我们的经验变得相关,以建立一个关于世界的更好模型。

关于深度学习的革命性再怎么强调都不为过。除了在现有的图像语音识别中不断刷新 state-of-art 之外,在 google,使用深度学习的 AI 给机器随机“看”了 1000 万个 Youtube 视频。你猜它看到了什么?猫的脸!在百度,使用深度学习的广告 CTR 预估模型用K级别特征战胜了原来B级别特征的线性模型。

本文链接

相关 [深度学习 大牛 bengio] 推荐:

深度学习大牛Bengio教授在Reddit吐槽

- - 博客园_新闻
     Deep Learning 界的三架马车,目前 Geoffrey Hinton 已被 Google 收编, Yann LeCun 已被 Facebook 收编,还留在学术界的 Yoshua Bengio 最近心情好,在 reddit 上定期回答问题. 我抽取了一些比较有料的观点在下面,希望对大家了解这方面有帮助(再不上船可就晚了).

深度学习大牛Bengio教授在reddit吐槽

- - 弯曲评论
转载自: http://meroa.com. Deep Learning学术界的三架马车,目前Geoffrey Hinton已被Google收编,Yann LeCun已被Facebook收编,还留在学术界的Yoshua Bengio最近心情好,在reddit上开帖定期回答问题. 我抽取了一些有料的回答在下面,希望对大家了解这方面有帮助.

深度学习二三事

- - FreeBuf.COM | 关注黑客与极客
我知道博客标题中使用否定词很奇怪,但是前几天有一波讨论正好相应于我正在思考的一些问题. 这一切开始于 Jeff Leek 发表的 一篇有关说明在小样本范围内使用深度学习的文章. 要言之,他认为当样本较小时(生物领域中属于常见现象),带有少许参数的线性模型甚至比带有少量层和隐藏单元的深度网络性能更优.

关于深度学习——Deep Learning

- - 互联网旁观者
转载自: http://blog.csdn.net/abcjennifer/article/details/7826917. Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,最近研究了机器学习中一些深度学习的相关知识,本文给出一些很有用的资料和心得.

深度学习的本质探究??

- - ITeye博客
原创 2016-10-07 朱洁 . 标志型事件,阿尔法围棋(AlphaGo)战胜李世石. alphago是一款围棋人工智能程序,由谷歌(Google)旗下DeepMind公司的戴维·西尔弗、艾佳·黄和戴密斯·哈萨比斯与他们的团队开发,这个程序利用“价值网络”去计算局面,用“策略网络”去选择下子. 2015年10月阿尔法围棋以5:0完胜欧洲围棋冠军、职业二段选手樊麾;2016年3月对战世界围棋冠军、职业九段选手李世石,并以4:1的总比分获胜.

深度学习利器:TensorFlow实战

- - 孟飞阳的博客
深度学习及TensorFlow简介. 深度学习目前已经被应用到图像识别,语音识别,自然语言处理,机器翻译等场景并取得了很好的行业应用效果. 至今已有数种深度学习框架,如TensorFlow、Caffe、Theano、Torch、MXNet,这些框架都能够支持深度神经网络、卷积神经网络、深度信念网络和递归神经网络等模型.

深度学习技术可以给你带来第三只眼

- - 互联网分析沙龙
智能手机已经采用了多种技术,使得日常任务更易于完成. 打开谷歌地图或其他使用手机GPS传感器的导航应用. 但是美国普渡大学一位教授认为,当前的技术只能做到这些. 普渡大学研究员们正在研发一种技术,可以从根本上将智能手机转化成人的第三只眼睛. 这项技术使用一种被称为深度学习(deep learning)的算法系统,使智能手机摄像头立即辨识它看到的物体.

深度学习word2vec笔记之应用篇

- - 我爱机器学习
1)该博文是Google专家以及多位博主所无私奉献的论文资料整理的. 2)本文仅供学术交流,非商用. 所以每一部分具体的参考资料并没有详细对应,更有些部分本来就是直接从其他博客复制过来的. 如果某部分不小心侵犯了大家的利益,还望海涵,并联系老衲删除或修改,直到相关人士满意为止. 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢.

深度学习在美团点评的应用

- - 美团点评技术团队
近年来,深度学习在语音、图像、自然语言处理等领域取得非常突出的成果,成了最引人注目的技术热点之一. 美团点评这两年在深度学习方面也进行了一些探索,其中在自然语言处理领域,我们将深度学习技术应用于文本分析、语义匹配、搜索引擎的排序模型等;在计算机视觉领域,我们将其应用于文字识别、目标检测、图像分类、图像质量排序等.

英特尔推出用于Apache Spark的深度学习库

- - IT瘾-tuicool
英特尔今天宣布推出开源 BigDL,一个用于 Apache Spark 开源集群计算框架的分布式深度学习库. 深度学习库是英特尔公司在行业中实现最先进的人工智能战略的一部分. 在去年 11 月宣布的公司战略,详细介绍了英特尔所做的工作——通过旗下的人工智能学院(Intel® Nervana™)使人工智能训练和工具被更广泛的开发人员所获取.