深度学习大牛Bengio教授在Reddit吐槽

标签: 学习 大牛 bengio | 发表时间:2014-03-07 09:21 | 作者:
分享到:
出处:http://news.cnblogs.com/

     Deep Learning 界的三架马车,目前 Geoffrey Hinton 已被 Google 收编, Yann LeCun 已被 Facebook 收编,还留在学术界的 Yoshua Bengio 最近心情好,在 reddit 上定期回答问题。

我抽取了一些比较有料的观点在下面,希望对大家了解这方面有帮助(再不上船可就晚了)。

最近掀起的深度学习浪潮,只能表明机器学习界浪费了很多年没去探索它,尤其 1996-2006 这十年。(吐槽深度学习大热)

学习好的表示(representations)是深度学习的核心目的,而非像 SVM 一样就是在特征的固定集合做一个线性预测。(吐槽 SVM 用 kernel 转移重点)

为什么决策树注定泛化能力差?我的 文章中曾说明,其关键点是决策树(和许多其他机器学习算法)划分输入空间,然后给每个区域分配不同的参数,因此没有推广到新区域或跨区域的办法。不可能学习到一个需要跨越区域比训练样例数目还多的函数。相反神经网络可以做到非局部的泛化,是因为每个参数在许多区域被重新使用,在常规的神经网络通常是一半的输入空间。(吐槽决策树泛化能力差)

无监督的处理过程(和预处理)仍然是处理半监督和转移学习(领域适应及非平稳数据)问题的关键成分, 尤其新出现类别的标记样本很少(或分布改变)的时候。我们就是这么赢得 ICML2011 的 比赛

无监督学习(unsupervised learning)的未来更吸引人的原因

  1. 利用未标记数据的庞大数量的优势
  2. 了解所有观察变量间的统计依赖关系,因此可以回答给定任何变量子集下关于任何子集的新问题(训练集中未见的)
  3. 是非常强大的正则化,可以帮助学习者理清变化的潜在因素,使得更容易从极少数的例子解决新任务。
  4. 可用于在受监督情况下输出变量(待预测的)是一个非常高维的复合物(如图像或语句)的场合,即所谓的结构化输出。

超参数与在训练中学习到的参数不同,因为后者通常是通过试错手动设置的,或是对所有参数值组合做愚蠢的大范围探索。(吐槽 grid search 傻大粗)

问:目前深度学习取得成功的问题都是人类保持最先进水平(previous state-of-the-art)的问题,如图像和语音识别、自然语言处理(vision/audio/language),有没有胜过人类的案例?

答:在欺诈识别以及 Netflix 的 推荐系统中有成功的案例,特别是当输入变量巨大到无法可视化或人类可以消化的时候。尽管我没具体比较机器和人脑的性能,但纯粹的速度优势,也不会考虑让人类做这些工作。

在一天结束时,只有数据。专业的知识也是从过去的经验来的:要么通过与人的交流传达(最近的人,或过去的几代人,即所谓文化的进化),要么通过遗传进化(这也依赖于将知识刻入基因的经验)。潜在说明我们可能需要多种优化方法,而不仅仅基于梯度下降(大多数的学习算法)。(吐槽大数据,不明觉厉)

我相信大脑的大部分工作是尽量把我们的经验变得相关,以建立一个关于世界的更好模型。

关于深度学习的革命性再怎么强调都不为过。除了在现有的图像语音识别中不断刷新 state-of-art 之外,在 google,使用深度学习的 AI 给机器随机“看”了 1000 万个 Youtube 视频。你猜它看到了什么?猫的脸!在百度,使用深度学习的广告 CTR 预估模型用K级别特征战胜了原来B级别特征的线性模型。

本文链接

相关 [学习 大牛 bengio] 推荐:

深度学习大牛Bengio教授在Reddit吐槽

- - 博客园_新闻
     Deep Learning 界的三架马车,目前 Geoffrey Hinton 已被 Google 收编, Yann LeCun 已被 Facebook 收编,还留在学术界的 Yoshua Bengio 最近心情好,在 reddit 上定期回答问题. 我抽取了一些比较有料的观点在下面,希望对大家了解这方面有帮助(再不上船可就晚了).

深度学习大牛Bengio教授在reddit吐槽

- - 弯曲评论
转载自: http://meroa.com. Deep Learning学术界的三架马车,目前Geoffrey Hinton已被Google收编,Yann LeCun已被Facebook收编,还留在学术界的Yoshua Bengio最近心情好,在reddit上开帖定期回答问题. 我抽取了一些有料的回答在下面,希望对大家了解这方面有帮助.

mongo 学习

- - CSDN博客系统运维推荐文章
mongod 启动参数详解:. master 启动: ./mongod --dbpath /data/db/master --logpath /data/db/master.log --logappend  --fork --port 2717 --master --oplogSize 64 . slave 启动: ./mongod  --dbpath /data/db/slave  --logpath  /data/db/slaver.log --logappend  --fork  -port 27018  --slave --slavedelay 5 --autoresync --source localhost:27017  .

Servlet Filter 学习

- - CSDN博客架构设计推荐文章
最近在研究CAS , CAS 中的Servlet Filter 不太熟悉, 所以花了点时间学下了下这部分的知识, 分成以下几部分 学习. Servlet Filter  的功能和用法. Servlet Filter 顺序的注意事项. A filter is an object that performs filtering tasks on either the request to a resource (a servlet or static content), or on the response from a resource, or both.

iptables NAT 学习

- - BlogJava-首页技术区
为了搞清楚iptables NAT的过程,做了这个实验. 使用了1台双网卡服务器和1台单网卡服务器,2个网段. 1.       为了看到调度服务器上的数据转发过程,首先在调度服务器上分出内核的debug日志:. l 在/etc/rsyslog.conf最后增加:kern.debug /var/log/iptables.log.

pushlet 学习

- - 企业架构 - ITeye博客
转自: http://blog.csdn.net/houpengfei111/article/details/7498481.     pushlet是一种comet实现,在servlet机制下,数据从server端的java对象直接推送(push)到(动态)HTML页面,而无需任何java applet或者插件的帮助.

Storm Trident 学习

- - 小火箭
Storm支持的三种语义:. 至少一次语义的Topology写法. 参考资料: Storm消息的可靠性保障 Storm提供了Acker的机制来保证数据至少被处理一次,是由编程人员决定是否使用这一特性,要使用这一特性需要:. 在Spout emit时添加一个MsgID,那么ack和fail方法将会被调用当Tuple被正确地处理了或发生了错误.

「学习笔记-Linux」学习Shell Script

- - CSDN博客系统运维推荐文章
学习Shell Script. 1 什么是Shell Scipt. 2.2 例2 按日期建立相似名字的文件. 3.2.4 整数,字符串,多重条件判断. 4 Shell Script 参数. 5.2 if else 结构. 8 shell script的追踪与Debug. 1 什么是Shell Scipt.

真正的学习

- Yuli - 左岸读书_blog
前天突然发现,身边很多人在当年读书时有神话般的表现,比方说一个哥们小学、初中与高中永远是全校第一名. 比方说,高中的同桌在一次期末考试前生病,在家休养一个月,回来时距离考试仅三四天时间,但没想到他一鸣惊人,从以前的十二三名跃居到第四名. 不过,所有这些神话,都远不如一个看起来有些愚笨的故事令我感动.

学习的艺术

- 白肥 - 左岸读书_blog
一个男嘉宾刚从后面的背景门后走出来,. 一个女嘉宾就以迅雷不及掩耳盗铃响叮当之势把灯按掉. 主持人问她:姑娘,你怎么这么快就把灯按了呀. 第三,我不喜欢个子矮还穿西装的. 我脑中马上想出一个画面:如果这位姑娘看到敬爱的小平同志的尊荣不知是何反应. 当我们初见一个人、初学一门技艺、初尝试一样新的菜式、或者初到一个陌生的地方、、、、、、.