【deep learning学习笔记】最近读的几个ppt（二）

《Machine Learning and AI via Brain simulations_Andrew Ng_2013》

Andrew Ng今年三月份在清华做的一篇报告，ppt，109页。

1. 从图像识别，讲特征表示，如：月hi辆摩托车的图像，在电脑中表示为像素矩阵，不过在人脑中，由轮子、把手等各个组件组成。

2. 进一步讲特征表示，如：NLP中，一句话，可以句法分析为一个树状表示，树的每一层，都是一种特征表示。此外，词性标注、wordnet语义等都是特征

3. 指出，特征表示在实际工作中更加重要，并且是难点

4. 特征表示是很难的，一方面我们可以直接表示，构建特征工程，但是很难。另一方面，我们可以用“训练好的算法”表示，如：神经网络。这些算法的结果就表示了特征，但是用来训练算法的方法并不难。

5. 传统的supervise learning，作者对比了几个分类器，当数据量很大的时候，分类器性能相当。所以，实际解决问题的时候，往往不在所用的方法，而在于数据的大小。

6. 缺点：

（1）没有融合先验知识

（2）Unsupervised feature learning有些任务还不能做：video等、层次化的知识表示、活动探测、图像分类

（3）学习到的feature不很直观被理解

《Advanced topics + Research philosophy_Andrew Ng_2013》

这个和上一个ppt连在一起的。

1. 学习递归的表示方法：用的NLP句法分析任务作为例子

句法分析中，每一个元素（词、词组、短句）都用一个n维实数向量来表示，学习的任务就是学习这些实数向量。逐层句法分析抓变成了每一层都是神经网络，学习任务转成了学习神经网络中的特定节点的值。

参考文献：Distributional representations, or Bengio et al., 2003, Collobert & Weston, 2008

2. 对比parsing sentence and parsing image

3. “Deep learning” has had two big ideas:
–Learning multiple layers of representation
–Learning features from unlabeled data

4. Detailed tutorial: http://deeplearning.stanford.edu

《A Tutorial on Deep Learning_KaiYu_2013》

于凯老师是美国归国博士，是baidu多媒体部的副总监。

1. 把机器学习分为了几个时代：

（1）从80年代晚期开始，分类器时代：svm、最大熵等

（2）2000年以后，结构化学习时代：核方法、半监督学习等

2. 特征学习是关键，从前神经网络往往靠tricks

3. deep learning 取得的一系列成就，both学术界 and 工业界

4. deep learning的 building block

（1）RBM学习，Layerwise Pre-training

（2）Autoencoder Neural Net

（3）Sparse Coding    

5. Go deeper:  Layerwise feature learning

6. Fine tuning via Backpropogation     
–  If data are  big  enough, direct fine tuning is enough

7. 最后谈了如何把算法并行化，谈的不多，不过感觉这个才是deep learning的关键