2016年，由亚伦·库维尔和约舒阿·本吉奥组织的MILA深度学习暑期课程受到了极大的关注。今年，新的MILA深度学习和强化学习暑期课程开设了PPT和教学视频。《机器之心》选取了Bengio、Goodfellow、Sutton的一些亮点，简单介绍了课程。
课程主页:https://Mila . umontreal . ca/en/cours/deep-learning-summer-school-2017/课程视频地址:http://videolectures.net/deeplearning2017_montreal/PDF下载地址:https://Mila . umontreal . ca/en/cours/deep-learning-summer-school-2017/slides/
课程介绍
本次MILA 2017暑期课程包括深度学习暑期课程和强化学习暑期课程。以下是这两门课程的官方介绍:
暑期课程深度学习
深度神经网络学习将数据呈现在多层抽象网络中，大大提高了语音识别、目标识别、目标检测、药物分子活性预测等多项任务的水平。深度学习通过监督学习、无监督学习和强化学习构建分布式表示，在大型数据集中构建复杂结构。
深入的暑期课程是针对研究生，工程师和研究人员，他们有机器学习的基本知识，并希望了解更多。今年的深度学习课程由格拉汉姆·泰勒、亚伦·库维尔和约舒阿·本吉奥共同组织。
加强暑期课程。
我们将在蒙特利尔举办第一次夏季强化学习课程。强化课程将涵盖强化学习的基础知识，展示其前沿研究方向和新发现，并提供与研究生和业内资深研究人员交流的机会。
本课程主要面向机器学习及相关领域的研究生。参与者应具有计算机科学和数学方面的高级培训前经验，来自CIFAR机器和大脑学习项目附属研究实验室的学生将被优先考虑。我们也非常欢迎非典型群体的代表申请这门课程。
最近开放了很多这门课的pdf，有兴趣的读者可以从下面的网址下载。
课程亮点
MILA 2017暑期课程后，机心结合公开课教材介绍了这些课程，希望对你的学习有所帮助。
1.Yoshua Bengio:循环神经网络
Bengio在课程中主要介绍了循环，包括循环的定义、变体、存在的问题、训练技巧、最先进的注意机制、RNN架构的设计以及一些非常前沿的概率图模型。
循环神经网络
首先，Bengio当然首先介绍了递归神经网络的结构。如下图所示，我们可以将递归神经网络展开为一个详细的连接。RNN的每个隐藏层的值不仅取决于当前输入，还取决于最后一个隐藏层的值。其中X代表输入，S代表隐藏值，O代表输出值。我们可以看到，t隐值x_t不仅依赖于t输入x_t，还依赖于前一个隐值s_t-1来得到t观测值o _ t。
梯度消失和爆炸问题
梯度消失和爆炸一直是递归神经网络面临的巨大挑战。因为权重值过大，前层的渐变比后层变化快，会造成渐变爆炸的问题。但如果前层的梯度变化小于后层，则变化较慢，会造成梯度消失的问题。我们可以看到，如果雅可比矩阵的谱半径小于1，梯度就会消失。
从下图可以看到非常实用的RNN训练技巧，包括使用梯度截断防止梯度爆炸，使用泄漏积分分散长期依赖，使用动量加快梯度下降的效率，在近似区域初始化神经网络避免陷入局部解或梯度消失爆炸。同时也可以利用系数梯度打破对称性，训练效率更高。在执行梯度下降时，我们还可以使用正则化和门控自循环来避免或减少梯度消失的问题。
注意机制
近年来，注意机制在自然语言处理中发挥了非常重要的作用，它可以减少编解码模型的缺陷，特别是在长序列问题中。注意机制可以用于递归神经网络，大大提高了其处理标记问题的能力。注意机制如下图所示，通过在低级序列和高级序列之间增加一个隐藏的注意分布向量，大大增强了性能。
循环神经网络的结构
RNN建筑的基本概念如下所示。循环深度表示最大路径长度除以序列长度，前馈深度表示从输入到最近输出的最大深度，跳跃系数表示最短路径长度除以序列长度。在设计RNN建筑时，必须理解这些概念，本吉奥在课程中对此做了进一步的解释。
2.伊恩·古德菲勒:生成模型I
伊恩·古德菲勒在这个夏季课程中的演讲主题是生成模型I，生成模型II之后是亚伦·库维尔。Ian Goodfellow的讲座主要分为两部分:生成模型的分类和应用。首先，第一部分是介绍，生成模型的分类。
有监督机器学习方法可以分为生成法和判别法。生成方法学习生成模型，判别方法学习判别模型。模型生成的本质是密度估计，其基本思想是首先建立样本的概率密度模型，然后利用模型进行推断和预测。生成的模型的处理会告诉你一些数据的统计信息，更接近统计学。这种方法一般基于统计贝叶斯理论。
方法通过数据学习生成联合概率分布，然后得到条件概率分布作为预测模型。生成模型是根据已知样本来估计整个样本空之间的真实分布，它表示给定输入X和输出y之间的生成关系。
在机器学习中，生成的模型可以用来直接对数据建模。如果观测数据是从生成的模型中采样得到的，最大化数据的似然概率是一种常用的方法。最大似然估计由ronald fisher于1912年至1922年首次推荐、分析并广泛推广。在统计学中，最大似然估计是一种用于估计概率模型参数的方法。Ian Goodfellow相应地将各代模型分类如下:
一般来说，典型的生成模型有:朴素贝叶斯方法、隐马尔可夫模型、高斯混合模型、AODE、隐狄利克雷分布模型、受限玻尔兹曼机。在这次讲座中，Ian Goodfellow根据最大似然估计给出了五种生成模型的分类:GAN、生成随机网络、Boltzmann机、变分自编码器和全可见信念网络。
优势密度可分为驯服密度和近似密度。根据驯服密度，生成的模型可以划分为一个完全可见的信念网络。
可见信念网络是基于链式规则的显式公式。它有一些缺点:o非并行样本生成的运行时间；生成不受隐藏代码的控制。
近似密度可以细分为变分链和马尔可夫链；根据前者，生成的模型可分为变分自编码器，根据后者，可分为玻尔兹曼机。
可变自编码器是一种重要的生成模型，由Diederik P.Kingma和Max Welling于2013年提出。它是基于变分贝叶斯推理的生成网络。2016年，卡尔·多施(Carl Doersch)写了一本VAE教程，对VAE进行了更易懂、更详细的介绍。
根据隐密度的马尔可夫链，生成模型可分为生成随机网络，由Bengio于2013年首先提出。
在本课程的后半部分，Ian Goodfellow谈到了生成模型的实际应用，分为以下几个方面:
模拟环境和训练数据丢失；数据的多个正确答案；现实的生成任务；基于预测的模拟学习有用嵌入
有关生成模型的后续内容，请参见亚伦·库维尔教授的生成模型II。
3.里奇·萨顿:时差学习
Richard S. Sutton教授被认为是现代计算机强化学习的创始人之一。他在这一领域做出了许多重大贡献，包括:时差学习、策略梯度法等。在本课程中，萨顿教授解释了事件差异学习。
在萨顿最初的课程中，他表明，随着计算能力的增长，可扩展能力也需要增长，这就是人工智能的未来。萨顿表明，即使是弱的一般方法也比强的特定方法好。因为监督学习和无模型强化学习方法缺乏泛化性能。但是预测学习可以推广，因为它是一种无监督的学习。虽然预测学习也需要目标，但是这些目标不需要人工标注。因此，预测学习是一种可扩展的无模型学习。
时差学习是一种学习预测的方法，广泛应用于强化学习中预测未来的回报或价值函数。时差学习是Q学习的关键，深度Q网，时差-Gammon，actor-critic等方法。它还可以用来预测任何信号，而不仅仅是奖励。时差学习主要是从其他学习过的预测中学习一个新的预测。
如上图所示，时差学习一开始是从一个随机网络开始，通过百万次自我博弈，从模拟的经验中学习价值函数。
但是我们一定要用时差学习吗？可以用其他强大的监督学习方法吗？如下图，很多AlphaGo和其他Atari的游戏都使用了强化学习和深度学习。
时差学习只和多步预测问题有关，也就是我们预测的未来会经历多步。该模型将揭示每一步可能的信息。这种多步预测很常见，比如预测比赛结果，一段时间后股市的走势等等。萨顿说，我们不能将这些多步预测转换成单步预测，使用强机器学习方法，因为任何多步预测都需要多次模拟，只有一步完成后，才能预测下一步的状态和观测值。
Sutton在下面详细介绍了时差学习。
此外，Sutton还比较了监督学习蒙特卡罗方法、最简单时差法和动态规划法。
对于涉及到估计和更新的Bootstrap，MC方法不适用于Bootstrap，但是动态规划和时差法都会用到Bootstrap。对于没有参考期望而更新的样本，动态规划不会使用样本，但是MC法和时差法会使用。
MC方法和时差方法的更新策略比较如下:
从上图可以看出，在策略评估或预测的更新过程中，即给定一个策略π，我们需要计算状态值函数v_π。在更新状态值函数中，我们可以看到蒙特卡罗方法使用的是t时刻的真实反馈目标，也就是人工标记的目标。在时差法中，我们的更新目标是一个概率估计，所以这种无监督的方法具有更好的扩展能力。
Sutton较早的介绍了单步平坦无模型时差法，时差法结合了动态规划和MC方法的优点。时差法也是节省计算资源的算法，比MC法快。而且MC方法虽然在过去的数据中误差很低，但在未来的数据中误差会更高，远没有时差法的扩展性能。
最后萨顿总结道:
