演讲稿：杨铭深度学习发展的新趋势

导读：　　　4月22日，全球人工智能领域顶尖专家、著名学者及产业界精英齐聚国家会议中心，为与会的观众带来了五场主题报告、8场专题报告和精彩现场 ...

　　4月22日，全球人工智能领域顶尖专家、著名学者及产业界精英齐聚国家会议中心，为与会的观众带来了五场主题报告、8场专题报告和精彩现场嘉宾互动交流。中国招生考试网www.chinazhaokao.com 小编今天为大家精心准备了演讲稿：杨铭深度学习发展的新趋势，希望对大家有所帮助!

　　演讲稿：杨铭深度学习发展的新趋势

　　地平线机器人联合创始人 地平线机器人技术软件副总裁

　　大家好，我是杨铭。非常荣幸有这样的机会跟大家分享我们对深度学习研究发展新趋势的一些思考和总结，我们将这些新发展的首字母缩写成一个单词MARS。这是和我的同事黄畅博士共同的一些讨论。

　　简单介绍一下，我是去年夏天加入地平线的，负责软件工程。在此之前我在Facebook人工智能实验室负责人脸识别算法研究和后端系统开发，也曾在NEC美国实验室和徐伟一起工作，学到很多东西。

　　在谈论深度学习的新趋势之前，我们应该首先明确一下深度学习的定义和它现在的发展状态。非常幸运，学术圈对于深度学习的定义有比较清楚的共识。深度学习是指从原始的数据通过不断地学习、不断地抽象，得到这些数据的表达或描述。所以简单地说，深度学习是从原始数据(raw data)学习其表达(learning representations)。这些原始数据可能是图像数据，可能是语音，也可能是文字;这种表达就是一些简洁的数字化的表达。深度学习的关键就是怎么去学这个表达。这个表达是通过多层的非线性的复杂的结构学习的，而这个结构可能是神经网络，也可能其他的结构。关键是希望通过端到端的训练，从数据直接学习到到表达。

　　如果谈到深度学习的起源还是要回到1957年，从一个非常简单的结构单元——“感知机(perception)”开始。一些输入信号被权重加权后，和一个阈值比较得到输出。为什么说这是深度学习的起源?因为这些权重不是由规则预先设计的，而是训练学习得到的。最开始的“感知机”是硬件设计，这些连接就是物理连线，这些权重可能是通过调节电阻实现的。当时媒体就预测，这是一个智能计算机的雏形，能很快学会走路、说话、看图、写作，甚至自我复制或者有自我意识。那么过了60年，目前进展到看图和写作中间的阶段，希望至少再需要至60年能学会自我复制。

　　深度学习从出现之后，大体上经过了两个落起。一开始大家非常乐观，但很快发现有一些非常简单的问题它解决不了。从2006年开始，在Hinton/LeCun/Bengio/Ng等几位教授的推动下，深度学习得到了一种爆发式的发展，在图像识别、语音识别、语义理解，和广告推荐等问题上，有一些突破性的提高。最新的进展就是今年3月的AlphaGo围棋比赛，以一种很直观的方式让社会大众感受到了深度学习进展。我们希望再过五年，深度学习的技术能够真正用到千家万户的日常生活中去，让每个设备都可以运行深度学习的模块。

　　在这几次起落中，深度学习基本的学习方式和网络结构其实没有本质性的变化，还是一种多级的人工神经网络的结构。像这幅图中看到的，输入层是一些原始数据，并且有标注。无论希望学到什么内容，只要有个评价误差的函数(cost function)，评价神经网络的误差是多少，那么有了这个输入输出之后，深度学习或者深度神经网络就可以作为一个黑盒子学习这个目标。人工神经网络从结构上讲就是多层的神经元和它们之间的连接，组合成很多层。开始时可能有一个输入和一个目标，比如你希望从人脸图像识别出这个人是谁。这时候神经网络肯定识别不出来，因为它从来没有见过。我们会给神经网络随机设一些值，让它预测这个识别结果，开始最后输出层几乎肯定会是一个错误的识别结果。这也没有关系，我们把这个输出层的误差慢慢地反向传播回去，一点点的修改这些神经元的内部参数和他们之间的连接。通过这种一点点地修改，慢慢通过大量的数据，这个网络就学会了一个非常复杂的函数功能。从八十年代到目前，这30年间，这个基本的结构和学习算法是没有变化。

　　从2006年开始，深度学习有爆发式增长，归结于下面几个理由。首先是利用了海量的数据，这些大数据的使用使得原来这种深度神经网络一些问题，比如对噪声数据敏感，容易在一个小的数据集性能很好，但无法泛化到大的数据集，这些问题都不再是问题了。能够使用这些大数据学习，需要很高的并行运算的能力。当然，也有算法上的改进，比如dropout、batch normalization、residual networks等，能避免过拟合梯度消失这些问题。但本质上这次深度学习的爆发发展还是通过大数据和计算能力实现的。之前说神经网络本身像黑盒子，结构设定没有很好的指导意见，这个目前还是这个现状。

　　深度学习为什么这几年能得到这么大的关注?关键原因是性能准确度是随着数据的增长而增加的。其他的机器学习的方法可能随着数据的增加，性能提高到某一个点就饱和了。但目前为止对于深度学习我们还没有观察到这点，这可能是它最值得关注的一点。目前深度学习也取得很多成功，比如如何做好图像分类的问题。对于一个1000类图像分类测试，经过大概不到五年的时间，错误率从25%降到3.5%的水平，已经比人类的识别准确率还要高。这就是我们目前深度学习或者深度神经网络取得的主要的成功点，即学会了如何识别、如何分类。

　　回到我们的正题，目前深度学习研究的新趋势?我们总结了四个方向。首先是学习如何记忆(memory networks);第二是学习如何关注与取舍(attention model)，把注意力集中到需要关心的细节上;第三个是增强学习(reinforcement learning)，学习如何控制主动行动;第四个整体学习任务结构上的新趋势，就是序列化(Sequentialization)。我们取首字母，缩写成MARS。

　　第一个是学习然如何记忆。常规的前向神经网络有一个特点：你每次输入和输出是确定的关系，对于一副图像，无论何时输入进神经网络，我们一层一层计算后就会得到一个确定的结果，这是跟上下文不相关的。我们如何把记忆的能力引入到神经网络中去?最简单的一个思路是，在神经网络中加入一些状态，让它能记住一点事情。它的输出不仅取决于它的输入，也取决于它本身的状态。这是一个最基本的递归神经网络的思路。输出取决于本身的状态，我们也可以将其展开成一个时序系列的结构，就是说当前状态的输入不仅包括现在输入，也包含上一时刻的输出，这样就会构成一个非常深的网络。这种办法可以让神经网络记住一些之前的状态。那么输出就取决于在这些状态和现在的输入的结合。但是这个方法有一个局限：这些记忆不会很长久，很快就会被后面的数据冲掉了。之后的深度学习的发展就是长时短时记忆，提出了一个记忆单元(memory cell)的概念，这个单元中加入了三个个门，一个输入门，一个输出门，一个遗忘门。输入门可以控制你的输入是否影响你的记忆当中的内容。输出门是影响你的记忆是否被输出出来影响将来。遗忘门是来看你的记忆是否自我更新保持下去。这种方式使你的记忆得到灵活的保持，而控制记忆如何保持的这些门本身是通过学习得到的，通过不同的任务学习如何去控制这些门。这个长短时记忆单元是1999年提出的，近几年又有一些新的改进如Gated Recurrent Unit，简化成只有两个门，一个是更新门，一个重置们，控制记忆内容是否能继续保存下去。

　　这些方法其实可以把记忆保存得更长一点，但实际上还是很有限。更新的一些研究方法提出了一种神经图灵机(Neural Turning Machine)的概念：有一个永久的的内存模块，有一个控制模块去控制如何根据输入去读取存储这些内存，并转换成输出。这个控制模块，可以用神经网络实现。举个例子，比如做排序的工作，有一些乱序的数字，希望把它排成顺序的序列。我们之前需要设计不同的排序算法，而这个神经图灵机的思路是我们给定这些输入输出，让这个神经网络自己去学习如何把这些数字通过储存和取出来排序。某种意义上，让神经网络学习如何实现编程实现任务。这也是一个类似的工作，记忆网络(Memory Network)，学习去管理这种长时间的记忆，在应用于问答系统后，可以学到一些推理的能力。

　　第二个方向是把注意力模型(Attention Model)，动态的将注意力集中到某些细节，提高识别性能。比如，看图说话图像理解，你可以根据一幅图生成一句话，很可能是非常宏观的。如果我们能够把注意力聚焦在这个机制的从引入到识别的过程中，根据目前的识别结果，动态一步一步调整聚焦到图像的细节，那么可以生成一些更合理或者更精细的表达，比如在图像中，关注一个飞碟，我们可以调整关注区域在图像中把飞碟的找出来，提取它的特征进行识别，得到图像的更准确的文字描述。

　　第三个就是增强学习(Reinforcement Learning)。在增强学习的框架中有两个部分，一部分是自主控制的单元(agent)，一部分是环境(environment)。自主控制单元是通过选择不同的策略或者行为，希望能够最大化自己的长期预期收益，得到奖励;而环境将接收策略行为，修改状态，反馈出奖励。在这个增强学习的框架中有两个部分，一个部分是如何选择这些行为(policy function)，另外一部分是如何评价评估自己可能取得的这些收益(value function)。这个增强学习框架本身已经存在很多年了，和深度学习的结合就是指如何选择策略行为的函数，以及如何评估预期奖励的函数，由深度神经网络学习得到，例如AlphaGo围棋中的走棋网络(policy network)和评价网络(value networks)。

　　总而言之，从研究角度，深度学习正从有监督的学习慢慢向这种互动式的学习发展;网络结构由先向网络向有递归方式、考虑记忆、考虑时序的网络发;同时内容从静态的输入到动态的输入，在预测方式方面是从同时的预测慢慢变成一步一步序列化的预测。从2014年和2015年的发展情况来看，深度学习现在的非常简化的思路是，如果有个比较新的问题，要做的事情首先是把问题描述好，保证输入到最终的目的这个过程每步是可微分的，然后把其中最难的部分插入深度神经网络，实现端对端的学习。之前提到的几个新趋势，大体上都是这种思路。

　　无论是社会大众还是媒体，或者是研究人员自己，我们可能对深度学习还有一些不同角度的认识。我个人认为这是计算机科学领域非常纯粹的计算问题，探索如何把这些数据本质的内容和结构抽象理解得更好。希望今天提到的一些深度学习的新趋势，对大家有所帮助和借鉴。谢谢大家!

演讲稿：杨铭深度学习发展的新趋势相关热词搜索：演讲稿 深度 趋势

1、以下是中国招生考试网www chinazhaokao com为大家整理的关于提高安全意识演讲稿的文章，希望大家能够喜欢！提高安全意识演讲稿尊敬的各位领 提高安全意识演讲稿。(2015-07-07)

2、演讲稿 安全生产 家庭是社会的细胞，“一人平安、全家幸福”一直以来我们都在为这个美好的愿望孜孜不倦地追求、努力。“安全为了生产，生产必须安全”、“三非”不反2015年安全生产获奖演讲稿之一。(2015-07-08)

3、演讲稿 时光 青春 大家好： 　　我是演员，演了四十年的戏，当我一上场看到各位，我马上有种少年不识愁滋味的感觉，因为各位都是头角峥嵘的年轻人。 珍惜青春美好时光演讲稿。(2015-07-08)

4、汕头大学 李嘉诚 演讲稿 Professor Sheehtman、各位领导、各位嘉宾、老师们、同学们： 每年到了炎炎夏日的时候，我的内心总是充满热情，期待与大家见面。2015年李嘉诚汕头大学演讲稿。(2015-07-08)

5、刘德华 演讲稿 明星 先我希望今天的整个气氛不要太严肃，因为我看了很多这个节目，然后讲到都会是一些比较沉重的，好像这样的，然后问的问题好像是你一辈子都命题的这样明星刘德华精彩演讲稿。(2015-07-08)

6、演讲稿 祖国 小学 尊敬的老师，亲爱的同学们： 　　大家好!今天，我演讲的题目是“祖国，虔诚的信仰”。 　　上下五千年，中华历史悠久绵长。而细细数来，中华儿女热爱祖国，报效2015年小学祖国在我心中经典演讲稿。(2015-07-08)

7、演讲稿 名人 1 Steve Jobs 　　史蒂芬·乔布斯 　　CEO of Apple Computers 苹果电脑CEO 　　Stanford University 斯坦福大学 　　June 12, 2005 　　Remembering that you 两位国外名人的演讲稿。(2015-07-09)

8、马云 英文 演讲稿 　　2014-09-16 带你游遍美国 扬州对外人才开发服务有限公司 　　美国当地时间9月8日，阿里巴巴IPO路演正式开始，马云对多名潜在投资人表示：相隔15年我又回来了。当年几马云IPO上市英文演讲稿全文。(2015-07-09)

9、演讲稿 全文 乔布斯 You ve got to find what you love, Jobs says 　　Jobs说，你必须要找到你所爱的东西。 　　This is the text of the乔布斯演讲稿全文。(2015-07-09)

10、演讲稿 俞敏洪 　其实人的一辈子都有某些东西束缚着我们，不管是贫困生活还是社会地位，不管是传统习俗还是法律条文。生命的抗争就是在束缚中跳出美丽舞蹈的过程。没有束缚的生命反而 俞敏洪励志演讲稿。(2015-07-09)

11、斑马 演讲稿 know that for many of you, today is the first day of school And for those of you in kindergarten, or starting middle or high school, it’s your first day in a new school, so it’s understandable if you 奥斑马演讲稿。(2015-07-09)

12、演讲稿 李阳 李阳(疯狂英语创始人)：庞老师，也是我崇拜的偶像，我送一本书给您，您的工作现在更加有意义，因为现在计算机时代之后，人写的字非常难看，而且我在美国也教中文，我们学李阳演讲稿。(2015-07-09)

13、演讲稿 黄西 　　大家好： 　　我是黄西，黄瓜的黄，西瓜的西，我今天讲演的主题叫做“不完美,怎么了”。首先声明这个主题不是和我相貌有关的，尽管我长相非常适合这个主题。黄西演讲稿。(2015-07-09)

14、丘吉尔演讲稿 　　“美国此刻正高踞于世界权力的顶峰。对美国民主来说，这是一个庄严的时刻。拥有最大的力量，也就是对未来负有令人敬畏的责任。丘吉尔演讲稿。(2015-07-09)

15、林语堂 演讲稿 　1 目标 　　英文是活的语言，现代通用的语言。凡是学习英文的人务必认定这个目标，学习现代通行活用的英语。这个目 林语堂演讲稿。(2015-07-09)