深度学习的昨天_今天和明天_余凯

内容需要下载文档才能查看

计算机研究与发展

ＪｏｕｒｎａｌｏｆＣｏｍｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｍｅｎｔ　　　　　　ｐｐＩＳＳＮ１０００１２３９ＣＮ１１１７７７ＴＰ　－?　－?

（）：，５０９１７９９８０４２０１３－１

深度学习的昨天、今天和明天

余　凯　贾　磊　陈雨强　徐　伟

（）百度　北京　１０００８５（ｕｋａｉａｉｄｕ．ｃｏｍ）＠ｂｙ

：，，ＤｅｅＬｅａｒｎｉｎＹｅｓｔｅｒｄａＴｏｄａａｎｄＴｏｍｏｒｒｏｗ　ｐｇｙｙ　

，，，ＹｕＫａｉＪｉａＬｅｉＣｈｅｎＹｕｉａｎａｎｄＸｕ　Ｗｅｉ　　　　ｑｇ

（）Ｂａｉｄｕ，Ｂｅｉｉｎ０００８５ｊｇ１

，Ａｂｓｔｒａｃｔａｃｈｉｎｅｌｅａｒｎｉｎｉｓａｎｉｍｏｒｔａｎｔａｒｅａｏｆａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｅｎｃｅ．Ｓｉｎｃｅ１９８０ｓｈｕｅｓｕｃｃｅｓｓ　Ｍ　　　　　　　　　ｇｐｇｇ　

，，ａｈａｓｂｅｅｎａｃｈｉｅｖｅｄｉｎｔｅｒｍｓｏｆａｌｏｒｉｔｈｍｓｔｈｅｏｒｎｄａｌｉｃａｔｉｏｎｓ．Ｆｒｏｍ２００６，ａｎｅｗ　ｍａｃｈｉｎｅ　　　　　　　　　ｇｙｐｐ，ｈ，ａｌｅａｒｎｉｎａｒａｄｉｍ，ｎａｍｅｄｄｅｅｌｅａｒｎｉｎａｓｂｅｅｎｏｕｌａｒｉｎｔｈｅｒｅｓｅａｒｃｈｃｏｍｍｕｎｉｔｎｄｈａｓ　　　　　　　　ｇｐｇｐｇｐｐｙ　　ｂｅｃｏｍｅａｈｕｅｗａｖｅｏｆｔｅｃｈｎｏｌｏｔｒｅｎｄｆｏｒｂｉｄａｔａａｎｄａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｅｎｃｅ．Ｄｅｅｌｅａｒｎｉｎ　　　　　　　　　　ｇｇｙｇｇｐｇ　　　

，，ｒｏｃｅｓｓｉｎｔｈｅｈｉｅｒａｒｃｈｉｃａｌｓｔｒｕｃｔｕｒｅｏｆｈｕｍａｎｂｒａｉｎｄａｔａｆｒｏｍｌｏｗｅｒｌｅｖｅｌｔｏｈｉｈｅｒｌｅｖｅｌｓｉｍｕｌａｔｅｓ　　　　　　　　　　　　ｐｇｇ　，Ｇ，Ｍ，ｒａｄｕａｌｌｅａｒｓａｎｄｃｏｍｏｓｉｎｍｏｒｅａｎｄｍｏｒｅｓｅｍａｎｔｉｃｃｏｎｃｅｔｓ．Ｉｎｒｅｃｅｎｔｏｏｌｅｉｃｒｏｓｏｆｔ　　　　　　　ｇｙｙｐｇｐｇ　　

，ｍＩＢＭ，ａｎｄＢａｉｄｕｈａｖｅｉｎｖｅｓｔｅｄａｌｏｔｏｆｒｅｓｏｕｒｃｅｓｉｎｔｏｔｈｅＲ＆Ｄｏｆｄｅｅｌｅａｒｎｉｎａｋｉｎｓｉｎｉｆｉｃａｎｔ　　　　　　　　　　　　ｐｇｇｇ　　，ｎ，ａｒｏｒｅｓｓｅｓｏｎｓｅｅｃｈｒｅｃｏｎｉｔｉｏｎ，ｉｍａｅｕｎｄｅｒｓｔａｎｄｉｎａｔｕｒａｌｌａｎｕａｅｒｏｃｅｓｓｉｎｎｄｏｎｌｉｎｅ　　　　　　　ｐｇｐｇｇｇｇｇｐｇ

，ｅｒｈａｓａｄｖｅｒｔｉｓｉｎＩｎｔｅｒｍｓｏｆｔｈｅｃｏｎｔｒｉｂｕｔｉｏｎｔｏｒｅａｌｏｒｌｄａｌｉｃａｔｉｏｎｓｄｅｅｌｅａｒｎｉｎｉｓｔｈｅｍｏｓｔ　　　　　　－ｗ　　　　ｐｐｇ．ｐｐｐｇ　　，ｗｓｕｃｃｅｓｓｆｕｌｒｏｒｅｓｓｍａｄｅｂｔｈｅｍａｃｈｉｎｅｌｅａｒｎｉｎｃｏｍｍｕｎｉｔｉｎｔｈｅｌａｓｔ１０ｙｅａｒｓ．Ｉｎｔｈｉｓａｒｔｉｃｌｅｅ　　　　　　　　　　ｐｇｙｇｙ　　　

，ｗｉｌｌｉｖｅａｈｉｈｌｅｖｅｌｏｖｅｒｖｉｅｗａｂｏｕｔｔｈｅａｓｔａｎｄｃｕｒｒｅｎｔｓｔａｅｏｆｄｅｅｌｅａｒｎｉｎｄｉｓｃｕｓｓｔｈｅｍａｉｎ　　　－　　　　　　　　　　　ｇｐｇｇｐｇ　，ａｎｄｓｈａｒｅｏｕｒｖｉｅｗｓｏｎｔｈｅｆｕｔｕｒｅｄｅｖｅｌｏｍｅｎｔｏｆｄｅｅｌｅａｒｎｉｎ．ｃｈａｌｌｅｎｅｓ　　　　　　　　　ｇｐｐｇ　

；；；Ｋｅｗｏｒｄｓａｃｈｉｎｅｌｅａｒｎｉｎｄｅｅｌｅａｒｎｉｎｓｅｅｃｈｒｅｃｏｎｉｔｉｏｎ；ｉｍａｅｒｅｃｏｎｉｔｉｏｎｎａｔｕｒａｌｌａｎｕａｅ　ｍ　　　　ｇｐｇｐｇｇｇｇｇｙ　　

；ｒｏｃｅｓｓｉｎｏｎｌｉｎｅａｄｖｅｒｔｉｓｉｎ　ｐｇｇ自从２机器学习在算法、理论和摘　要　机器学习是人工智能领域的一个重要学科．０世纪８０年代以来，机器学习领域中一个叫“深度学习”的课题开始受到学术界应用等方面都获得巨大成功．２００６年以来，广泛关注，到今天已经成为互联网大数据和人工智能的一个热潮．深度学习通过建立类似于人脑的分层模型结构，对输入数据逐级提取从底层到高层的特征，从而能很好地建立从底层信号到高层语义的映射关系．近年来，谷歌、微软、百度等拥有大数据的高科技公司相继投入大量资源进行深度学习技术ＩＢＭ、研发，在语音、图像、自然语言、在线广告等领域取得显著进展．从对实际应用的贡献来说，深度学习可能是机器学习领域最近这十年来最成功的研究方向．将对深度学习发展的过去和现在做一个全景式的介绍，并讨论深度学习所面临的挑战，以及将来的可能方向．

深度学习；语音识别；图像识别；自然语言处理；在线广告关键词　机器学习；

中图法分类号　ＴＰ１８

《纽约时报》披露了谷歌的Ｇ０１２年６月，ｏｏｌｅ　　２ｇ［］

吸引了公众的广泛关注．这个项目是Ｂｒａｉｎ项目１，

修回日期：－－－－２０１３０８１６；２０１３０８１９　收稿日期：

由著名的斯坦福大学的机器学习教授Ｎｇ和在大规模计算机系统方面的世界顶尖专家Ｄｅａｎ共同主导，

１８００

（）计算机研究与发展　２０１３，５０９

用１６０００个ＣＰＵＣｏｒｅ的并行计算平台训练一种称　　（，Ｄ深度神经网络”为“ｄｅｅｎｅｕｒａｌｎｅｔｗｏｒｋｓＮＮ）　ｐ　的机器学习模型，在语音识别和图像识别等领域获得了巨大的成功．微软在中国天津的２０１２年１１月，一次活动上公开演示了一个全自动的同声传译系讲演者用英文演讲，后台的计算机一气呵成自动统，

英中机器翻译和中文语音合成，效果完成语音识别、

据报道，后面支撑的关键技术也是Ｄ非常流畅．ＮＮ，

［２］

，Ｄ或者深度学习（ｄｅｅｌｅａｒｎｉｎＬ）．２０１３年的１ｐｇ　

月，在中国最大的互联网搜索引擎公司百度的年会

对未知事件做预测．这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显示出优越性．这个时候的人工神经网络，虽然也被称作多，由于多层网络层感知机（ｍｕｌｔｉｌａｅｒｅｒｃｅｔｒｏｎ）－　ｙｐｐ训练的困难，实际使用的多数是只含有一层隐层节点的浅层模型．

各种各样的浅层机器学习２０世纪９０年代，

模型相继被提出，比如支撑向量机（ｓｕｏｒｔｖｅｃｔｏｒ　ｐｐ，Ｓ，，最大熵方法（比如ＶＭ）Ｂｏｏｓｔｉｎｍａｃｈｉｎｅｓｇ

，等．这些模型的结构基本上ｌｏｉｓｔｉｃｒｅｒｅｓｓｉｏｎＬＲ）　ｇｇ），如Ｓ可以看成带有一层隐层节点（ＶＭ，Ｂｏｏｓｔｉｎｇ或没有隐层节点（如Ｌ这些模型在无论是理论分Ｒ）．析还是应用都获得了巨大的成功．相比较之下，由于而且训练方法需要很多经验和技理论分析的难度，

巧，这个时期多层人工神经网络反而相对较为沉寂．对大数据的智２０００年以来互联网的高速发展，

浅层学习模型在能化分析和预测提出了巨大需求，

互联网应用上获得了巨大的成功．最成功的应用包、括搜索广告系统（比如谷歌的Ａ百度的凤ｄｗｏｒｄｓ

巢系统）的广告点击率Ｃ网页搜索排序ＴＲ预估、（、比如雅虎和微软的搜索引擎）垃圾邮件过滤系统、基于内容的推荐系统，等等．

深度学习１．２　第二次浪潮：

加拿大多伦多大学教授，机器学习领２００６年，域的泰斗Ｈｉｎｔｏｎ和他的学生Ｓａｌａｋｈｕｔｄｉｎｏｖ在顶

６］

，科学》上发表了一篇文章［开启了深尖学术刊物《

度学习在学术界和工业界的浪潮．这篇文章有两个）主要的讯息：很多隐层的人工神经网络具有优异１的特征学习能力，学习得到的特征对数据有更本质）从而有利于可视化或分类；深度神经网络的刻划，２（在训练上的难度，可以通过＂逐层初始化”ｌａｅｒ－ｙ）来有效克服，在这篇文章中，逐层ｗｉｓｅｒｅｔｒａｉｎｉｎ　－ｐｇ初始化是通过无监督学习实现的．

自２深度学习在学术界持续升温．００６年以来，斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇．美国国防部Ｄ２０１０年，ＡＲＰＡ计划首次资助深度学习项目，参与方有斯坦福大学、纽约大学和Ｎ支持深度学习的一ＥＣ美国研究院．

个重要依据，就是脑神经系统的确具有丰富的层次结构．一个最著名的例子就是Ｈｕｂｅｌｉｅｓｅｌ模型，－Ｗ由于揭示了视觉神经的机理而曾获得诺贝尔医学与生理学奖．除了仿生学的角度，目前深度学习的理论研究还基本处于起步阶段，但在应用领域已经显现巨大能量．微软研究院和谷歌的语音２０１１年以来，

上，创始人兼ＣＥＯ李彦宏高调宣布要成立百度研究院，其中第一个重点方向的就是深度学习，并为此而成立Ｉ这是百度成ｎｓｔｉｔｕｔｅｏｆＤｅｅＬｅａｒｎｉｎＩＤＬ）．　　ｐｇ（　

［］

立１０多年以来第一次成立研究院３．２０１３年４月，《（麻省理工学院技术评论》ＭＩＴＴｅｃｈｎｏｌｏＲｅｖｉｅｗ）　ｇｙ　杂志将深度学习列为２０１３年十大突破性技术

４］（）之首［ｂｒｅａｋｔｈｒｏｕｈｔｅｃｈｎｏｌｏ．　ｇｇｙ

为什么深度学习受到学术届和工业界如此广泛

的重视？深度学习技术研发面临什么样的科学和工程问题？深度学习带来的科技进步将怎样改变人们的生活？本文将简要回顾机器学习在过去２０多年介绍深度学习的昨天、今天和明天．的发展，

从浅层学习到深度１　机器学习的两次浪潮：

学习

我们需要了解什么是机　　在解释深度学习之前，

机器学习是人工智能的一个分支，而在很多器学习．

几乎成为人工智能的代名词．简单来说，机器时候，

学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测．从２机器学习的发展０世纪８０年代末期以来，）大致经历了两次浪潮：浅层学习（ｓｈａｌｌｏｗｌｅａｒｎｉｎ　ｇ）和深度学习（需要指出是，机器学习ｄｅｅｌｅａｒｎｉｎ．ｐｇ　

历史阶段的划分是一个仁者见仁，智者见智的事情，从不同的维度来看会得到不同的结论．这里我们是从机器学习模型的层次结构来看的．

浅层学习１．１　第一次浪潮：

用于人工神经网络的反２０世纪８０年代末期，向传播算法（也叫ＢａｃｋＰｒｏａａｔｉｏｎ算法或者ＢＰ　ｐｇ算法）的发明，给机器学习带来了希望，掀起了基于

５］

统计模型的机器学习热潮［这个热潮一直持续到．

今天．人们发现，利用ＢＰ算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律，从而

余　凯等：深度学习的昨天、今天和明天

１８０１

识别研究人员先后采用ＤＮＮ技术降低语音识别错误率２是语音识别领域１０％～３０％，０多年来最大的突破性进展．２０１２年ＤＮＮ技术在图像识别领域在Ｉ取得惊人的效果，ｍａｅＮｅｔ评测上将错误率从ｇ在这一年，２６％降低到１５％．ＤＮＮ还被应用于制药公司的Ｄ并获得世界最好ｒｕｅＡｃｔｉｖｉｔ　ｇｙ预测问题，成绩，这一重要成果被《纽约时报》报道．

正如文章开头所描述的，今天谷歌、微软、百度等知名的拥有大数据的高科技公司争相投入资源，占领深度学习的技术制高点，正是因为他们都看到更加复杂且更加强大的深度模型的了大数据时代，

能深刻揭示海量数据里所承载的负责而丰富的信息，并对未来或未知事件做更精准的预测．

的．发现一个好的特征，要求开发人员对待解决的问题要有很深入的理解．而达到这个程度，往往需要反复的摸索，甚至是数年磨一剑．因此，人工设计样本不是一个可扩展的途径．特征，

深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的“特征，从而最终提升分类或预测的准确性．所以，深“度模型”是手段，特征学习”是目的．区别于传统的）浅层学习，深度学习的不同在于：强调了模型结构１的深度，通常有５层、甚至１６层、０多层的隐层节）明确突出了特征学习的重要性，也就是说，通点；２过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而分类或预测更加容易．

与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻划数据的丰富内在信息．所在未来的几年里，我们将看到越来越多的例子，以，

深度模型应用于大数据，而不是浅层的线性模型．

２　大数据与深度学习

在工业界一直有一个很流行的观点：在大数据条件下，简单的机器学习模型会比复杂模型更加有效．比如说，在很多的大数据应用中，最简单的线性模型得到大量使用．而最近深度学习的惊人进展促简而使我们也许到了要重新思考这个观点的时候．言之，在大数据情况下，也许只有比较复杂的模型，或者说表达能力强的模型，才能够充分发掘海量数现在我们到了需要重新思考据中蕴藏的丰富信息．

“大数据＋简单模型”的时候．运用更强大的深度模也许我们能从大数据中发掘出更多的有价值的型，

信息和知识．

为了理解为什么大数据需要深度模型，先举一个例子．语音识别已经是一个大数据的机器学习问在其声学建模部分，通常面临的是十亿到千亿级题，

别的训练样本．在谷歌的一个语音识别实验中，发现训练后的ＤＮＮ对训练样本和测试样本的预测误差基本相当．这是非常违反常识的，因为通常模型在训练样本上的预测误差会显著小于测试样本．只有一个解释，就是由于大数据里含有丰富的信息维度，即便是ＤＮＮ这样的高容量复杂模型也是处于欠拟合更不必说传统的ＧＭＭ声学模型了．所以的状态，

在这个例子里我们看出，大数据需要深度学习．

浅层模型有一个重要特点，就是假设靠人工经验来抽取样本的特征，而强调模型主要是负责分类在模型的运用不出差错的前提下（比如，假或预测．

，设互联网公司聘请的是机器学习的专家）特征的好坏就成为整个系统性能的瓶颈．因此，通常一个开发团队中更多的人力是投入到发掘更好的特征上去

３　深度学习的应用

３．１　语音识别

语音识别系统长期以来，描述每个建模单元的统计概率模型时候，大都是采用的混合高斯模型（这种模型由于估计简单，适合海量数据训ＧＭＭ）．

练，同时有成熟的区分度训练技术支持，长期以来，一直在语音识别应用中占有垄断性地位．但是这种混合高斯模型本质上是一种浅层网络建模，不能够充分描述特征的状态空间分布．另外，ＧＭＭ建模的特征维数一般是几十维，不能充分描述特征之间的最后ＧＭＭ建模本质上是一种似然概率建相关性．

模，虽然区分度训练能够模拟一些模式类之间的区但是能力有限．分性，

微软研究院的语音识别专家Ｌｉ和Ｄｏｎｇ从２００９年开始和深度学习专家Ｈｉｎｔｏｎ合作．２０１１年微软基于深度神经网络的语音识别研究取得成果，

７］

彻底底改变了语音识别原有的技术框架［采用深．

可以充分描述特征之间的相关性，可度神经网络后，

以把连续多帧的语音特征并在一起，构成一个高维特征．最终的深度神经网络可以采用高维特征训练来模拟的．由于深度神经网络采用模拟人脑的多层可以逐级地进行信息特征抽取，最终形成适合结果，

模式分类的较理想特征．这种多层结构和人脑处理语音图像信息的时候，是有很大的相似性的．深度神经网络的建模技术，在实际线上服务时，能够无缝地

１８０２

（）计算机研究与发展　２０１３，５０９

和传统的语音识别技术相结合，在不引起任何系统额外耗费情况下大幅度地提升了语音识别系统的识别率．其在线的使用方法具体如下：在实际解码过程声学模型仍然是采用传统的ＨＭＭ模型，语音中，

模型仍然是采用传统的统计语言模型，解码器仍然是采用传统的动态ＷＦ但是在声学模型ＳＴ解码器．的输出分布计算时，完全用神经网络的输出后验概率除以一个先验概率来代替传统ＨＭＭ模型中的

百度实践中发现，采用ＧＭＭ的输出似然概率．

ＤＮＮ进行声音建模的语音识别系统的相比于传统相对误识别率能降低的ＧＭＭ语音识别系统而言，

最终在２上线了第一款基２５％．０１２年１１月的时候，

于Ｄ成为最早采用ＤＮＮ的语音搜索系统，ＮＮ技术进行商业语音服务的公司之一．

国际上谷歌也采用了深度神经网络进行声音建和百度一起是最早的突破深度神经网络工业化模，

但是谷歌产品中采用的深度神经应用的企业之一．

８］

，网络有４～５层［而百度采用的深度神经网络多达

技术，但最重要的是ＧＰＵ带来的计算能力提升和更多的训练数据．百度在２０１２年底将深度学习技术成功应用于自然图像ＯＣＲ识别和人脸识别等问

并推出相应的桌面和移动搜索产品，在２题，０１３年，深度学习模型被成功应用于一般图片的识别和理解．从百度的经验来看，深度学习应用于图像识别不但大大提升了准确性，而且避免了人工特征抽取的时间消耗，从而大大提高了在线计算效率．可以很有把握地说，从现在开始，深度学习将取代人工特征＋机器学习的方法而逐渐成为主流图像识别方法．３．３　自然语言处理

除了语音和图像，深度学习的另一个应用领域问题自然语言处理（经过几十年的发展，基于ＮＬＰ）．

但是作为统计方统计的模型已经成为ＮＬＰ的主流，法之一的人工神经网络在ＮＬＰ领域几乎没有受到本文作者之一徐伟曾最早应用神经网络于语重视．

１１］

加拿大蒙特利尔大学教授Ｂ言模型［．ｅｎｉｏ等于ｇ

这种结构差异的核心其实是百度更好的解决９层．

了深度神经网络在线计算的技术难题，从而百度线这将对于未来上产品可以采用更复杂的网络模型．

拓展海量语料的ＤＮＮ模型训练有更大的优势．３．２　图像识别

图像是深度学习最早尝试的应用领域．早在现纽约大学教授）和他的同事们１９８９年，ＬｅＣｕｎ（

，就发表了卷积神经网络（ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｓ　　

９］

的工作［ＣＮＮ）．ＣＮＮ是一种带有卷积结构的深度神经网络，通常至少有２个非线性可训练的卷积层、

２００３年提出用ｅｍｂｅｄｄｉｎｇ的方法将词映射到一个

矢量表示空间，然后用非线性神经网络来表示Ｎ－

［２］

世界上最早的深度学习用于ＮＧｒａｍ模型１．ＬＰ的

［３］

，其研究员研究工作诞生于ＮＥＣＬａｂｓＡｍｅｒｉｃａ１　　

Ｃｏｌｌｏｂｅｒｔ和Ｗｅｓｔｏｎ从２００８年开始采用ｅｍｂｅｄｄｉｎｇ，和多层一维卷积的结构，用于ＰＯＳｔａｉｎＣｈｕｎｋ　－ｇｇｇ，Ｎ，Ｓｉｎａｍｅｄｎｔｉｔｅｃｏｎｉｔｉｏｎｅｍａｎｔｉｃｏｌｅ　Ｅ　Ｒｇｙｇ　Ｒ

值得注意的是，他ＬａｂｅｌｉｎＬＰ问题．ｇ等４个典型Ｎ都能取得与ｓ们将同一个模型用于不同任务，ｔａｔｅ－最近以来，斯坦福大学教ｏｆｔｈｅａｒｔ相当的准确率．－－

授ＭａｎｎｉｎＬＰ的工作也值ｇ等人在深度学习用于Ｎ

１４］得关注［．

）又叫ｐ和１ｏｏｌｉｎ２个非线性的固定卷积层（ｌａｅｒｇｙ　

个全连接层，一共至少５个隐含层．ＣＮＮ的结构受到著名的Ｈ尤其ｕｂｅｌｉｅｓｅｌ生物视觉模型的启发，－Ｗ是模拟视觉皮层Ｖ１和Ｖ２层中ｓｉｍｌｅｃｅｌｌ和　ｐ

在很长时间里，ｃｏｍｌｅｘｃｅｌｌ的行为．ＣＮＮ虽然在小　ｐ规模的问题上，比如说手写数字，取得当时世界最好结果，但一直没有取得巨大成功．这主要原因是比如像素很多的自ＣＮＮ在大规模图像上效果不好，

所以没有得到计算机视觉领域的然图片内容理解，

足够重视．这个情况一直持续到２０１２年１０月，Ｈｉｎｔｏｎ和他的两个学生在著名的ＩｍａｅＮｅｔ问题上ｇ

用更深的Ｃ使得图像识别ＮＮ取得世界最好结果，

１０］

在Ｈ输入就是图像大踏步前进［．ｉｎｔｏｎ的模型里，

总的来说，深度学习在ＮＬＰ上取得的进展没有在语音图像上那么令人影响深刻．一个很有意思的相比于声音和图像，语言是唯一的非自然信悖论是：

号，是完全由人类大脑产生和处理的符号系统，但是模仿人脑结构的人工神经网络确似乎在处理自然语言上没有显现明显优势？我们相信深度学习在ＮＬＰ方面有很大的探索空间．从２００６年图像深度学习成为学术界热门课题到２０１２年１０月Ｈｉｎｔｏｎ在

经历了６年时间．我们需ＩｍａｅＮｅｔ上的重大突破，ｇ要有足够耐心．

３．４　搜索广告ＣＴＲ预估

搜索广告是搜索引擎的主要变现方式，而按点击付费（又是其中被最广泛应ｃｏｓｔｅｒｃｌｉｃｋ，ＣＰＣ）　　ｐ

用的计费模式．在Ｃ预估的ＣＰＣ模式下，ＴＲ（ＣＴＲ）ｐ越准确，点击率就会越高，收益就越大．通常，搜索广

的像素，没有用到任何的人工特征．

这个惊人的结果为什么在之前没有发生？原因当然包括算法的提升，比如ｄｒｏｏｕｔ等防止过拟合ｐ

余　凯等：深度学习的昨天、今天和明天

１８０３

告的ｐ提高ＣＴＲ是通过机器学习模型预估得到．

是提升搜索公司、广告主、搜索用ＣＴＲ的准确性，ｐ

户三方利益的最佳途径．

传统上，谷歌、百度等搜索引擎公司以ｌｏｉｓｔｉｃｇ而从２ｒｅｒｅｓｓｉｏｎ（ＬＲ）作为预估模型．０１２年开始，ｇ

百度开始意识到模型的结构对广告ＣＴＲ预估的重要性：使用扁平结构的ＬＲ严重限制了模型学习与抽象特征的能力．为了突破这样的限制，百度尝试将而这其中最大的挑战在于当ＤＮＮ作用于搜索广告，

１１前的计算能力还无法接受１级别的原始广告特征０

的好处，比如更容易做理论分析．另外，针对具体应用问题，我们如何设计一个最适合的深度模型来解决问题？我们已经看到，无论在图像深度模型，还是似乎都存在深度和卷积等共同的信语言深度模型，

息处理结构．甚至对于语音声学模型，研究人员也在探索卷积深度网络．那么一个更有意思的问题是，是否存在可能建立一个通用的深度模型或深度模型的建模语言，作为统一的框架来处理语音、图像和语言？

另外，对于怎么用深度模型来表示象语义这样的结构化的信息还需要更多的研究．从人类进化的语言的能力是远远滞后于视觉和听觉的角度来看，

能力而发展的．而除了人类以外，还有很多动物具有很好的识别物体和声音的能力．因此从这个角度来对于神经网络这样的结构而言，语言相较于视觉说，

和听觉是更为困难的一个任务．而成功的解决这个难题对于实现人工智能是不可缺少的一步．４．３　工程问题

需要指出的是，对于互联网公司而言，如何在工程上利用大规模的并行计算平台来实现海量数据训练，是各个公司从事深度学习技术研发首先要解决传统的大数据平台如Ｈ由于数据处的问题．ａｄｏｏｐ，

理的ｌ显然不适合需要频繁迭代的深度ａｔｅｎｃｙ太高，学习．现有成熟的ＤＮＮ训练技术大都是采用随机方法训练的．这种方法本身不可能在梯度法（ＳＧＤ）多个计算机之间并行．即使是采用ＧＰＵ进行传统

其训练时间也是非常漫长的ＤＮＮ模型进行训练，的．一般训练几千小时的声学模型所需要几个月的时间．而随着互联网服务的深入，海量数据训练越来越重要，ＤＮＮ这种缓慢的训练速度必然不能满足互，谷歌搭建的Ｄ是一联网服务应用的需要．ｉｓｔＢｅｌｉｅｆ个采用普通服务器的深度学习并行计算平台，采用由很多的计算单元独立的更新同一个参异步算法，

数服务器的模型参数，实现了随机梯度下降算法的并行化，加快了模型训练速度．与谷歌采用普通服务器不同，百度的多Ｇ克服ＰＵ并行计算的计算平台，了传统Ｓ神经网络ＧＤ训练的不能并行的技术难题，可以预期的训练已经可以在海量语料上并行展开．未来随着海量数据训练的Ｄ语音ＮＮ技术的发展，图像系统的识别率还会持续提升．

目前最大的深度模型所包含的参数大约在１００亿的数量级，还不及人脑的万分之一．而由于计算成本的限制，实际运用于产品中的深度模型更是远远低于这个水平．而深度模型的一个巨大优势在于，在有海量数据的情况下，很容易通过增大模型来达到

作为解决，在百度的Ｄ特征作为输入．ＮＮ系统里，

１１３

，数从１数量级被降到了１从而能被Ｄ００ＮＮ正常

的学习．这套深度学习系统已于２０１３年５月开始服每天为数亿网民使用．务于百度搜索广告系统，

ＤＮＮ在搜索广告系统中的应用还远远没到成

其中Ｄ熟，ＮＮ与迁移学习的结合将可能是一个令使用Ｄ未来的搜索广告将可能人振奋的方向．ＮＮ，借助网页搜索的结果优化特征的学习与提取；亦可能通过Ｄ使得不同ＮＮ将不同的产品线联系起来，的变现产品不管数据多少，都能互相优化．我们认为未来的ＤＮＮ一定会在搜索广告中起到更重要的作用．

４　深度学习研发面临的重大问题

４．１　理论问题

理论问题主要体现在两个方面，一个是统计学习方面的，另一个是计算方面的．我们已经知道，深度模型相比较于浅层模型有更好的对非线性函数的表示能力．具体来说，对于任意一个非线性函数，根，据神经网络的ｕ我们ｎｉｖｅｒｓａｌａｒｏｘｉｍａｔｉｏｎｔｈｅｏｒ　　ｐｐｙ一定能找到一个浅层网络和一个深度网络来足够好但是某些类函数，深度网络只需要少得多的的表示．

参数就可以表示．但是，可表示性不代表可学习性．我们需要了解深度学习的样本复杂度，也就是我们需要多少训练样本才能学习到足够好的深度模型．在另一方面来说，我们需要多少的计算资源才能通过训练得到更好的模型，理想的计算优化方法是什么？由于深度模型都是非凸函数，这方面的理论研究极其困难．４．２　建模问题

在推进深度学习的学习理论和计算理论的同时，我们是否可以提出新的分层模型，使其不但具有传统深度模型所具有的强大表示能力，而且具有其他