返回信息流都说06年是深度网络的里程碑，后面就有很多深度网络涌现。网络结构的加深似乎不算什么太大变化吧，是不是主要是学习算法上的变化呢？为啥之前深度比较容易局部最优，现在的深度就不会了呢（或者得到的局部最优也比较令人满意）？
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #11003同步于 2013/7/15
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖
[问题]06年前的深度神经网络与06年后的有啥不同？
puerxun
2013/7/15镜像同步5 回复
订阅后，新回复会通过你的通知中心匿名送达。
5 条回复
没研究过，转一段话
2006年，加拿大多伦多大学教授、机器学习领域泰斗——Geoffrey Hinton和他的学生Ruslan Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要的信息：1. 很多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2. 深度神经网络在训练上的难度，可以通过“逐层初始化”（Layer-wise Pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。