一个星期前由Franois Chollet在Twitter上引发的“深度学习能否进入平台期”的讨论，由于大神Geffory Hinton的参与抵达了高峰。 Hinton：深度学习可能需求“推倒重来” 据科技媒体Axios报道，上周三在多伦多举行的一个AI会议上Hinton表示，他往常对反向传播算法“深感狐疑”。这一算法是用来锻炼人工神经网络的常见措施，该措施计算对网络中一切权重计算损失函数的梯度。这个梯度会反响给最优化措施，用来更新权值以最小化损失函数。值得一提的是，Hinton自己是反向传播算法的早期提出者，1986年，Hinton在一篇论文中初次将反向传播算法引入多层神经网络锻炼。 固然在这次会议上，不少参会的科学家表示在人工智能的未来反向传播仍处于中心位置，但Hinton的发言一锤定音：可能会有全新的措施推出。Hinton在现场援用普朗克的名言称：“Max Planck 曾说："科学之道，不破不立。"未来取决于对我所说的一切持狐疑态度的那些研讨生。”他还表示，假如要让深神经网络变得更聪明，即向无监视学习过渡，“ 这可能意味着要彻底放弃反向传播。” 这一观念在Twitter上惹起了普遍讨论，Pedro Domingos、李飞飞等多人纷繁转发。在李飞飞转发的Twitter上，雷锋网留意到，前几天的“few tools lives enternity”曾经悄然变成了“no tool is eternal”，Hinton这一观念对AI研讨者的震动之大可见一斑。
众所周知，从Hinton于2006年在Science杂志上发表《Deep Belief Networks》的论文开启了深度神经网络的新时期。十余年来，基于Hinton及众多先驱提出的深度学习理念框架，深度学习在有监视学习上取得了一定的突破，但同时也暴显露了一定的技术局限，如数据需求大、环境顺应弱、可解释性差、性能差别大、数据分享难等。不少研讨者以为，人工智能的下一步展开有待于在无监视学习范畴的进一步突破。 如何破局？Hinton提出Capsule Hinton近日对其在2011年的一篇论文《Transforming Auto-encoders》提出的Capsule概念重新中止了思索及完善，关于Capsule的最新论文《Dynamic Routing Between Capsules》目前已被NIPS 2017接纳，目前这篇论文并未正式发表，但我们还是能够从Google Research Blog发表的论文摘要以及部分提到了Capsule的Slide上了解到关于Hinton对Capsule的想法，雷锋网(公众号：雷锋网)摘编如下： Capsule 是一组神经元，其活意向量的矢量方向及方向分别代表实体化水平及实例参数，相同水平下的生动capsule可经过矩阵变换对更高级别的Capsule实体化参数中止预测。当多个预测分歧时，高级别的Capsule将会愈加生动。在论文中我们展示了用于判别锻炼的多层Capsule系统在MNIST数据集表示臻于圆满，相比起高度堆叠的数字的卷积网络的性能更为优越。为抵达这一目的，我们试用运用迭代的路由协议机制，即低级别的Capsule倾向于将预测结果输动身送至高级别的Capsule，从而使得高级别Capsule的活意向量具备大标量积。论文最终版本正在修订中，并会包含评论者的意见。
换言之，Capsule试图在神经网络内构成和笼统创建子网络，也就是说，假如你看一个规范的神经网络，层与层之间是完整衔接的（也就是说，层1中的每个神经元都能够访问层0中的每个神经元，并且自身被第2层中的每个神经元访问，以此类推）， 这种更复杂的图形拓扑似乎能够更有效地地进步生成网络的有效性和可解释性。论文中提到的 Dynamic Routing，就是希望能够构成一种机制，让网络能够将合适某一层 Capsule 处置的内容，路由到对应的 Capsule让其处置，从而构成了某种推断链。 （关于Capsule理论的更多内容，可参见雷锋网之前文章：《Hinton亲身解说迄今未发表工作：胶囊理论的中心概念到底是什么？》） 如何看待Capsule ？ 在知乎的这一问题下，得到赞同最高的SIY.Z是这样回答的： 首先这个工作胜利或者不胜利都是很正常的，就算 Capsule 真的会成为以后的趋向，Hinton 也一定这么快找到正确的锻炼算法；就算 Hinton 找到了正确的锻炼算法，也没有人能够保障，Capsules 的数量不到人脑中 mini-columns 数量的时分，能够起抵达人类的辨认率（何况往常 CNN 固然问题很多，但是辨认率很多曾经超越人类了）。 从目前曾经披露的信息看，Capsule的概念会更仿生一些，能够更好地模仿人类大脑神经元之间的复杂衔接结构，但对这个框架细致的数学描画仍有待于进一步研讨。 雷锋网以为，在最近几年，深度学习得到了普遍的应用，深度学习工程化的门槛逐步降低，招致在诸多学术会议上曾经开端呈现出“不用深度学习都不好意义和人打招呼”的现象，在这种环境下，不少研讨者也在探求深度学习之外的其他理论研讨，Hinton的“深度学习需求推倒重来，可能需求丢弃反向传播”的深思更多具备指导性的意义，也会鼓舞更多人在其他的理论研讨上进一步探求。 值得一提的是，有不少国内学者曾经走在了这个范畴的前列。如南京大学的周志华教授今年稍早发表的关于多层随机森林的论文《Deep Forest: Towards An Alternative to Deep Neural Networks》是关于用做深度学习的，也不需求反向传播；而在去年，周志华教授也针对当前深度学习存在的技术局限提出了“学件”的处置计划，在这一波对深度学习的重新思索中，我们也希冀有更多的国内学者能够有更多的突破。 作者：岑巨匠 |
名表回收网手机版
