神经网络
从「McCulloch–Pitts 人工神经元」到「深度学习三巨头获图灵奖」,先抓住起点、路线转向与当前边界,再展开完整事件线。
深度学习三巨头获图灵奖
ACM 宣布将 2018 年度图灵奖授予 Geoffrey Hinton、Yann LeCun 和 Yoshua Bengio,表彰他们在深度神经网络领域的突破性贡献,为现代 AI 奠定基础。
Transformer 架构论文发表
Google 研究者在机器翻译论文中提出 Transformer,用自注意力、前馈网络和位置编码构成编码器—解码器,去掉循环和卷积。
深度置信网络重启深层学习
Hinton、Osindero 与 Teh 提出深度置信网络的快速逐层训练方法,让“深度学习”重新成为可实验的研究路线。
LSTM 长短期记忆网络
Sepp Hochreiter 与 Jürgen Schmidhuber 提出 LSTM,用恒定误差传送与门控记忆单元缓解循环网络训练中的梯度消失,使较长序列上的信用分配更可行。
TD-Gammon 与时间差分学习
Gerald Tesauro 在 IBM 开发 TD-Gammon,让一个带时序差分学习的小型神经网络仅靠与自己对弈训练,棋力逼近人类大师。它把「从经验中学习价值」变成了可以量化的现实。
LeNet 与卷积神经网络
Yann LeCun 及其合作者提出 LeNet,把卷积、池化与反向传播组合成可训练的卷积神经网络,先用于邮政编码手写数字识别,后在银行支票识别中实际部署。它证明深度网络可以在真实任务上工作。
反向传播算法
Rumelhart、Hinton 与 Williams 展示如何用误差反向传播训练多层网络,使隐藏层能够从样本中形成内部表示。
Hopfield 网络
物理学家约翰·霍普菲尔德提出带反馈的循环神经网络,用能量函数刻画网络动力学,可存储和恢复模式。它复兴了陷入低谷的神经网络研究。
《Perceptrons》划出单层网络的边界
Minsky 与 Papert 系统分析感知机,证明单层线性模型无法解决 XOR 等问题,并讨论了计算复杂度限制。
Mark I 感知机问世
Rosenblatt 展示 Mark I 感知机,一台能通过调整权重「学会」识别图案的硬件。它让神经网络第一次以实物的形式登上舞台,也点燃了公众对「会学习的机器」的第一波热情与后来的失望。
Rosenblatt 提出感知机
Frank Rosenblatt 提出感知机学习规则,并在 Cornell Aeronautical Laboratory 制作 Mark I 硬件,用样本训练二元图像分类。
McCulloch–Pitts 人工神经元
沃伦·麦卡洛克与沃尔特·皮茨发表《神经活动中内在思想的逻辑演算》,证明简单人工神经元可执行逻辑运算。这篇论文为神经网络与 AI 提供了数学基础。