表示学习
从「Hopfield 网络」到「CLIP 用自然语言监督连接图文」,先抓住起点、路线转向与当前边界,再展开完整事件线。
CLIP 用自然语言监督连接图文
OpenAI 发布 CLIP:在大规模图文对上对比训练图像编码器与文本编码器,使模型可用自然语言描述做零样本图像分类,并开放代码与权重示例。
深度置信网络重启深层学习
Hinton、Osindero 与 Teh 提出深度置信网络的快速逐层训练方法,让“深度学习”重新成为可实验的研究路线。
支持向量机
Corinna Cortes 与 Vladimir Vapnik 发表《Support-Vector Networks》,系统提出支持向量机。它以最大间隔超平面和核技巧为核心,在 1990 年代到 2000 年代初成为文本、图像分类的主流方法之一。
Hopfield 网络
物理学家约翰·霍普菲尔德提出带反馈的循环神经网络,用能量函数刻画网络动力学,可存储和恢复模式。它复兴了陷入低谷的神经网络研究。