涌现能力
Emergent Ability
模型规模超过某个阈值后,突然表现出小模型不具备的新能力。
先用人话理解
就像水到 100 度才沸腾——模型参数够多后,某些能力不是慢慢变好,而是「突然冒出来」。比如小模型不会做多步推理,大模型突然会了。
为什么重要
涌现能力是「大就是不一样」的核心论据,推动了大模型军备竞赛,也引发关于缩放定律上限的争论。
常见误解
涌现能力是固定阈值触发的
所有能力都会涌现
涌现能力只在语言模型上出现
Emergent Ability
模型规模超过某个阈值后,突然表现出小模型不具备的新能力。
就像水到 100 度才沸腾——模型参数够多后,某些能力不是慢慢变好,而是「突然冒出来」。比如小模型不会做多步推理,大模型突然会了。
涌现能力是「大就是不一样」的核心论据,推动了大模型军备竞赛,也引发关于缩放定律上限的争论。
涌现能力是固定阈值触发的
所有能力都会涌现
涌现能力只在语言模型上出现