长上下文
Long Context
模型在一次推理中能够处理的最大输入量,通常以 token 衡量。
先用人话理解
上下文窗口越大,一次能「读」进去的材料越多——从几段话到整本书、整份代码仓库、几小时视频。
为什么重要
长上下文改变了大模型的使用方式:从「挑重点喂进去」变成「全放进去再说」,直接冲击 RAG 与记忆类应用的架构选择。
常见误解
上下文长不代表都能准确利用
长上下文与检索增强是互斥方案
上下文越长一定越好
Long Context
模型在一次推理中能够处理的最大输入量,通常以 token 衡量。
上下文窗口越大,一次能「读」进去的材料越多——从几段话到整本书、整份代码仓库、几小时视频。
长上下文改变了大模型的使用方式:从「挑重点喂进去」变成「全放进去再说」,直接冲击 RAG 与记忆类应用的架构选择。
上下文长不代表都能准确利用
长上下文与检索增强是互斥方案
上下文越长一定越好