多少k指的是模型的理解能力,128k说明模型一次性可以记住、理解、分析,回复你问题的信息长度是128k大小。
可以简单理解成模型的大脑记忆空间的大小,超过128k长度的信息,模型是自动丢弃遗忘的。你和AI模型对话,理论上是希望AI模型能记住你前面说的所有的话,根据上下文的记忆,来回答你现在的问题。但模型是有记忆大小的,不是无限记忆空间。
由于受Transformer模型的限制,128k是OpenAI经过大量优化工作后,能够让模型精准记忆的最大空间大小。你听到过的动不动就200k、能一次性上传几十万字的AI模型,都是压缩过的有损记忆。本质上是“无损记忆vs有损记忆”的区别,所以那些模型回答不准确的原因是信息记忆损失严重,就可以瞎回答。
128k是目前全球行业里能做到的AI模型最大“精准记忆”的长度了。
你可以看下CampusGPT可提供的各个模型之间的差异【点击访问】