大模型学习路径
返回首页 学习路径 入门

Token 与上下文窗口

为什么「太长」会忘、为什么要分段任务。

目标

理解 token上下文窗口 如何影响你的写作方式。

Token 是什么

模型不是按「字」读,而是按 token(常见是子词片段)处理。中文往往 一字或多字 合为一个 token,英文可能是单词的一部分。你可以在 OpenAI 的 Tokenizer 页面粘贴文本,直观看到切分结果。

上下文窗口

模型一次能「同时看见」的 token 总量有限,这就是 上下文窗口。超过上限时,最早的内容会被丢弃或压缩,表现为「忘了前面说过什么」。

怎么用

  • 长材料:摘要后再问,或分多轮、每轮只带必要片段。
  • 重要约束写在 靠近结尾 的用户消息里,往往更稳(但不要依赖这一点替代清晰结构)。

链接

延伸阅读