Token

ChatGPT的基础元素 – Token, Prompt, Completion 一、Token：语言模型的基本单位 Token 是语言模型中表示词汇或字符的基本单位。 1 个 token 约等于 4 个英文字符 1 个 token 约等于 3/4 个英文单词 100 个 tokens 约等于 75 个英文单词 或者 1-2 句话约等于 30 个 token…