技術 入門

Token

Token / 語言單位

白話解析

LLM 處理文字的最小單位,可以是字、詞、或子詞,英文約 4 字符一個 token

生活化比喻

像文字積木——把句子拆成積木塊,模型一次看一塊,按順序預測下一塊