技術基礎

Tokenizer

Tokenizer / 分詞器

白話解析

將原始文字轉換為 token ID 序列的工具，每個模型有自己的分詞規則

生活化比喻

像翻譯前的斷句——把連續文字按規則切開，才能一個個處理

← 返回 AI 術語庫 | 練習考題 →