AI 術語庫

118 個 AI 術語白話解析,每個術語用比喻法說明。iPAS 備考必讀。

技術

Embedding 基礎

Embedding

將離散符號(文字、ID)轉換為連續向量空間表示,讓語義相近的詞靠得近

Token 入門

Token

LLM 處理文字的最小單位,可以是字、詞、或子詞,英文約 4 字符一個 token

Context Window 基礎

Context Window

LLM 單次能處理的最大 token 數量,超出視窗的內容會被截斷

MCP 進階

Model Context Protocol

Anthropic 提出的開放協議,標準化 AI 助理連接外部工具和資料來源的方式

API 入門

Application Programming Interface

讓不同程式互相溝通的規格接口,AI API 讓開發者用程式碼調用模型能力

Vector DB 進階

Vector Database

專門儲存和搜索高維向量的資料庫,RAG 系統用它做語義相似度搜索

MLOps 進階

Machine Learning Operations

將 ML 模型開發和部署流程標準化、自動化的工程實踐

Feature Engineering 進階

Feature Engineering

從原始資料中創建、選擇、轉換有助於模型學習的輸入變數

Inference 入門

Inference

用訓練好的模型對新資料進行預測的過程,與訓練階段對應

GPU 入門

Graphics Processing Unit

原為圖形計算設計,因大量平行運算能力成為深度學習的主要加速硬體

TPU 進階

Tensor Processing Unit

Google 為機器學習設計的專用 ASIC 晶片,矩陣運算效率遠超 GPU

Edge AI 基礎

Edge AI

在終端裝置(手機、IoT)而非雲端伺服器執行 AI 推理,降低延遲和保護隱私

Tokenizer 基礎

Tokenizer

將原始文字轉換為 token ID 序列的工具,每個模型有自己的分詞規則

模型

CNN 進階

Convolutional Neural Network

專門處理圖像的神經網路,用小窗口(卷積核)掃過圖片提取局部特徵,參數共享大幅減少計算量

RNN 進階

Recurrent Neural Network

有「記憶」的神經網路,能處理序列資料,前一步的輸出會回饋影響下一步

LSTM 進階

Long Short-Term Memory

改良版 RNN,用「記憶閘門」解決傳統 RNN 的長距依賴問題

Transformer 進階

Transformer

使用自注意力機制的深度學習架構,現代大型語言模型(LLM)的核心結構

LLM 基礎

Large Language Model

以超大規模文字資料訓練的語言模型,能理解和生成自然語言

GPT 基礎

Generative Pre-trained Transformer

OpenAI 開發的自回歸語言模型系列,每次預測下一個 token 的條件機率

BERT 進階

Bidirectional Encoder Representations from Transformers

雙向 Transformer 編碼器,同時看句子前後文的預訓練模型,擅長理解任務

GAN 進階

Generative Adversarial Network

由生成器和判別器互相競爭訓練的架構,能生成逼真的合成資料

VAE 深入

Variational Autoencoder

將輸入壓縮成潛在空間分布後再重建的生成模型,能學習資料的連續潛在結構

Diffusion 深入

Diffusion Model

透過逐步加噪再去噪的過程學習資料分布的生成模型,Stable Diffusion 的核心

Attention 進階

Attention Mechanism

讓模型在生成每個輸出時動態決定輸入哪些部分最重要的機制

Foundation Model 基礎

Foundation Model

在大規模多樣資料上預訓練,能適應多種下游任務的通用大型模型

T5 進階

Text-to-Text Transfer Transformer

Google 的統一文字到文字框架,把所有 NLP 任務統一為「給定輸入文字,生成輸出文字」

PaLM 進階

Pathways Language Model

Google 的大型語言模型,使用 Pathways 架構訓練,是 Gemini 的前身

Gemini 基礎

Gemini

Google DeepMind 開發的多模態大型語言模型,整合文字、圖像、音頻理解能力

Llama 基礎

Llama

Meta 發布的開源大型語言模型系列,社群廣泛基於它微調和部署

Mixtral 進階

Mixtral

Mistral AI 的混合專家架構(MoE)模型,用少量激活參數達到高效能推理

MoE 深入

Mixture of Experts

每次前向傳播只激活部分「專家」子網路,大幅減少推理計算量的架構

機器學習

監督式學習 入門

Supervised Learning

用有標籤的資料訓練模型,每筆訓練資料都附有正確答案

非監督式學習 基礎

Unsupervised Learning

從無標籤資料中自動發現結構和模式,沒有預設正確答案

強化學習 進階

Reinforcement Learning

智能體透過與環境互動,根據獎懲信號學習最優行為策略

遷移學習 基礎

Transfer Learning

將已學好的知識(預訓練模型)應用到新任務,大幅減少新任務所需的資料量

過擬合 基礎

Overfitting

模型過度學習訓練資料的細節和雜訊,導致在新資料上表現差

欠擬合 基礎

Underfitting

模型太簡單,無法捕捉資料的真實規律,在訓練資料和新資料上表現都差

正則化 進階

Regularization

在損失函數加入懲罰項,防止模型參數過大,避免過擬合

梯度下降 進階

Gradient Descent

沿著損失函數梯度的反方向更新參數,逐步找到使損失最小化的最優解

學習率 基礎

Learning Rate

控制每次梯度更新步伐大小的超參數,太大跳過最優解,太小收斂太慢

Hyperparameter 基礎

Hyperparameter

訓練前手動設定的配置參數(如學習率、層數),影響模型架構和訓練過程

Cross-validation 基礎

Cross-validation

將資料集分成多份輪流當訓練集和驗證集,更可靠地評估模型泛化能力

Epoch 入門

Epoch

訓練過程中完整看過一次所有訓練資料的計數單位

Batch Size 基礎

Batch Size

每次梯度更新使用的訓練樣本數量,影響訓練速度和穩定性

Loss Function 基礎

Loss Function

衡量模型預測值和真實值之間差距的函數,訓練目標是最小化損失