第 533 題(共 548 題)
LoRA(Low-Rank Adaptation)微調技術的核心概念為何?
解析
LoRA將權重更新矩陣ΔW分解為A×B兩個低秩矩陣(rank r遠小於原始維度),只訓練A和B而凍結原始權重,大幅減少可訓練參數。A是剪枝;C是知識蒸餾;D是量化。
正確答案:B. 將權重更新矩陣分解為兩個低秩矩陣的乘積,只訓練這兩個小矩陣
LoRA將權重更新矩陣ΔW分解為A×B兩個低秩矩陣(rank r遠小於原始維度),只訓練A和B而凍結原始權重,大幅減少可訓練參數。A是剪枝;C是知識蒸餾;D是量化。
正確答案:B. 將權重更新矩陣分解為兩個低秩矩陣的乘積,只訓練這兩個小矩陣