第 490 題(共 548 題)
QLoRA 相較於標準 LoRA 的主要改進之處為何?
解析
QLoRA 在 LoRA 的基礎上,將預訓練模型的權重量化為4位元(4-bit),並在量化後的模型上進行 LoRA 微調。這使得在單張消費級 GPU 上微調超大型模型(如 65B 參數)成為可能。
正確答案:B. 將基礎模型量化至4位元精度,進一步降低記憶體需求
QLoRA 在 LoRA 的基礎上,將預訓練模型的權重量化為4位元(4-bit),並在量化後的模型上進行 LoRA 微調。這使得在單張消費級 GPU 上微調超大型模型(如 65B 參數)成為可能。
正確答案:B. 將基礎模型量化至4位元精度,進一步降低記憶體需求