第 536 題(共 548 題)
模型量化(Quantization)將權重從FP32降為INT8,其主要效果為何?
解析
量化將高精度浮點數降為低精度整數,可減少約4倍記憶體使用並加速推理,代價是可能有微小的精確度損失。A錯:主要影響推理而非訓練;C錯:通常會有些微品質下降;D錯:廣泛適用於各類模型包括Transformer。
正確答案:B. 減少記憶體使用量並加速推理,但可能略微降低精確度
量化將高精度浮點數降為低精度整數,可減少約4倍記憶體使用並加速推理,代價是可能有微小的精確度損失。A錯:主要影響推理而非訓練;C錯:通常會有些微品質下降;D錯:廣泛適用於各類模型包括Transformer。
正確答案:B. 減少記憶體使用量並加速推理,但可能略微降低精確度