第 480 題(共 548 題)
關於知識蒸餾(Knowledge Distillation),下列敘述何者最正確?
解析
知識蒸餾的核心概念是讓較小的「學生模型」學習大型「教師模型」的輸出分佈(soft labels),從而在較低運算成本下保留大部分效能。選項B是模型集成、C是剪枝、D是量化,皆非知識蒸餾。
正確答案:A. 將大型教師模型的知識轉移至較小的學生模型
知識蒸餾的核心概念是讓較小的「學生模型」學習大型「教師模型」的輸出分佈(soft labels),從而在較低運算成本下保留大部分效能。選項B是模型集成、C是剪枝、D是量化,皆非知識蒸餾。
正確答案:A. 將大型教師模型的知識轉移至較小的學生模型