第 198 題(共 548 題)
Attention Collapse(注意力坍縮)的改善方法為何?
解析
Attention Collapse 是指注意力權重集中在少數幾個位置,導致模型無法有效利用其他資訊。對注意力權重施加稀疏化約束,可以強制模型分散注意力,避免坍縮。
正確答案:D. 對注意力權重施加稀疏化約束
Attention Collapse 是指注意力權重集中在少數幾個位置,導致模型無法有效利用其他資訊。對注意力權重施加稀疏化約束,可以強制模型分散注意力,避免坍縮。
正確答案:D. 對注意力權重施加稀疏化約束