第 183 題(共 548 題)
BERT 的 MLM (Masked Language Model) 訓練策略為何?
解析
BERT 的 MLM 會隨機遮住句子中約 15% 的詞,然後讓模型同時看左邊和右邊的上下文來猜被遮住的詞,這就是「雙向」的意義。
正確答案:B. 隨機遮罩部分詞語,利用雙向上下文預測被遮罩的詞
BERT 的 MLM 會隨機遮住句子中約 15% 的詞,然後讓模型同時看左邊和右邊的上下文來猜被遮住的詞,這就是「雙向」的意義。
正確答案:B. 隨機遮罩部分詞語,利用雙向上下文預測被遮罩的詞