對非常長的輸入序列進行推理（Inference），Transformer模型推理的主要計算瓶頸通常是什麼？

解析

Transformer 的自注意力計算複雜度為 O(n²)，注意力矩陣隨序列長度平方級增長，是長序列推理的主要瓶頸。

正確答案：D. 自注意力層的計算和其記憶體使用，因為注意力矩陣的大小隨序列長度呈平方級增長