基于注意力頭數和詞性融合的藏文預訓練模型

摘要： 為了更好地學習藏文語言特征以及探究藏文預訓練語言模型的最佳注意力機制頭數，將詞性與藏文預訓練模型相結合，并進行了對比實驗確定最佳的注意力頭數，旨在提高語言模型對藏文語言特征的理解以及下游任務的性能。實驗結果表明，在多個分類任務中，注意力頭數為12的預訓練模型皆表現了良好的性能。此外，將詞性融入預訓練模型后，文本、標題和情感分類任務的模型F₁值分別提高了0.57%、0.92%和...