混合特征及多頭注意力的中文短文本分類

摘要： 傳統的短文本分類研究方法存在兩方面不足，一是不能全面地表示文本的語義信息，二是無法充分地提取和融合文本全局和局部信息?；诖?，提出一種混合特征及多頭注意力（HF-MHA）的中文短文本分類方法。該方法利用預訓練模型計算中文短文本的字符級向量和詞級向量表示，以得到更全面的文本特征向量表示；采用多頭注意力機制捕捉文本序列中的依賴關系，以提高文本的語義理解；通過卷積神經網絡分別提取兩種...