基于多模態特征與增強對齊的細粒度圖像分類

摘要： 針對現有模型在多模態信息處理過程中存在特征提取不足、信息交互不充分等問題，提出基于多模態特征增強對齊的細粒度圖像分類模型。首先，提出層次特征自適應融合模塊，以實現多模態特征的多層次自適應融合，從而充分利用卷積中間層的特征信息，增強模型對圖像局部細節的感知能力。其次，為提高多模態特征之間的交互維度，提出增強對齊特征融合模塊，以充分挖掘不同模態之間的映射關系。實驗結果表明，所提模型...