統一知識協議與多模態知識圖數據集用於推理和視覺語言預訓練

本文提出了一個統一的知識協議UKnow,以數據的角度促進知識型研究。UKnow將數據知識分為五種單元類型,並建立了一個高效的管道來幫助從任何數據集合構建多模態知識圖。根據UKnow協議,我們從公共國際新聞中收集了一個大規模的多模態知識圖數據集,並用豐富的事件標籤對其進行了註釋。實驗表明,UKnow在支持常識推理和提升視覺語言預訓練方面具有優勢,得益於其統一的知識組織形式。