본 연구는 비정형 텍스트, 반구조화 텍스트, 구조화 텍스트를 통합하여 단일 표현 공간에 모델링하는 이종 지식 언어 모델(HKLM)을 제안한다. 이를 통해 문서 구조와 관련 지식을 활용하여 언어 이해를 향상시킨다.