核心概念
대규모 언어 모델(LLM)은 DL-Lite 온톨로지의 구문과 일부 의미론적 개념을 이해하는 데 유능함을 보여주지만, TBox NI 전이성 규칙 이해 및 대규모 ABox 처리에는 어려움을 겪는다.
要約
대규모 언어 모델은 DL-Lite 온톨로지를 이해할 수 있을까?: 실증적 연구 분석
본 연구 논문은 대규모 언어 모델(LLM)이 DL-Lite 온톨로지를 얼마나 효과적으로 이해할 수 있는지에 대한 실증적 연구를 수행했습니다.
본 연구는 LLM이 DL-Lite 온톨로지의 구문과 의미를 이해하는 능력을 평가하고, 그 한계를 명확히 밝히는 것을 목표로 합니다.
연구팀은 구문 검사, 개념 또는 역할의 서브섭션, 인스턴스 확인, 쿼리 응답, 온톨로지 만족도 확인 및 속성 특성 조사를 포함한 일련의 작업을 통해 LLM의 DL-Lite 온톨로지 이해 능력을 평가했습니다. 다양한 DL-Lite 온톨로지 데이터 세트를 사용하여 GPT3.5, GPT4o, LLaMA3-8B와 같은 LLM의 성능을 평가했습니다.