이 논문은 인공지능 에이전트 간 의사소통 능력을 평가하는 새로운 방법론을 제안한다. 기존의 평가 방법들은 의사소통 프로토콜의 구성성을 직접적으로 드러내지 못했지만, 이 논문에서 제안하는 개념-최적 매칭 방법은 에이전트가 생성한 단어와 자연어 개념 간의 최적 매칭을 찾아 구성성을 정량화한다.
실험 결과, 제안 방법은 기존 방법보다 의사소통 프로토콜의 강점과 약점을 더 잘 드러냈다. 특히 모호성, 동의어, 미매칭 개념 등의 세부 지표를 제공하여 의사소통 프로토콜의 특성을 상세히 분석할 수 있다. 실험에 사용된 최신 의사소통 방법들은 여전히 자연어 수준의 구성성을 달성하지 못한 것으로 나타났다.
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問