Core Concepts
인간의 정보 탐색을 모델링하는 새로운 방법에 대한 연구 결과
Abstract
인간의 질문 유형과 모델의 유사성 비교
LIPS 모델을 사용한 질문 생성 및 프로그램 변환 방법
모델의 정보성 및 효율성 평가
LLM과 PCFG를 사용한 질문 제안 분포 비교
질문 유형에 대한 분석
Stats
우수한 인간 질문: "At what location is the top left part of the red ship?" - EIG = 4.73
CodeLlama 모델 질문: "At what location is the top left part of the blue ship?" - EIG = 4.67
GPT-4 모델 질문: "What is the location of one blue tile?" - EIG = 4.67
Quotes
"우리는 노이즈가 있는 LLM 사전에서 질문을 샘플링하고 LoT에 프로그램으로 변환하는 새로운 접근 방식을 소개했다."