DesignQA는 실제 세계의 엔지니어링 과제에 초점을 맞추어 개발된 벤치마크로, 텍스트 설계 요구사항, CAD 이미지, 엔지니어링 도면 등의 다중 모달 데이터를 포함한다. 기존 MLLM 벤치마크와 달리 DesignQA는 입력 이미지와 입력 문서가 다른 출처에서 온 문서 기반 시각 질문을 포함한다. 벤치마크는 자동 평가 지표로 구성되며, 요구사항 이해, 요구사항 준수, 요구사항 추출의 세 가지 세그먼트로 나뉜다. GPT4와 LLaVA 등 최신 모델을 평가한 결과, MLLM의 복잡한 엔지니어링 문서 해석 능력에 여전히 한계가 있음을 보여준다. 이 벤치마크는 향후 AI 지원 엔지니어링 설계 프로세스 발전의 기반을 마련한다.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Anna C. Dori... ב- arxiv.org 04-12-2024
https://arxiv.org/pdf/2404.07917.pdfשאלות מעמיקות