핵심 개념
시각 품질 비교를 위한 Co-Instruct 모델의 혁신적인 성능과 결과
초록
Co-Instruct 모델은 오픈엔드 시각 품질 비교를 위한 첫 번째 오픈 소스 LMM으로, 기존 LMM들보다 30% 높은 정확도를 보임
MICBench는 LMM에 대한 다양한 평가를 위한 첫 번째 벤치마크로, 3개 또는 4개의 이미지를 비교하는 2,000개의 MCQ를 포함
Merge2Compare와 Teach2Compare를 통해 Co-Instruct-562K 데이터셋을 구축하여 모델 성능 향상
Co-Instruct는 다양한 평가 설정에서 기존 모델들을 능가하며, GPT-4V와의 비교에서도 우수한 성과를 보임
통계
제안된 MICBench에는 2,000개의 MCQ가 포함되어 있음
Co-Instruct는 기존 LMM들보다 30% 높은 정확도를 보임
인용구
"Co-Instruct는 오픈 소스 LMM들보다 30% 높은 정확도를 보이며, GPT-4V를 능가함."
"MICBench는 LMM에 대한 다양한 평가를 위한 첫 번째 벤치마크로, 3개 또는 4개의 이미지를 비교하는 2,000개의 MCQ를 포함."