본 연구는 시각적 지침 데이터의 중복성 문제를 다룬다. 기존 연구에서는 다양한 시각적 지침 데이터를 혼합하여 사용하였지만, 이는 데이터 중복을 초래할 수 있다. 이를 확인하기 위해 실험을 수행한 결과, 특정 과제의 지침 데이터를 크게 줄여도 성능에 큰 영향을 미치지 않는다는 것을 발견했다.
이에 따라 저자들은 TIVE라는 새로운 데이터 선택 방법을 제안한다. TIVE는 과제 수준과 인스턴스 수준의 데이터 가치를 추정하여 대표적인 데이터를 선별한다. 과제 수준 가치는 각 과제의 평균 gradient norm을 통해 계산하고, 인스턴스 수준 가치는 각 인스턴스의 gradient vector와 과제 평균 gradient vector의 유사도를 통해 계산한다. 이를 바탕으로 과제 비율을 결정하고 대표적인 인스턴스를 선택하여 작은 규모의 데이터셋을 구성한다.
실험 결과, TIVE를 통해 전체 데이터의 7.5%만을 사용해도 기존 모델과 유사한 성능을 달성할 수 있었고, 일부 벤치마크에서는 더 나은 성능을 보였다. 이는 TIVE가 데이터 중복성을 효과적으로 해결할 수 있음을 보여준다.
To Another Language
from source content
arxiv.org
Ключові висновки, отримані з
by Zikang Liu,K... о arxiv.org 03-15-2024
https://arxiv.org/pdf/2403.09559.pdfГлибші Запити