登录
洞察 - 멀티모달 학습
다양한 데이터 유형을 통합하는 멀티모달 생성을 위한 PixelBytes
PixelBytes는 텍스트, 오디오, 픽셀화된 이미지(스프라이트)와 같은 다양한 데이터 유형을 통합하는 새로운 멀티모달 표현 학습 방법을 제안한다.
다양한 멀티모달 정보를 활용한 게임 상황 이해와 관중 참여형 해설 생성 데이터셋
다양한 멀티모달 정보(게임 이벤트 로그, 캐스터 음성, 관중 채팅)를 활용하여 게임 상황을 이해하고 관중 참여형 해설을 생성하는 모델을 제안한다.
비디오와 오디오 데이터를 효율적으로 처리하고 통합하는 멀티모달 자기회귀 모델 Mirasol3B
비디오와 오디오 데이터를 시간 정렬된 모달리티로 처리하고, 문맥 정보를 별도의 자기회귀 모델로 처리하여 효율적이고 확장 가능한 멀티모달 모델을 제안한다.
다양한 모달리티 간 세부적인 기여도 평가를 통한 멀티모달 협력 향상
멀티모달 학습에서 각 모달리티의 세부적인 기여도를 평가하고, 이를 바탕으로 저기여 모달리티의 학습을 강화하여 모달리티 간 협력을 향상시킨다.
상태 공간 모델을 활용한 멀티모달 학습 탐구: VL-Mamba
상태 공간 모델을 활용하여 멀티모달 학습 과제를 해결하는 VL-Mamba 모델을 제안한다. 이를 통해 기존 트랜스포머 기반 모델의 계산 복잡도 문제를 해결하고자 한다.
다양한 모달리티 이해와 생성을 위한 통합적 학습 프레임워크 DREAMLLM
DREAMLLM은 언어와 이미지 모달리티의 통합적 학습을 통해 멀티모달 이해와 생성 능력을 향상시킨다.
오디오-이미지 시간적 일치에 대한 지식 전달 개선을 통한 오디오-텍스트 교차 검색
오디오-이미지 시간적 일치를 개선하여 오디오-텍스트 교차 검색 성능을 향상시킬 수 있다.
오디오-이미지 시간적 일치에 대한 지식 전달 개선을 통한 오디오-텍스트 크로스 리트리벌
오디오-이미지 시간적 일치를 개선하여 오디오-텍스트 크로스 리트리벌 성능을 향상시킬 수 있다.
통합 코드북을 통한 멀티모달 대형 언어 모델의 효율적인 처리 및 분석
본 연구는 비주얼, 텍스트 및 기타 신호를 효율적으로 토큰화할 수 있는 통합 코드북을 학습하는 UniCode라는 혁신적인 접근법을 제안한다.
