이 연구는 자원 제한적 환경에서 활용할 수 있는 다중 모달 대형 언어 모델 TinyLLaVA-Med를 개발하였다. 기존의 대형 다중 모달 언어 모델은 높은 계산 요구량과 메모리 사용으로 인해 자원 제한적 환경에 배포하기 어려웠다. 이에 TinyLLaVA 모델을 의료 데이터셋으로 미세 조정하여 TinyLLaVA-Med를 개발하였다.
TinyLLaVA-Med는 NVIDIA Jetson Xavier와 같은 임베디드 시스템에서 18.9W의 전력 소비와 11.9GB의 메모리 사용으로 작동할 수 있다. 또한 VQA-RAD와 SLAKE 데이터셋에서 각각 64.54%와 70.70%의 정확도를 달성하여, 자원 제한적 환경에서도 우수한 성능을 보였다.
이를 통해 TinyLLaVA-Med는 자원 제한적 환경에서도 배포 가능한 다중 모달 대형 언어 모델로, 원격 및 소외 지역에서 첨단 AI 기반 의료 진단 기술에 대한 접근성을 높일 수 있다.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Aya El Mir, ... um arxiv.org 09-19-2024
https://arxiv.org/pdf/2409.12184.pdfTiefere Fragen