컨텍스트 스트림을 이용한 효율적인 테스트 시간 적응 모델, StreamAdapter
대규모 언어 모델(LLM)의 새로운 테스트 시간 적응(TTA) 방법인 StreamAdapter는 컨텍스트 정보를 모델 파라미터 업데이트에 직접 매핑하여 적은 수 또는 전혀 데모 없이도 새로운 작업에 빠르게 적응하거나 새로운 지식을 습득할 수 있도록 합니다.
지속적으로 변화하는 환경에서 객체 감지를 위한 테스트 시간 적응 탐구: AMROD 프레임워크 소개 및 성능 평가
본 논문에서는 지속적으로 변화하는 환경에서 객체 감지를 위해 사전 훈련된 모델을 효율적이고 안정적으로 적응시키는 새로운 테스트 시간 적응 방법인 AMROD를 제안합니다.
질문에서 탐구까지: 시맨틱 분할에서 기존 테스트 시간 적응 전략을 효과적으로 적용할 수 있을까?
본 논문은 기존의 테스트 시간 적응(TTA) 기법들이 분류 문제에서 성공을 거두었지만, 더욱 까다로운 시맨틱 분할 작업에는 직접적으로 적용하기 어려우며, 특히 정규화 업데이트, 교사-학생 방식, 롱테일 클래스 불균형 문제 등에서 어려움을 겪는다는 것을 보여준다.
BoostAdapter: 지역적 부트스트래핑을 통한 테스트 시간 적응 개선
BoostAdapter는 테스트 시간 적응에서 기존의 훈련 기반 방법과 훈련이 필요 없는 방법을 결합하여 비전-언어 모델의 성능을 향상시키는 새로운 적응 전략입니다.
온디맨드 토큰: 훈련 없는 테스트 시간 적응으로서의 토큰 집중화
본 논문에서는 비전-언어 모델(VLM)의 테스트 시간 추론 중 발생하는 분포 변화를 완화하기 위해 고안된 훈련 없는 접근 방식인 적응형 토큰 집중화(TCA)를 소개합니다. TCA는 이미지 토큰을 집중화하여 패치 수준에서 분포 차이를 해소합니다.
라이다 기반 3D 객체 감지를 위한 테스트 시간 적응 모델 시너지(MOS)
본 논문에서는 라이다 기반 3D 객체 감지 모델의 테스트 시간 적응을 위한 새로운 프레임워크인 MOS(Model Synergy)를 제안합니다. MOS는 이전 테스트 배치에서 얻은 장기 지식을 활용하여 다양한 도메인 변화에 효과적으로 적응합니다. 특히, 다양한 지식을 가진 이전 체크포인트를 동적으로 선택하고 이를 결합하여 현재 테스트 배치에 가장 적합한 슈퍼 모델을 구축합니다.
실제 환경에서의 지속적인 테스트 시간 적응을 위한 간단한 방법: AR-TTA
본 논문에서는 실제 환경에서 발생하는 도메인 변화에 효과적으로 대응하기 위해 새로운 테스트 시간 적응(TTA) 방법인 AR-TTA를 제안합니다. AR-TTA는 기존 방법들이 가진 한계점을 지적하고, 자기 학습 프레임워크를 기반으로 소량의 메모리 버퍼와 믹스업 데이터 증강 기법을 활용하여 모델의 안정성을 높이고 도메인 변화에 역동적으로 적응합니다.
완전 테스트 시간 적응을 위한 도메인 조건부 트랜스포머
이미지 분류에서 도메인 변화에 따른 성능 저하 문제를 해결하기 위해 셀프 어텐션 모듈에 도메인 정보를 통합하는 새로운 트랜스포머 구조인 도메인 조건부 트랜스포머(DCT)를 제안하며, DCT는 테스트 시간에 온라인으로 도메인 적응을 수행하여 기존 방법보다 우수한 성능을 달성했습니다.
예측 뷰 합성 기반 키포인트 기반 우주선 자세 추정을 위한 테스트 시간 적응
합성 데이터로 훈련된 우주선 자세 추정 모델은 실제 운영 데이터에 적용 시 성능 저하를 겪는데, 본 논문에서는 예측 뷰 합성을 활용한 테스트 시간 적응 방식을 통해 이러한 문제를 해결하고자 한다.
신경 암시적 표현을 사용한 비지도 학습 이상 탐지에서의 선택적 테스트 시간 적응
본 논문에서는 새로운 임상 환경에서 발생하는 도메인 변화에 적응하기 위해 의료 영상 분야에서 선택적 테스트 시간 적응 프레임워크를 제안하며, 이를 통해 기존 이상 탐지 모델의 성능을 향상시키는 방법을 소개합니다.
© 2024 by Linnk AI