이 논문은 생체신호의 다중 모달 사전 학습을 위한 주파수 인식 마스크드 오토인코더 모델 bioFAME를 제안한다.
주요 내용은 다음과 같다:
주파수 인식 트랜스포머 인코더 (FA-Enc): 고정 크기의 푸리에 기반 연산자를 사용하여 생체신호의 주파수 정보를 직접 학습하는 모듈을 제안했다. 이를 통해 입력 길이와 샘플링 속도에 관계없이 주파수 정보를 효과적으로 활용할 수 있다.
주파수 유지 사전 학습 (FM): 마스크드 오토인코더 학습 시 주파수 정보를 유지하기 위해 잠재 공간에서 재구성을 수행하는 방식을 제안했다. 이를 통해 주파수 정보가 손실되지 않고 효과적으로 학습될 수 있다.
채널 독립적 설계: 모달 간 분포 변화에 강건하도록 채널 간 독립적인 설계를 적용했다. 이를 통해 모달이 누락되거나 변경되는 상황에서도 안정적인 성능을 보인다.
실험 결과, bioFAME는 다양한 단일 모달 생체신호 분류 과제에서 기존 최신 모델 대비 평균 5.5% 향상된 성능을 보였다. 또한 모달 누락 및 대체 상황에서도 강건한 성능을 보여, 실제 응용에 유용할 것으로 기대된다.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Ran Liu,Elle... lúc arxiv.org 04-22-2024
https://arxiv.org/pdf/2309.05927.pdfYêu cầu sâu hơn