Core Concepts
사용자의 선호도에 따라 동적으로 전송된 의미 정보를 수정할 수 있는 크로스 모달 의미 통신 시스템을 제안한다.
Abstract
이 논문은 사용자의 선호도에 따라 동적으로 전송된 의미 정보를 수정할 수 있는 크로스 모달 의미 통신 시스템인 Editable-DeepSC를 제안한다.
Editable-DeepSC는 StyleGAN 사전 지식을 기반으로 한 역변환 방법을 활용하여 입력 이미지를 잠재 공간으로 인코딩한다. 텍스트 지침은 별도로 인코딩되어 편집 과정을 안내한다. 이미지 의미 정보가 StyleGAN 잠재 공간에 충분히 분리되어 있기 때문에, 관심 속성을 직접 수정하여 세부적인 편집을 실현할 수 있다.
실험 결과, Editable-DeepSC는 기존 데이터 중심 통신 방법보다 편집 효과와 전송 효율성 면에서 우수한 성능을 보였다. 데이터 중심 방법은 원본 텍스트와 이미지를 전송하고 수신 측에서 다시 인코딩하는 과정에서 정보 손실이 발생하지만, Editable-DeepSC는 의미 정보를 직접 전송하고 편집하므로 더 나은 성능을 달성할 수 있다.
Stats
채널 대역폭 비율(CBR)은 Editable-DeepSC가 DeepJSCC 방법의 약 12.5%, JPEG-LDPC 방법의 약 21.4%에 불과하다.