核心概念
비용 효율적이고 내용 인식적인 엣지 지원 비디오 의미 분할 시스템 Penance를 제안한다. Penance는 모델 선택과 압축 설정을 최적화하여 정확도 요구사항을 충족하면서도 추론 비용을 최소화한다.
要約
Penance는 다음과 같은 3가지 핵심 구성요소로 이루어져 있다:
- 비트레이트 추정기:
- 비디오 프레임의 원본을 활용하여 각 압축 설정에 대한 세그먼트 비트레이트를 예측한다.
- H.264/AVC 코덱의 예측 메커니즘을 활용하여 비디오 콘텐츠 변화에 강인하다.
- 성능 인코더:
- 엣지 모델의 소프트맥스 출력 확률을 활용하여 현재 세그먼트의 성능 임베딩을 생성한다.
- 이를 통해 모델 선택 과정에서 정확도 변화를 효과적으로 모니터링할 수 있다.
- CRL 어댑터:
- 심층 강화학습 기반 모델로, 비트레이트 예측, 성능 임베딩, 과거 구성 등의 정보를 활용하여 각 세그먼트에 대한 최적의 모델 버전과 압축 설정을 선택한다.
- 추론 비용 최소화와 정확도/대역폭 제약 만족 간의 균형을 잡는다.
실험 결과, Penance는 기존 방법 대비 6.8% 더 많은 계산 자원을 사용하면서도 정확도와 대역폭 제약을 만족하는 낮은 실패율을 보였다.
統計
비디오 세그먼트의 평균 mIoU는 시간에 따라 크게 변동한다.
압축 설정(해상도, QP)에 따른 세그먼트 비트레이트 분포가 크게 변동한다.
QP 조절이 해상도 조절보다 비트레이트와 정확도 간의 트레이드오프 측면에서 더 효율적이다.
引用
"비디오 콘텐츠의 동적 변화로 인해 VSS 모델의 성능이 크게 변동한다."
"압축 설정과 비디오 콘텐츠 간의 복잡한 관계로 인해 단순한 휴리스틱으로는 최적의 구성을 찾기 어렵다."