登录
洞察 - 장면 그래프 생성
타입 인식 메시지 전달 및 이기종 및 이중 그래프를 이용한 편향 없는 장면 그래프 생성
본 논문에서는 객체 간의 관계를 효과적으로 모델링하기 위해 이기종 및 이중 그래프를 결합하고, 타입 인식 메시지 전달 방식을 통해 객체 및 관계 특징을 정교화하여 장면 그래프 생성 성능을 향상시키는 TA-HDG 모델을 제안합니다.
장면 그래프 생성을 위한 양방향 조건화 트랜스포머(BCTR)
BCTR 모델은 VLPM에서 지식을 추출하여 의미적으로 정렬된 공간에서 양방향 조건화를 통해 장면 그래프 생성 성능을 향상시키는 새로운 방법을 제시합니다.
위치 정보 없는 장면 그래프 생성
객체 위치 정보 없이도 효과적인 장면 그래프 생성 및 평가가 가능하며, 이는 대규모 데이터셋 구축의 어려움을 해결하고 다양한 다운스트림 작업에 활용될 수 있는 가능성을 제시한다.
단일 단계 장면 그래프 생성을 위한 하이브리드 관계 할당
제안된 하이브리드 관계 할당 기법은 기존 DETR 기반 장면 그래프 생성 모델의 느린 수렴 문제를 해결한다. 이를 통해 모델은 더 적은 에폭으로도 최신 성능을 달성할 수 있다.
노이즈 레이블 수정 및 견고한 장면 그래프 생성을 위한 훈련
기존 장면 그래프 생성 모델들은 데이터셋의 노이즈 레이블 문제를 간과해왔다. 이 논문에서는 노이즈 레이블 문제를 해결하기 위해 노이즈 레이블 수정 및 견고한 훈련 전략인 NICEST를 제안한다.
정확하고 효율적인 장면 그래프 생성 지표 검토 및 구현
장면 그래프 생성 모델의 성능을 평가하기 위한 정확하고 엄격한 지표를 제공하고, 이를 효율적으로 구현한다.
시각-언어 모델에서 관계 단어 편향 해소를 통한 장면 그래프 생성 성능 향상
시각-언어 모델의 사전 학습 언어 세트에 내재된 관계 단어 편향을 해소하여 장면 그래프 생성 성능을 향상시킨다.
