Core Concepts
프랭켄슈타인은 단일 삼면 평면에서 의미론적으로 구분되는 다중 형상을 동시에 생성할 수 있는 확산 기반 프레임워크이다.
Abstract
프랭켄슈타인은 의미론적으로 구분되는 다중 형상을 단일 삼면 평면에서 동시에 생성할 수 있는 확산 기반 프레임워크이다.
기존 방법들은 단일 통합 3D 형상을 출력하지만, 프랭켄슈타인은 각각 의미론적으로 의미 있는 부분에 해당하는 다중 분리 형상을 동시에 생성한다.
3D 장면 정보는 단일 삼면 평면 텐서에 인코딩되며, 여기서 다중 부호화 거리 함수(SDF) 필드를 디코딩하여 구성 형상을 나타낼 수 있다.
훈련 과정에서 오토인코더가 삼면 평면을 잠재 공간으로 압축하고, 탈노이즈 확산 프로세스를 사용하여 구성 장면의 분포를 근사한다.
프랭켄슈타인은 방 내부와 인간 아바타 생성에서 우수한 결과를 보여주며, 부분별 재질 변경, 객체 재배치, 아바타 의복 재타깃팅 등 다양한 응용 분야에 활용될 수 있다.
Stats
단일 삼면 평면에서 의미론적으로 구분되는 다중 형상을 동시에 생성할 수 있다.
오토인코더를 통해 삼면 평면을 잠재 공간으로 압축하고, 탈노이즈 확산 프로세스를 사용하여 구성 장면의 분포를 근사한다.
방 내부와 인간 아바타 생성에서 우수한 결과를 보여준다.
부분별 재질 변경, 객체 재배치, 아바타 의복 재타깃팅 등 다양한 응용 분야에 활용될 수 있다.
Quotes
"프랭켄슈타인은 단일 삼면 평면에서 의미론적으로 구분되는 다중 형상을 동시에 생성할 수 있는 확산 기반 프레임워크이다."
"프랭켄슈타인은 방 내부와 인간 아바타 생성에서 우수한 결과를 보여준다."