안정적인 포즈: 트랜스포머를 활용한 포즈 기반 텍스트-이미지 생성
Stable-Pose는 복잡한 포즈 조건에서도 정확한 포즈 제어를 통해 사실적인 인간 이미지 생성을 가능하게 하는 새로운 텍스트-이미지 생성 모델입니다.
디퓨전 트랜스포머를 위한 학습 없는 지역 프롬프팅
본 논문에서는 복잡한 멀티 리전 프롬프트를 처리하기 위해 FLUX.1 모델에 대한 학습 없는 지역 프롬프팅 방법을 제안하며, 이를 통해 미세 조정된 합성 이미지 생성이 가능해집니다.
선호도 기반 강화 학습을 통한 주제 중심 텍스트-이미지 생성
본 논문에서는 사전 훈련된 텍스트-이미지 생성 모델을 특정 주제의 이미지를 생성하도록 미세 조정하는 새로운 방법인 보상 선호도 최적화(RPO)를 제안합니다. RPO는 λ-Harmonic 보상 함수를 사용하여 생성된 이미지의 품질을 평가하고, 선호도 기반 강화 학습을 통해 모델을 미세 조정합니다.
보상 기반 노이즈 최적화를 통한 원 스텝 텍스트-이미지 모델 향상: ReNO
ReNO는 텍스트-이미지 생성 모델의 추론 시 초기 노이즈를 최적화하여 이미지 품질과 프롬프트 준수도를 향상시키는 새로운 접근 방식입니다.
MoLE: 저랭크 전문가 혼합을 통한 인간 중심 텍스트-이미지 생성 향상
본 논문에서는 인간 중심 텍스트-이미지 생성, 특히 손과 얼굴 부분의 자연스러움을 향상시키기 위해 MoLE(Mixture of Low-rank Experts)라는 새로운 방법을 제안합니다. MoLE는 고품질 인간 중심 데이터셋을 활용하여 사전 학습된 저랭크 모듈을 전문가로 활용하고, 이를 통해 손과 얼굴 부분을 효과적으로 개선합니다.
GrounDiT: 노이즈 패치 이식을 통한 Diffusion Transformer의 공간적 기반화
본 논문에서는 Diffusion Transformer (DiT) 기반 텍스트-이미지 생성 모델에서 정확한 객체 배치를 위한 새로운 공간적 기반화 기술인 GROUNDIT를 제안합니다. GROUNDIT는 DiT의 '의미 공유' 특성을 활용하여 각 바운딩 박스에 해당하는 노이즈 이미지 패치를 생성하고, 이를 원본 이미지에 이식하여 기존 방법보다 정밀한 공간 제어 능력을 달성합니다.
FairQueue: 공정한 텍스트-이미지 생성을 위한 프롬프트 학습 재고 - 생성된 이미지 품질 저하 문제 해결을 위한 새로운 프레임워크 제안
ITI-GEN과 같은 기존 프롬프트 학습 기반 공정 텍스트-이미지 생성 모델은 생성된 이미지의 품질 저하를 초래할 수 있으며, 본 논문에서는 이러한 문제를 해결하기 위해 프롬프트 큐잉 및 어텐션 증폭을 활용한 FairQueue라는 새로운 프레임워크를 제안합니다.
RealignDiff: 거친-세밀 의미 재정렬을 통해 텍스트-이미지 확산 모델 향상
텍스트-이미지 생성에서 텍스트 설명과 생성된 이미지 간의 정렬 불일치 문제를 해결하기 위해 거친-세밀 의미 재정렬 방식을 사용하는 RealignDiff라는 새로운 2단계 접근 방식을 제시합니다.
텍스트-이미지 생성 모델에서의 점진적 구성성 향상: 대조 학습을 위한 새로운 데이터셋 및 커리큘럼 학습 프레임워크 제안
본 논문에서는 텍스트-이미지 생성 모델의 구성성을 향상시키기 위해, 최소한의 시각적 차이를 가진 고품질의 대조 이미지 쌍으로 구성된 새로운 데이터셋인 CONPAIR와, 단일 객체-속성 구성 학습부터 복잡한 다중 객체 장면 처리까지 단계적으로 모델을 학습시키는 새로운 다단계 커리큘럼 학습 프레임워크인 EVOGEN을 제안합니다.
MagicTailor: 텍스트-이미지 변환 모델에서 구성 요소 제어 가능한 개인화 구현
MagicTailor는 텍스트-이미지 변환 모델에서 이미지의 특정 구성 요소를 세밀하게 제어하여 개인화된 이미지를 생성할 수 있는 새로운 프레임워크입니다.
© 2024 by Linnk AI