TrioPose: 포즈 기반 텍스트-이미지 생성을 위한 네이티브 삼중 스트림 Diffusion Transformer
TrioPose: Native Triple-Stream Diffusion Transformers for Pose-Guided Text-to-Image Generation
포즈 기반 텍스트-이미지 생성은 복잡한 다인물 시나리오에서 사지 왜곡과 특징 간 크로스토크(crosstalk)로 인해 문제가 자주 발생한다. 기존 UNet 기반 어댑터는 장거리 공간 의존성을 처리하는 데 어려움을 겪는 반면, 새롭게 등장한 멀티모달 확산 트랜스포머(Multimodal Diffusion Transformers, MM-DiTs)는 뛰어난 전역 모델링을 제공한다. 그러나 MM-DiTs에서 단순한 신호 연결(concatenation)은 사전학습된 잠재 분포를 심각하게 훼손한다. 이를 해결하기 위해 SD3.5M 아키텍처 위에 구축된 네이티브 포즈 기반 프레임워크인 TrioPose를 제안한다. 구체적으로, 포즈를 독립적인 모달리티로 취급하는 삼중 스트림 포즈 인식 DiT(Triple-Stream Pose-Aware DiT, TSPA-DiT)를 도입한다. 이는 층별 활성화와 영 초기화 이중 잔차 주입(dual-residual injection)을 사용하여 사전학습된 잠재 안정성을 유지하면서 기하학적 제약을 부드럽게 강제한다. 심각한 다중 인스턴스 가림(occlusion)을 해결하기 위해, 위상학적 연결성을 세분화된 물리적 상태로 분류하고 이를 연속적인 어텐션 소프트 제약으로 매핑하여 인스턴스 간 간섭을 효과적으로 분리하는 학습 가능 관계형 바이어스 마스크(Learnable Relational Bias Mask)를 설계한다. 또한 포즈 기반 공간 손실 가중치(Pose-Guided Spatial Loss Weighting) 전략은 히트맵에서 유도된 오차 맵을 사용하여 네이티브 확산 목적 함수를 조절하며, 해부학적 감독을 왜곡이 발생하기 쉬운 영역에 엄격히 집중한다. 광범위한 실험을 통해 TrioPose가 Human-Art, CrowdPose, OCHuman을 포함한 도전적인 벤치마크 전반에서 최첨단 성능을 달성함을 보여준다. 특히 Human-Art에서 AP 64.33을 달성하여 이전 연구 대비 30% 향상을 이루었으며, 복잡한 다인물 생성에서 시각적 충실도와 텍스트-이미지 의미 정렬의 새로운 기준을 제시한다.