PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22916v1cs.CV

조화로운 계획과 렌더링: 시각적 텍스트 생성을 위한 자기회귀 레이아웃과 확산 모델의 딥퓨전

Planning and Rendering in Concert: DeepFusion of Autoregressive Layouts and Diffusion for Visual Text Generation

프롬프트(prompt)로부터 텍스트가 풍부한 이미지를 생성하려면 텍스트의 정확도(fidelity)와 주변 이미지와의 일관된 통합이 모두 필요합니다. 명시적 레이아웃(layout)은 어떤 텍스트가 어디에 나타나야 하는지에 대한 구조화된 지침을 제공할 수 있지만, 잘 짜인 계획만으로는 렌더러(renderer)가 이를 충실하게 구현할 것이라고 보장하지 못합니다. 기존의 레이아웃 기반 자기회귀(AR)-확산(diffusion) 시스템은 일반적으로 계획과 렌더링을 별도로 최적화(optimization)하므로, 플래너(planner)의 표현(representation)이 이미지 합성과 공동으로 적응되지 못합니다. 본 논문에서는 자기회귀적 계획과 연속적인 확산 렌더링을 공동으로 학습하는 딥퓨전(DeepFusion) 기반의 자율 시각적 텍스트 생성기인 DuetGen을 소개합니다. DeepFusion은 플래너의 프롬프트 및 경계 상자(bbox)-콘텐츠 은닉 상태(hidden states)를 확산 트랜스포머(diffusion transformer)의 조건으로 활용하여, 렌더링 감독(supervision)이 텍스트 계획과 시각적 출력을 연결하는 표현을 형성하도록 합니다. 또한 구조화된 계획 수립을 유지하고, 텍스트가 포함된 영역을 강조하며, 플래너 표현의 공간적 정밀도(precision)를 개선하기 위해 자기회귀 계획 감독, 텍스트 영역 가중 확산 학습, 보조 좌표 감독을 결합한 공동 목적 함수를 사용합니다. 추론(inference) 단계에서는 위상 인식 어텐션 변조(Phase-Aware Attention Modulation)를 통해 이미지 영역과 이에 매칭된 좌표 및 콘텐츠 상태 간의 대응 관계를 강화하여 생성된 계획의 영역별 실행을 촉진합니다. 2B 플래너와 4B 단일 스트림 DiT를 갖춘 DuetGen은 CVTG-2K에서 0.8293의 단어 정확도, LongText-Bench에서 0.938의 정확도를 달성하여 두 벤치마크(benchmark) 모두에서 훨씬 더 큰 Qwen-Image와 거의 대등한 성능을 보입니다. 이러한 결과는 자율 시각적 텍스트 생성을 위해 공동으로 학습된 계획 표현과 영역별 렌더링의 가치를 입증합니다.