arXiv:2606.17979v1 cs.AI

STAR: 텍스트-이미지 강화학습 사후학습을 위한 시공간 적응형 보상 할당

STAR: SpatioTemporal Adaptive Reward Allocation for Text-to-Image RL Post-Training

Jinjie Shen, Wei Deng, Xian Hu, Daiguo Zhou, Jian Luan

제출 2026-06-16

한국어 초록

기존 텍스트-이미지 생성을 위한 강화학습(RL) 사후학습 방법들은 보통 최종 이미지 보상을 단일 스칼라 어드밴티지로 변환하여 전체 생성 궤적에 동일한 강도로 적용합니다. 그러나 텍스트-이미지 생성은 본질적으로 시간적 및 공간적 구조를 가지는데, 서로 다른 디노이징 단계는 각기 다른 생성 단계를 담당하며 텍스트 정렬을 실제로 결정하는 콘텐츠는 이미지의 일부에만 나타나는 경우가 많습니다. 이러한 세분도 불일치로 인해 정책 업데이트가 실제로 보상에 영향을 미치는 생성 구성 요소에 집중하기 어렵습니다. 이 문제를 해결하기 위해 우리는 텍스트-이미지 디퓨전 및 플로우 모델의 강화학습 사후학습을 위해 \textbf{시공간 적응형 보상(STAR) 할당}을 제안합니다. STAR는 생성 모델 내부의 텍스트-이미지 어텐션(attention)을 활용하여 프롬프트에서 사용자가 실제로 중요하게 여기는 핵심 콘텐츠를 파악합니다. 이를 통해 디노이징 단계와 롤아웃(rollouts)에 따라 동적으로 변화하는 공간 할당 맵을 구성하고, 추가적인 계산 오버헤드 거의 없이 더 관련성 높은 잠재 영역에 동일한 그룹 상대적 어드밴티지를 할당합니다. 이후 STAR는 공간 분해 정책 목적 함수를 통해 해당 영역에 더 강력한 정책 업데이트를 적용합니다. 우리는 Stable Diffusion 3.5 Medium을 기본 모델로 사용하여 GenEval, OCR 텍스트 렌더링, PickScore 세 가지 작업에서 평가를 수행했습니다. 실험 결과, STAR는 외부 보상 소스를 변경하지 않고도 구성적 의미 정렬, 텍스트 렌더링, 선호도 최적화를 개선하여 GenEval, OCR, PickScore에서 각각 $\mathbf{0.9759}$, $\mathbf{0.9757}$, $\mathbf{23.60}$을 달성했습니다.

원문 초록

Existing RL post-training methods for text-to-image generation usually convert the final-image reward into a single scalar advantage and apply it with the same strength to the entire generative trajectory. However, text-to-image generation naturally has temporal and spatial structure: different denoising steps are responsible for different generation stages, and the content that truly determines text alignment often appears only in part of the image. This granularity mismatch makes it difficult for policy updates to focus on the generative components that actually affect the reward. To address this issue, we propose \textbf{SpatioTemporal Adaptive Reward (STAR) Allocation} for RL post-training of text-to-image diffusion and flow models. STAR uses text-image attention inside the generative model and starts from the core content that the user truly cares about in the prompt. It constructs spatial allocation maps that dynamically vary across denoising steps and rollouts, and allocates the same group-relative advantage to more relevant latent regions with almost no additional computational overhead. STAR then applies stronger policy updates to these regions through a spatially resolved policy objective. We use Stable Diffusion 3.5 Medium as the base model and evaluate on three tasks: GenEval, OCR text rendering, and PickScore. Experimental results show that STAR improves compositional semantic alignment, text rendering, and preference optimization without changing the external reward source, achieving $\mathbf{0.9759}$, $\mathbf{0.9757}$, and $\mathbf{23.60}$ on GenEval, OCR, and PickScore, respectively.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17979v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, Denoising, Text-to-Image Generation

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.00483v1cs.CV공통 태그 Image Generation, Denoising, Text-to-Image Generation

PixelDense: 픽셀 디퓨전을 위한 표현 정렬로서의 밀집 예측

PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion

표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.

arXiv:2610.01681v1cs.CV공통 태그 Image Generation, Denoising, Text-to-Image Generation

텍스트-이미지 생성이 편집에 도움이 되는 순간: 디노이징 과정에서의 조건화 효과

When Text-to-Image Helps Editing: The Effects of Conditioning During Denoising

통합 모델(unified model)은 지시 기반(instruction-based) 이미지 편집과 텍스트-이미지(T2I) 생성을 모두 수행하도록 학습되지만, 표준 편집 파이프라인은 디노이징(denoising) 전 과정에 걸쳐 원본 이미지 조건화(conditioning)를 유지합니다. 본 논문에서는 편집이 T2I로부터 이점을 얻을 수 있는지 질문을 던지고, 조건화의 효과가 다양한 편집 유형 및 디노이징 단계에 따라 어떻게 달라지는지 연구합니다. 순수 편집(pure editing)에서는 샘플링 궤적을 거치는 동안 일부 편집에 대해 원본 어텐션(attention)이 감소합니다. 이러한 관찰을 바탕으로 모델이 자신의 T2I 역량을 활용할 수 있도록 하는 작업 전환(task switching) 방식을 제안합니다. 세 가지 통합 편집 모델과 네 가지 벤치마크에 걸친 실험 결과, 제한된 구간 동안 T2I 작업으로 전환하는 것이 편집 품질을 향상시키는 동시에 세 모델 모두에서 평균 지각적 보존(perceptual preservation) 수준이 순수 편집과 유사하게 유지됨을 확인했습니다. 따라서 통합 편집 모델은 학습된 두 가지 조건화 모드를 모두 활용함으로써 이점을 얻으며, 전환 시점을 통해 품질과 보존 사이의 균형을 조절할 수 있습니다.

arXiv:2610.01969v1cs.CV공통 태그 Image Generation, Denoising, Text-to-Image Generation

RASteer: 확산 모델의 개념 소거를 위한 보존 인식 활성화 스티어링

RASteer: Retain-Aware Activation Steering for Concept Erasure in Diffusion Models

개념 소거(concept erasure)는 사전학습(pre-training)된 텍스트-투-이미지 확산 모델(diffusion model)에서 다른 콘텐츠를 생성하는 능력은 보존하면서 저작권이 있는 화풍, 특정 인물/캐릭터, 안전하지 않은 콘텐츠와 같은 대상 개념을 제거하는 것을 목표로 합니다. 기존 활성화 스티어링(activation steering) 방식은 주로 대상 개념으로부터 소거 방향을 구축하고, 추론(inference) 시점에 이를 따라 모델(model) 활성화를 조정합니다. 그러나 대상 개념과 보존해야 할 개념은 종종 모델의 표현 공간에서 겹치기 때문에, 이 방향에는 보존 개념이 의존하는 공유 성분도 포함됩니다. 따라서 이 방향을 따라 직접 스티어링하면 보존 개념이 억제되어 비대상 콘텐츠의 생성이 저해될 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 학습(training)이 필요 없는 방식인 보존 인식 활성화 스티어링(RASteer)을 제안합니다. RASteer는 먼저 보존할 개념들로부터 보존 부분공간을 구축합니다. 그런 다음 보존 직교 스티어링(ROS)을 통해 소거 방향에서 이 부분공간과 정렬된 성분을 제거함으로써 스티어링이 대상 개념에 더 특화되도록 만듭니다. 공유 성분을 완전히 제거하면 소거 효과가 약화될 수 있으므로, 추가로 중첩 적응형 캘리브레이션(OAC)을 도입합니다. OAC는 각 층(layer)과 노이즈 제거 단계마다 소거 방향과 보존 부분공간 사이의 중첩도를 활용하여 각 공유 성분이 제거되는 정도를 제어함으로써, 대상 소거와 개념 보존 간의 균형을 맞춥니다. 여러 백본과 벤치마크(benchmark)에 걸쳐 안전하지 않은 콘텐츠, 인스턴스, 예술적 화풍 소거에 대해 수행한 실험 결과에 따르면, RASteer는 평가된 활성화 스티어링 및 가중치(weight) 편집 베이스라인과 대등하거나 이를 능가하는 성능을 보이며 소거와 보존 사이에서 더 우수한 균형을 달성합니다.

arXiv:2610.02210v1cs.CV공통 태그 Image Generation, Denoising, Text-to-Image Generation

무어, 에셔, 펜로즈: 등각 골든 브레이드

Moore, Escher, Penrose: A Conformal Golden Braid

"내 평생 이렇게 기이한 작업을 해본 적이 없는 것 같다. 무엇보다도, 이 작품은 자기 자신이 등장하는 전시회 벽면의 판화를 흥미롭게 바라보는 한 젊은 남성을 보여준다. 어떻게 이런 일이 가능할까? 어쩌면 나는 아인슈타인의 휜 우주에서 그리 멀지 않은 곳에 있는지도 모른다." M.C. 에셔(M.C. Escher)는 자신의 1956년 석판화 '판화 회랑(Print Gallery)'에 대해 이렇게 썼다. 거의 반세기 후, 한 수학적 분석은 등각 거듭제곱 사상(conformal power map) $z \mapsto z^α$, $α\in \mathbb{C}$를 통해 이 기하학을 왜곡되지 않은 원본 이미지와 연결했다. 이러한 구조를 기반으로, 본 연구는 가중치가 동결된 텍스트-투-이미지 확산 모델(diffusion model)을 활용하여 새로운 자기참조적 장면을 생성한다. 프롬프트(prompt)만으로는 이러한 재귀성을 강제할 수 없으며, 사후 변환은 구조 간 연결을 부자연스럽게 남길 수 있다. 샘플링 중에 변환을 적용하는 것 또한 불충분한데, 디노이저(denoiser)가 의도된 왜곡을 "복구"해 버리거나 규정된 기하학에서 벗어날 수 있기 때문이다. 이에 본 연구는 재귀적 제약 조건에 적합하도록 비가역 이미지 변환 $T$의 일반화 역원(generalized inverse) $T^\dagger$를 구성한다. 이상적인 정식화에서 펜로즈 항등식(Penrose identity) $TT^\dagger T = T$는 $TT^\dagger$를 기하학적으로 허용 가능한 이미지로 사영하는 멱등 사영(idempotent projection)으로 만든다. 그러나 변환된 이미지만을 디노이징하는 것은 사영을 거치더라도 여전히 분포 외(out-of-distribution) 작업으로 남는다. 따라서 본 연구는 디노이징 단계를 $T$ 및 $T^\dagger$와 엮어내는 방식을 취한다. 원본 공간의 단계는 왜곡되지 않은 장면을 발전시키고, 변환된 공간의 단계는 최종 기하학에서의 외형과 연결성을 정교화한다. 이를 통해 '판화 회랑' 형태의 구성을 생성하고 추가적인 변환들을 탐색한다. 완성된 이미지를 왜곡하는 대신, 장면과 그 왜곡이 함께 생성되도록 유도한다.

arXiv:2610.15856v1cs.LG공통 태그 Image Generation, Text-to-Image Generation

GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정

GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models

DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.