PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03084v1cs.CV

NegT2IBench: 부정이 그림을 바꿀 때. 텍스트-이미지 모델을 위한 극성 벤치마크

NegT2IBench: When Negation Changes the Picture. A Polarity Benchmark for Text-to-Image Models

텍스트-이미지(T2I) 모델은 주로 요청된 콘텐츠의 생성 여부를 측정하는 벤치마크로 평가되지만, 이러한 벤치마크는 "빨간색이 아닌 컵"을 생성하는 것과 같이 부정 제약 조건을 충족하는 상보적 능력을 대체로 간과합니다. 부정 측정은 긍정 기반 벤치마크에서는 직면하지 않는 과제를 제기하며 신중한 프롬프트(prompt) 및 평가(evaluation) 설계를 필요로 합니다. 본 연구에서는 두 가지 속성 유형과 네 가지 관계 범주를 다루는 4,800개의 프롬프트로 구성된 벤치마크인 NegT2IBench를 소개합니다. 프롬프트는 극성(polarity)에 따라 구성되며, 충족되어야 하는 긍정 진술과 충족되어서는 안 되는 부정 진술의 개수가 각각 0개에서 2개까지 주어집니다. 두 요소를 독립적으로 변화시킴으로써 부정의 효과와 프롬프트 복잡성의 효과를 분리합니다. 본 연구의 검출기 기반 채점은 재현 가능하고 감사 가능하며 어떤 요구 사항이 실패했는지 정확히 짚어냅니다. 3명의 작업자 라벨이 부여된 600개의 이미지에서, 최대 30배 더 큰 비전-언어(vision-language) 평가자만큼이나 인간과 가깝게 일치하면서도 GPU 메모리는 일부만 사용합니다. 11개의 T2I 모델과 211,200개의 이미지 전반에서 9개 모델이 단일 긍정 진술보다 단일 부정 진술에서 더 낮은 점수를 기록했습니다. 진술별 채점 분석 결과 색상에서 성능 손실(loss)이 가장 컸고 근접성에서는 거의 0에 가까웠으며, 실패한 진술의 41.5%는 프롬프트가 금지한 대상을 정확히 렌더링한 것으로 나타났습니다. 프롬프트가 요구하는 것을 렌더링하는 것과 금지하는 것을 배제하는 것은 종합적인 구성 점수로는 구별할 수 없는 별개의 능력입니다. NegT2IBench는 후자를 직접 측정하여 부정 실패를 진단하고 이를 극복하는 방법을 개발하기 위한 통제된 테스트베드를 제공합니다.

arXiv:2610.03068v1cs.CV

문제가 보이는 곳이 해결하는 곳은 아니다: 확산 모델 구성에서의 디노이징 이전 진단과 모달리티 의존적 제어

Where to Look Is Not How to Fix: Pre-Denoising Diagnostics and Modality-Dependent Control in Diffusion Composition

텍스트-이미지 확산(diffusion) 모델에서 구성적 실패(compositional failure)를 이해하려면 스트레스가 감지되는 위치와 개입(intervention)이 출력을 어떻게 변화시키는지 모두 파악해야 합니다. 본 연구에서는 텍스트 인코더 진단과 디노이저 개입을 함께 평가하는 통제된 앵커-스트레스 프로토콜을 통해 이러한 질문들을 탐구합니다. 저자들은 SD1.5, SDXL 및 SD3 텍스트 경로 전반에서 흔한 구성과 희귀한 구성을 구분하고 업스트림 진단 좌표를 제공하는 텍스트 전용 구성 스트레스 지수(CSI, Compositional Stress Index)를 도입합니다. 매칭된 6개 프롬프트(prompt) 국소화 연구는 개입 위치를 서로 다른 결과와 연결합니다. 즉, 잔차 최소화 임베딩(embedding) 어댑터는 표현 적합도를 향상시키는 반면, 다운스트림 크로스 어텐션(cross-attention) 개입은 색상 적중률(CHR)을 0.0272 증가시킵니다. SD1.5와 SDXL 디노이저 블록 전반에서 가장 큰 양의 진단 접근성 평균은 딥 인코더에서 나타나는 반면, 선택적 부스트는 디코더 블록에서 가장 큰 양의 평균 CHR 반응을 보입니다. 선택적 차감 및 광범위한 어블레이션은 추가적인 모달리티 및 아키텍처 의존적 반응을 드러내며, 여기에는 SDXL 디코더 크로스 어텐션이 광범위하게 제거될 때 상당한 CHR 감소가 포함됩니다. 본 연구는 통제된 속성-객체 구성 설정에서 진단과 제어의 해리(dissociation)를 발견했습니다. 구성적 결함은 디노이징 이전에 진단할 수 있지만, 위험을 드러내는 표현 좌표가 생성을 개선하는 좌표나 모달리티와 반드시 일치하는 것은 아닙니다.

arXiv:2607.21606v1cs.AI

TILT: 모델 내재 보상으로 확산 모델의 구성적 생성 개선

TILT: Improving Compositional Generation in Diffusion Models with a Model-Intrinsic Reward

강력한 텍스트-이미지 생성 모델의 최근 발전으로, 복잡한 구성적 프롬프트에 더 충실한 이미지를 생성하기 위해 샘플링 궤적을 수정하는 테스트 타임(test-time) 방법을 개발하는 것이 점점 더 중요해졌다. 우리는 테스트 타임 보상 정렬(reward alignment)을 통해 구성적 텍스트-이미지 생성을 수행하는 학습 없는(training-free) 프레임워크인 TILT를 제안한다. 우리는 구성적 실패를 결합 분포와 단일 개념 분포 간의 겹치는 모드로 해석하고, 모든 개념이 공동으로 존재하는 샘플을 선호하는 보상을 정의한다. 이 보상은 기본 모델에 내재되어 있으며 외부 감독이나 보상 모델을 필요로 하지 않는다. 이는 확산 샘플링을 위한 원칙적인 가이딩 단계와 닫힌 형태(closed-form)의 기울어진(tilted) 목표 분포를 갖는 KL 제약 목적함수를 산출한다. 개념 분포의 상호작용과 위 보상은 자연스럽게 두 가지 서로 다른 가이딩 전략으로 이어지며, 각각의 이점을 균형 있게 조절하는 하이브리드 접근법이 더 강한 성능을 낸다. T2ICompBench 프롬프트에 대한 실험에서, 우리 방법은 이전 베이스라인과 비교하여 이미지 품질을 유지하면서 구성적 정렬(alignment)을 개선함을 보여준다.

arXiv:2607.11758v1cs.LG

이산 확산 모델에서 전역 구성에서 인수별 전문가 구성으로

From Global to Factor-Wise Expert Composition in Discrete Diffusion Models

이산 확산 모델(discrete diffusion model)은 복잡한 추론 태스크를 해결하기 위한 강력한 프레임워크를 제공하며, 특히 여러 사전학습된 전문가(expert)를 결합하여 개별 학습 데이터를 넘어 일반화하는 조합적 생성(compositional generation)을 통해 그 역량을 발휘한다. 최근의 이론적 수정 연구들은 구성된 확산 다이나믹스를 의도한 목표 분포에 더 잘 정렬시키기 위해 시간 의존적 혼합 가중치(time-dependent mixing weights)를 도입하였다. 그러나 이러한 방법들은 각 생성 상태를 단일체로 취급하여 샘플 단위로 동작함으로써, 서로 다른 전문가들이 가질 수 있는 공간적 또는 기능적 특수성을 무시한다는 근본적인 한계가 있다. 본 연구에서는 이 한계를 해결하기 위해 확산 모델을 위한 인수별(factor-wise) 구성 프레임워크인 FactorDiff를 제안한다. 우리는 샘플을 더 작은 인수(factor)들로 분해할 수 있다고 가정하고, 각 인수를 가장 관련성 높은 전문가에게 동적으로 라우팅하는 샘플링 프로세스를 제안한다. 이 프레임워크를 공간/픽셀 수준의 구성으로 구체화하고 ARC-AGI 벤치마크에서 검증한 결과, 단순한 인수별 라우팅이 논리적 일관성과 공간적 분리(spatial disentanglement)를 요구하는 태스크에서 복잡한 전역 스칼라 가중치 방식을 일관되게 능가함을 보였다.

arXiv:2601.21081v2cs.CV

Shape of Thought: 시각적 사고의 연쇄(Chain-of-Thought)를 통한 점진적 객체 조립

Shape of Thought: Progressive Object Assembly via Visual Chain-of-Thought

텍스트-이미지 생성을 위한 멀티모달 모델은 강력한 시각적 충실도를 달성했지만, 구성적 구조적 제약, 특히 생성적 수량성(generative numeracy), 속성 바인딩(attribute binding), 부품 수준 관계(part-level relations)에서 여전히 취약합니다. 이러한 문제를 해결하기 위해 우리는 추론 시간에 외부 엔진 없이 렌더링된 2D 도메인에서 과정 감독(process-supervised) 점진적 형상 조립을 위한 시각적 사고의 연쇄(Chain-of-Thought) 프레임워크인 Shape-of-Thought(SoT)를 제안합니다. SoT는 인터리빙된 텍스트 계획과 렌더링된 중간 상태를 생성하도록 통합 멀티모달 자기회귀 모델을 학습시켜, 명시적인 기하학적 표현을 생성하지 않고도 모델이 형상 조립 논리를 파악하는 데 도움을 줍니다. 텍스트 전용 CoT와 달리, 각 결정은 렌더링된 상태에 그라운딩(grounding)되어 있어, 개수, 부착, 위상(topology), 중간 부품 추가 오류를 궤적(trajectory) 전체에서 검사 가능하게 만듭니다. 이 패러다임을 지원하기 위해 우리는 부품 기반 CAD 계층 구조에서 파생된 그라운딩된 조립 트레이스(assembly traces)의 대규모 데이터셋인 SoT-26K와 구조적 무결성 및 트레이스 충실도를 평가하기 위한 벤치마크인 T2S-CompBench를 소개합니다. SoT-26K에서의 미세조정(fine-tuning)은 구성요소 수량성에서 88.4%, 구조적 위상에서 84.8%를 달성하여, 구성요소 수량성에서는 +24.2점, 구조적 위상에서는 +19.3점으로 직접 생성을 능가합니다. SoT는 렌더링 도메인 구조 인식형 생성을 위한 투명한 테스트베드를 확립합니다. 코드는 https://github.com/yuhuo03/Shape-of-Thought에서 확인할 수 있습니다.

arXiv:2507.17853v2cs.CV

Detail++: 텍스트-투-이미지 디퓨전 모델을 위한 학습 없는 디테일 강화 모델

Detail++: Training-Free Detail Enhancer for Text-to-Image Diffusion Models

최근 텍스트-투-이미지(T2I) 생성 기술의 발전은 인상적인 시각적 결과를 이끌어냈습니다. 그러나 이러한 모델들은 복잡한 프롬프트(prompt), 특히 뚜렷한 속성을 가진 여러 주체가 포함된 경우를 처리할 때 여전히 중요한 과제에 직면해 있습니다. 인간의 그리기 과정, 즉 구도를 먼저 윤곽으로 잡고 점진적으로 세부 사항을 추가하는 과정에서 영감을 받아, 우리는 이러한 한계를 해결하기 위해 새로운 점진적 디테일 주입(Progressive Detail Injection, PDI) 전략을 도입하는 학습 없는 프레임워크인 Detail++를 제안합니다. 구체적으로, 우리는 복잡한 프롬프트를 단순화된 하위 프롬프트(sub-prompt)의 시퀀스로 분해하여 단계별로 생성 과정을 안내합니다. 이러한 단계적 생성은 셀프 어텐션(self-attention)의 고유한 레이아웃 제어 능력을 활용하여 먼저 전체적인 구도를 보장한 후 정밀한 세부 사항을 수정합니다. 속성과 해당 주체 간의 정확한 바인딩(binding)을 달성하기 위해, 우리는 크로스 어텐션(cross-attention) 메커니즘을 활용하고 테스트 시점에 중심 정렬 손실(Centroid Alignment Loss)을 추가로 도입하여 바인딩 노이즈를 줄이고 속성 일관성을 향상시킵니다. T2I-CompBench와 새로 구축된 스타일 구성 벤치마크(benchmark)에 대한 광범위한 실험을 통해 Detail++가 기존 방법보다 유의미하게 우수하다는 것을 보여주며, 특히 여러 객체와 복잡한 스타일 조건이 포함된 시나리오에서 그 성능이 두드러집니다.