arXiv:2610.00952v1 cs.CV

재캡션된 이미지-텍스트 감독 분포를 위한 매칭 예산 감사 프레임워크

A Matched-Budget Audit Framework for Recaptioned Image-Text Supervision Distributions

Giyeong Oh, Junghun Park, Yuhan Bae, Youngjae Yu

제출 2026-10-01

저자 비고

arXiv Comments

initial commit

한국어 초록

재캡션된 이미지-텍스트 코퍼스는 이제 텍스트-투-이미지(T2I) 학습의 표준이 되었으며, 비전-언어 모델(VLM) 캡셔너가 희소한 대체 텍스트(alt-text)를 밀도 높은 설명으로 대체하고 있다. 재캡션된 코퍼스는 문서화된 캡셔닝 정책($π$), 캡셔너($V_c$), 소스 코퍼스($C$)에 의해 유도된 감독 분포(supervision distribution)이다. 길이 상관 프록시(proxy)는 캡션 문체(register) 관련 아티팩트를 포착하지 못하고, 하류(downstream) T2I 벤치마크는 코퍼스를 학습 선택지와 뒤섞어버리기(entangle) 때문에, 이 분포는 코퍼스 규모에서 감사하기가 어렵다. 본 논문은 재캡션된 감독 분포 $D_{π,V_c,C}$에 대해 재사용 가능한 매칭 예산 감사 프레임워크를 제안한다. 이 프레임워크는 $B = 64$로 고정된 텍스트 예산에서 프롬프트 측 커버리지, 이미지 조건부 충실도, 캡션 표면 건강성(surface health)에 걸친 5축 프로파일을 보고하며, 주장된 통제 가능 기본 단위(controllable basic unit, CBU)를 공통 주장 단위로 사용한다. 우리는 5개의 공개 소스 코퍼스에 대한 7개의 짝지어진 비교를 통해 이 프레임워크를 구체화한다. 4개의 교차 코퍼스 쌍 전반에서, 공개된 표면(surface)은 Qwen과 Gemma 판정자(Judge) 모두에서 캡션당 지지되는 CBU를 $+3.39$에서 $+6.36$까지 끌어올리며, CC12M에서는 동일한 프레임워크가 두 판정자와 네 가지 예산 전반에서 일관되게 나타나는 긴/밀집(long-vs-dense) 프런티어를 드러낸다. 우리는 감사된 다중 소스 재캡션 코퍼스(약 4억 9천만 개)를 감사 아티팩트 번들과 함께 공개한다.

원문 초록

Recaptioned image-text corpora are now standard for text-to-image (T2I) training, with vision--language model (VLM) captioners replacing sparse alt-text by dense descriptions. A recaptioned corpus is a supervision distribution induced by a documented captioning policy ($π$), captioner ($V_c$), and source corpus ($C$). Length-correlated proxies miss caption-register artifacts and downstream T2I benchmarks entangle the corpus with training choices, so this distribution is hard to audit at corpus scale. We introduce a reusable matched-budget audit framework for recaptioned supervision distributions $D_{π,V_c,C}$: at a fixed text budget of $B = 64$ it reports a five-axis profile spanning prompt-side coverage, image-conditioned faithfulness, and caption-surface health, with claimed controllable basic units (CBU) as the common claim unit. We instantiate the framework on seven paired comparisons over five public source corpora. Across the four cross-corpus pairs, the released surface raises supported CBU per caption by $+3.39$ to $+6.36$ under both Qwen and Gemma Judges, and on CC12M the same framework exposes a long-vs-dense frontier that is consistent across both judges and four budgets. We release the audited multi-source recap corpus ($\approx$ 490M) together with the audit-artifact bundle.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00952v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03617v1cs.CV공통 태그 Text-to-Image Generation, image-text alignment

DEPICT: 답변 일치도를 통한 텍스트-이미지 정렬 점수화

DEPICT: Scoring Text-to-Image Alignment by Answer Agreement

이미지-텍스트 정렬(image-text alignment)은 캡션 평가, 환각(hallucination) 감지, 데이터 큐레이션, 텍스트-이미지(T2I) 생성 모델 벤치마킹 등에 응용되는 컴퓨터 비전의 핵심 문제입니다. T2I 모델이 발전함에 따라 벤치마킹 요구 수준도 높아져, 누락된 객체, 뒤바뀐 속성, 잘못된 개수 세기, 무시된 부정 표현과 같은 일련의 문제들을 발견할 수 있는 평가 지표가 필요해졌습니다. 최근 연구들은 선호도 데이터로 평가 모델을 미세조정(fine-tuning)하거나 비전-언어 모델(VLM)에 캡션을 통째로 프롬프트로 주거나 분해된 검증 질문을 제공하는 방식으로 이를 해결하고자 합니다. 그러나 기존 접근 방식에는 한계가 있습니다. 미세조정된 지표는 단일 백본 및 학습 분포에 종속되며, 전체론적(holistic) 지표는 세밀한 세부 정보를 놓치고, 분해 기반 지표는 가정이 깨질 때마다 충실한 이미지에 불이익을 주는 '고정된 YES' 가정에 의존합니다. 이에 반해, 본 논문에서는 고정된 참조 답변 대신 이미지 기반 답변과 캡션 전용 답변 간의 기대 일치도를 사용하고, 캡션이 질문을 얼마나 결정적으로 판별하는지에 따라 가중치를 부여하는 학습 불필요(training-free) 지표인 DEPICT를 제안합니다. 고정된 참조 답변을 대체함으로써, 이러한 일치 규칙은 부정 표현 정확도를 19%에서 88%로 향상시킵니다. 또한 분해 과정에서 손실된 문맥을 복원하기 위해, DEPICT는 이 일치 점수를 전체론적 점수와 병합합니다. 3개 모델 계열의 11개 백본과 5개 벤치마크에서 DEPICT를 평가한 결과, 모든 학습 불필요 지표를 능가했으며 인간 상관관계 벤치마크 3개 중 2개에서 미세조정된 평가 모델보다 우수한 성능을 보였습니다.

arXiv:2606.27376v1cs.CV공통 태그 Image Captioning, Text-to-Image Generation

묻고, 풀고, 생성하기: 자기 일관성 보상을 통한 자기 진화형 통합 멀티모달 이해 및 생성

Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards

시각 이해와 이미지 생성을 모두 지원하는 대부분의 통합 대규모 멀티모달 모델(LMM)은 여전히 인간 주석, 선호 라벨, 또는 외부 보상 모델과 같은 큐레이션된 사후 학습 감독에 의존한다. 우리는 통합 LMM이 라벨이 없는 이미지만으로 두 능력을 모두 자율적으로 향상시킬 수 있는지 묻는다. 우리는 세 가지 내부 역할을 갖는 자기 진화형 학습 프레임워크를 제안한다: 시각적 질문을 생성하는 Proposer, 이를 답하고 평가하는 Solver, 이미지를 합성하는 Generator. 학습은 인간 주석, 선호 라벨, 또는 태스크로 학습된 외부 보상/판단 모델 없이, 오직 자기 도출된 일관성 신호만을 사용한다. 학습을 안정화하기 위해, 우리는 Solver Token Entropy(STE)를 도입한다. 이는 샘플 수준의 일관성이 신뢰할 수 없게 되더라도 여전히 유용한, 토큰 수준 예측 불확실성에 기반한 연속적 난이도 신호이다. 이미지 생성을 위해, 우리는 질문-답변 충실도 점수와 순환 일관(cycle-consistent) 캡셔닝을 결합한 다중 스케일 내부 평가 방식을 설계한다. 이는 Solver가 매개하는 결합을 만든다. 여기서 더 나은 시각 이해가 더 신뢰할 수 있는 생성 평가와 더 강한 내부 학습 신호를 가능하게 한다. 이 프레임워크는 diffusion 기반 BLIP3o, rectified-flow BAGEL, autoregressive VARGPT-v1.1 아키텍처에 걸쳐 동일한 역할 분해, 보상 논리, 학습 일정을 유지하며, 각 백본의 고유 프롬프팅 및 생성 인터페이스만 필요로 한다. 8개의 이해 메트릭에서 우리 방법은 해당 베이스 모델들보다 일관되게 향상된다. BAGEL에서 MMMU에서 +3.5% 절대 향상을 달성하고 GenEval 이미지 생성 성능을 82%에서 85%로 개선한다. 코드와 모델은 공개적으로 배포된다.

arXiv:2607.00578v4cs.CV공통 태그 Image Captioning

캡션 병목 모델

Caption Bottleneck Models

개념 병목 모델(CBM)은 예측을 인간이 이해할 수 있는 개념 층을 통해 라우팅함으로써 해석 가능성을 제공합니다. 그러나 특정 데이터셋에 대한 최적 개념 집합을 정의하는 것은 여전히 미해결 과제입니다. 기존 접근법은 값비싼 전문가 주석이나 클래스 이름만을 기반으로 LLM이 생성한 목록에 의존합니다. 심지어 "개방형 어휘" 변형조차도 일반적으로 정적 개념 집합에 의존하며, 이는 발견을 제한하고 레이블 바이어스를 초래합니다. 또한 기존 CBM은 모델링되지 않은 시각적 특징이 병목을 우회하여 설명의 무결성을 훼손하는 정보 누수 문제를 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 캡션 병목 모델(CaBM)을 제안합니다. CaBM은 엄격한 개념 층을 자유형 자연어로 대체하여 사전 정의된 개념 집합의 필요성을 우회하는 프레임워크입니다. LMM이 생성한 캡션으로 이미지를 표현하고 이 텍스트만으로 분류기를 학습함으로써, CaBM은 설계상 누수 없는 아키텍처를 보장합니다. 더불어 학습 후 텍스트 분류기를 분석함으로써 CaBM은 고품질의 데이터셋 특화 개념을 자율적으로 발견합니다. 세밀 및 조대 벤치마크에 걸친 결과는 CaBM이 외부 사전이나 수동 레이블링의 제약 없이 해석 가능성을 유지하면서 경쟁력 있는 정확도를 달성함을 보여줍니다.

arXiv:2607.11886v2cs.CV공통 태그 Text-to-Image Generation

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.