arXiv:2610.00994v1 cs.CV

VIEScore2: 공간적 근거 기반 설명을 갖춘 통합 이미지 평가

VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations

Xianda Du, Max Ku, Weiming Ren, Zhi Rui Tam, Chunlin Ren, Ping Nie, Min-Hung Chen, Wenhu Chen

제출 2026-10-01

저자 비고

arXiv Comments

Preprint. Project page: https://tiger-ai-lab.github.io/VIEScore2/

한국어 초록

기존 합성 이미지 평가기는 일반적으로 스칼라 품질 점수만 제공하며 이를 뒷받침하는 이미지 영역을 식별하지 못합니다. 본 논문에서는 조건부 이미지를 선택적으로 활용하여 이미지 생성 및 편집 작업을 평가할 수 있는 통합 평가기인 VIEScore2를 소개합니다. VIEScore2는 이미지를 N x N 그리드로 표현하며, 단일 모델 패스에서 품질 점수와 결함 위치를 동시에 예측합니다. 텍스트 네이티브 그리드 표현 방식은 이종의 공간 지도 학습에 공통 인터페이스를 제공하고 직접 검증 가능한 사후 학습 목표를 가능하게 합니다. 저자들은 생성 및 편집 작업 전반에 걸쳐 점수 전용, 국소화 전용, 공동 지도 학습을 아우르는 38,000개의 예제로 학습을 진행했습니다. 지도 미세조정(supervised fine-tuning)에서 시작하여, 셀 수준 Dice 중첩, 점수 정확도, 출력 형식 유효성을 결합한 보상을 활용해 결함 국소화를 개선하는 GRPO를 추가로 적용했습니다. 매개변수가 없는 파서는 이러한 구조화된 예측을 읽기 쉬운 설명으로 변환합니다. 기본 벤치마크 제품군에서 VIEScore2는 동일 조건 입력 기준 가장 강력한 제로샷(zero-shot) 범용 VLM 기준선인 Gemini-3-Flash의 0.491 대비 0.601의 종합 점수 SRCC를 달성했습니다. 결함 국소화의 경우, VIEScore2는 이미지별 그리드 IoU 기준 6개 벤치마크 중 3개에서 범용 VLM과 특화 공간 평가기를 모두 능가했으며, 학습 데이터 소스를 벗어난 데이터셋을 포함하여 5개 벤치마크에서 상위 3위 이내를 기록했습니다.

원문 초록

Existing synthetic image evaluators typically provide only a scalar quality score and do not identify the image regions that support it. We introduce VIEScore2, a unified evaluator for image generation and editing tasks with optional conditioning images. VIEScore2 represents an image as an N x N grid and jointly predicts quality scores and defect locations in a single model pass. Its text-native grid representation provides a common interface for heterogeneous spatial supervision and enables directly verifiable post-training objectives. We train on 38K examples spanning score-only, localization-only, and joint supervision across generation and editing tasks. Starting from supervised fine-tuning, we further apply GRPO to improve defect localization using rewards that combine cell-level Dice overlap, score accuracy, and output-format validity. A parameter-free parser converts the structured predictions into readable explanations. On the primary suite, VIEScore2 achieves an overall-score SRCC of 0.601, compared with 0.491 for Gemini-3-Flash, the strongest zero-shot general-purpose VLM baseline under matched inputs. For defect localization, VIEScore2 outperforms both general-purpose VLMs and specialized spatial evaluators on three of six benchmarks in per-image grid IoU and ranks among the top three on five, including datasets beyond its training sources.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00994v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13558v1cs.CV공통 태그 Image Generation, Image-to-Image Translation

우리가 감정 편집에 대해 이야기할 때 말하는 것

What We Talk About When We Talk About Emotion Editing

감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.

arXiv:2610.02959v1cs.CV공통 태그 Image Generation, Benchmarking

TerraVis: MLLM 워크플로우를 통한 텍스트-투-이미지 생성의 실세계 기반 시각적 일관성 평가를 향하여

TerraVis: Towards Evaluation of World-Grounded Visual Consistency in Text-to-Image Generation via MLLM Workflows

최근 텍스트-투-이미지(text-to-image) 모델은 사실성(photorealism), 심미성, 텍스트-이미지 정렬(alignment) 측면에서 상당한 발전을 이루었습니다. 그러나 시각적으로 매력적인 이미지라 하더라도 기형적인 객체 구조, 불가능한 해부학적 형태, 물리적으로 타당하지 않은 상호작용, 일관되지 않은 공간 관계를 보이며 실세계의 개연성(plausibility)을 위반할 수 있습니다. 이러한 오류는 기존의 충실도(fidelity), 심미성, 선호도 또는 정렬 지표로는 잘 포착되지 않습니다. 이러한 격차를 해결하기 위해, 본 연구에서는 생성된 이미지의 실세계 기반(world-grounded) 시각적 일관성을 평가하는 프레임워크인 TerraVis를 소개합니다. TerraVis는 객체, 상호작용 및 장면 수준의 오류를 포괄하는 실세계 일관성 위반에 대한 체계적인 분류 체계(taxonomy)를 정의하며, 이를 식별하고 정량화하기 위해 다단계 평가 프레임워크를 사용합니다. 이미지가 주어지면, TerraVis는 먼저 멀티모달 대규모 언어 모델(MLLM)을 사용하여 평가 적격성을 판단한 다음, 분류 체계에 정의된 18가지 유형에 걸쳐 위반 사항을 탐지하고 이를 경미(minor) 또는 중대(major)로 분류하여 전반적인 실세계 일관성 점수를 도출합니다. 널리 사용되는 두 가지 벤치마크에서 다양한 오픈소스 및 상용 텍스트-투-이미지 모델을 대상으로 평가한 결과, TerraVis는 기존 지표 중 실세계 일관성에 대한 인간의 판단과 가장 강력한 상관관계를 달성했습니다. 또한 벤치마크 결과는 기존 지표에서 우수한 성능을 보이는 모델이라도 상당한 실세계 일관성 오류를 나타낼 수 있음을 보여줍니다. 이러한 결과는 실세계 일관성이 상호보완적인 평가 차원임을 강조하며, TerraVis가 이러한 오류의 체계적인 정량화, 진단 및 비교를 가능하게 함을 입증합니다. 본 연구의 코드는 https://github.com/ShyFoo/TerraVis 에서 공개되어 있습니다.

arXiv:2610.00677v1cs.CV공통 태그 Benchmarking, Image Quality Assessment

증강현실에서의 지각 품질 평가 및 자율 콘텐츠 조정을 위한 비전-언어 모델 활용

Harnessing Vision-Language Models for Perceptual Quality Assessment and Autonomous Content Adjustment in Augmented Reality

증강현실(AR, augmented reality)의 발전은 계속해서 혁신적인 솔루션을 촉진하며, 교육 시스템, 의료 서비스, 위험 완화 프로토콜 내에서 새로운 방법론을 가능하게 하고 있다. 그러나 AR 헤드마운트 디스플레이(head-mounted display)가 제한된 장면 기하 구조, 공간적 지터(jitter), 시간적 불안정성과 씨름하는 탓에, 최종 사용자의 몰입감과 편안함을 최적화하는 것은 여전히 어려운 과제로 남아 있다. 사용자 연구(user study)는 시각적 품질에 대한 표준적인 AR 평가 방법이지만, 그 비용과 확장성 저하, 경직성은 반복적인 애플리케이션 설계 과정에서 병목으로 작용한다. 이 문제를 해결하기 위해, 우리는 비전-언어 모델(VLM, vision-language model)을 기반으로 하여 사용자가 지각하는 AR 장면의 시각적 충실도를 평가하고 예측하는, AR 콘텐츠 평가 및 개선을 위한 자동화된 프레임워크를 제시한다. 먼저, 우리는 다양한 장면과 환경 조건에서 수집된 AR 이미지 및 비디오 벤치마크(benchmark)인 RateAR을 소개하며, 이는 객체 배치, 크기(scale), 그림자 일관성을 포함한 지각적 요인들에서 양호~우수한 신뢰도(ICC(2,5) >= .90)를 보인다. 이어서, 우리는 구축한 벤치마크에서 11개의 상용 VLM을 평가한다. 결과는 VLM 기반 품질 예측이 인간의 주관적 판단과 강한 상관관계를 가지며, 최대 0.8695의 스피어만 순위 상관계수(Spearman's rank-order correlation)를 달성함을 뒷받침한다. 추가적인 제거 연구(ablation study)는 다른 프롬프팅 전략들과 비교할 때, 우리의 맥락적 프롬프팅(contextual prompting)이 도입된 복잡성 단서를 균형 있게 조절하면서도 인간 평가와 더 나은 정합성을 보임을 시사한다. 이러한 결과를 바탕으로, 우리는 자동화된 AR 콘텐츠 조정 시스템을 구축하고 21명의 참가자를 대상으로 사용자 연구를 수행한다. 참가자의 90% 이상이 이 시스템이 가상 콘텐츠의 배치 및 크기 일관성을 개선했다고 평가했다.

arXiv:2610.00737v1cs.CV공통 태그 Image Generation, Benchmarking

추론과 반추를 활용한 개인화된 이미지 생성

Personalized Image Generation with Reasoning and Reflection

개인화된 이미지 생성은 사용자가 누구인지를 파악하기보다 정제된 시각적 예시(exemplar) 기반의 조건부 합성에만 좁게 초점을 맞춰왔습니다. 그러나 실제 환경에서 사용자의 개인적 맥락은 시간에 따라 축적된 리뷰, 게시물, 이미지, 캡션 및 메타데이터를 포함하여 훨씬 더 풍부합니다. 진정으로 개인화된 생성 모델은 이러한 이력을 활용하여 사용자의 라이프스타일 및 미적 선호도와 정렬된(aligned) 이미지를 생성할 수 있어야 합니다. 이를 위해, 본 논문에서는 사용자 이력 기반의 개인화된 이미지 생성을 위한 최초의 통합 벤치마크를 소개합니다. 이 벤치마크는 상호 보완적인 두 가지 태스크와 타깃 충실도, 시각적 품질, 사용자 구별 가능성, 사용자 이력과의 의미론적 정렬, 태스크별 유용성을 평가하는 다축 평가 프로토콜로 구성됩니다. 실제 전자상거래 및 소셜 미디어 환경에 기반을 둔 이 벤치마크는 다음을 포함합니다: (1) 개인화된 제품 제시에서 착안하여, 주어진 객체를 사용자의 선호도와 라이프스타일을 반영하는 장면에 배치하는 개인화 장면 생성(Personalized Scene Generation); 그리고 (2) 소셜 미디어 콘텐츠 제작에서 착안하여, 사용자의 미적 감각과 시각적 정체성에 충실하면서 지정된 주제에 대한 새로운 이미지를 생성하는 개인화 창작 생성(Personalized Creative Generation). 나아가 우리는 차분 데이터 보상(differential data reward)으로 최적화된 인터리브 방식의 추론-반추(reason-reflect) 루프 내에서 멀티모달 추론기와 동결된(frozen) 이미지 생성기를 결합한 PEARL을 제안합니다. 두 태스크 전반에서 PEARL은 강력한 베이스라인들을 능가하며 개인화 지표 전반에서 평균 15%의 향상을 달성했습니다.

arXiv:2610.00805v1eess.IV공통 태그 Image Generation, Image-to-Image Translation

국소적 반사실적 흉부 방사선 사진 편집을 위한 공간 게이팅 확산 모델

Spatially Gated Diffusion for Localized Counterfactual Chest Radiograph Editing

흉부 방사선 사진(chest radiograph)을 편집하려면 관련 없는 내용을 보존하면서 요청된 변경 사항을 완성해야 합니다. 본 연구에서는 지시문과 무관한 소스 궤적과 지시문 조건부 편집 궤적을 갖춘 잠재 확산(latent diffusion) 편집기를 다룹니다. 학습된 게이트는 실행되는 각 단계에서 샘플러 이후 후보들을 혼합하며, 별도의 이미지 공간 마스크가 디코딩된 제안과 소스를 합성합니다. MIMIC 기반 2,400건의 요청 중 2,244건의 결과물이 목표, 보존, 품질 및 커버리지에 대한 공동 루브릭을 충족했으며(93.5%), 목표 달성률은 97.4%였습니다. 공동 유효성(joint validity)은 매칭된 합성 전용 대조군보다 1.7%p 높았습니다(대응 환자 클러스터 95% 신뢰구간, 0.6--2.8). 고정된 학습 마스크 조건에서 학습된 게이트 제안은 공동 유효성을 1.6%p 향상시켰으며(0.8--2.4), 고정된 학습 제안 조건에서 학습된 마스크는 이를 2.6%p 향상시켰습니다(1.7--3.5). 3개의 학습 시드에 걸친 평균 공동 유효성은 93.5%였으며 표본 표준편차는 0.3%p였습니다. 240건의 요청에 대한 블라인드 평가 결과, 전체 편집기는 93.3%, 합성 전용은 91.7%의 판정된 공동 유효성을 보였습니다. 보호 영역의 평균 절대 오차(MAE)는 원본 제안의 0.0190에서 합성 후 0.0075로 감소했습니다. 이러한 결과는 평가 코호트에서 제안에 미치는 순환 게이팅 효과와 최종 합성을 통한 보존 효과를 명확히 구분해 줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.