APEX: 이미지 품질 평가를 위한 무가정 투영 기반 임베딩 검증 지표
APEX: Assumption-free Projection-based Embedding eXamination Metric for Image Quality Assessment
한국어 초록
생성 모델이 전례 없는 시각적 품질을 달성함에 따라, 이미지 평가의 표준 지표(gold standard)로는 여전히 전통적인 특징 분포 지표(예: FID)가 널리 사용되고 있습니다. 그러나 이러한 지표들은 구식 특징의 폐쇄 어휘(closed-vocabulary) 병목 현상과 경직된 매개변수 기반 공식화의 가정적 바이어스(assumptive bias)로 인해 한계를 보입니다. 최근의 대안들은 현대적인 백본을 활용하여 특징 병목 현상을 해결하고자 하지만, 여전히 매개변수적 한계에서 벗어나지 못하고 있습니다. 이러한 격차를 해소하기 위해, 우리는 수학적으로 타당하며 가정이 필요 없는 유사도 측정 방식으로 슬라이스드 바서슈타인 거리(Sliced Wasserstein Distance)를 활용하는 새로운 평가 프레임워크인 APEX(Assumption-free Projection-based Embedding eXamination)를 소개합니다. 이론적 및 실증적 근거를 통해 증명하듯, APEX는 고차원 공간에 대한 효과적인 확장성을 지닙니다. 또한 APEX는 임베딩에 구애받지 않으며(embedding-agnostic), 두 가지 개방 어휘 파운데이션 모델인 CLIP과 DINOv2를 특징 추출기로 사용합니다. 기존 기준 모델들과 비교 벤치마킹한 결과, APEX는 시각적 품질 저하에 대해 우수한 강건성을 보여주었습니다. 나아가 우리는 APEX 지표가 데이터셋 내 및 데이터셋 간 안정성을 나타내어, 도메인 외(out-of-domain) 데이터셋에서도 매우 안정적인 평가를 보장함을 보여줍니다.
원문 초록
As generative models achieve unprecedented visual quality, the gold standard for image evaluation remains traditional feature-distribution metrics (e.g., FID). However, these metrics are provably hindered by the closed-vocabulary bottleneck of outdated features and the assumptive bias of rigid parametric formulations. Recent alternatives exploit modern backbones to solve the feature bottleneck, yet continue to suffer from parametric limitations. To close this gap, we introduce APEX (Assumption-free Projection-based Embedding eXamination), a novel evaluation framework leveraging the Sliced Wasserstein Distance as a mathematically grounded, assumption-free similarity measure. APEX inherits effective scalability to high-dimensional spaces, as we prove with theoretical and empirical evidences. Moreover, APEX is embedding-agnostic and uses two open-vocabulary foundation models, CLIP and DINOv2, as feature extractors. Benchmarking APEX against established baselines reveals superior robustness to visual degradations. Additionally, we show that APEX metrics exhibit intra- and cross-dataset stability, ensuring highly stable evaluations on out-of-domain datasets.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIEScore2: 공간적 근거 기반 설명을 갖춘 통합 이미지 평가
VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations
기존 합성 이미지 평가기는 일반적으로 스칼라 품질 점수만 제공하며 이를 뒷받침하는 이미지 영역을 식별하지 못합니다. 본 논문에서는 조건부 이미지를 선택적으로 활용하여 이미지 생성 및 편집 작업을 평가할 수 있는 통합 평가기인 VIEScore2를 소개합니다. VIEScore2는 이미지를 N x N 그리드로 표현하며, 단일 모델 패스에서 품질 점수와 결함 위치를 동시에 예측합니다. 텍스트 네이티브 그리드 표현 방식은 이종의 공간 지도 학습에 공통 인터페이스를 제공하고 직접 검증 가능한 사후 학습 목표를 가능하게 합니다. 저자들은 생성 및 편집 작업 전반에 걸쳐 점수 전용, 국소화 전용, 공동 지도 학습을 아우르는 38,000개의 예제로 학습을 진행했습니다. 지도 미세조정(supervised fine-tuning)에서 시작하여, 셀 수준 Dice 중첩, 점수 정확도, 출력 형식 유효성을 결합한 보상을 활용해 결함 국소화를 개선하는 GRPO를 추가로 적용했습니다. 매개변수가 없는 파서는 이러한 구조화된 예측을 읽기 쉬운 설명으로 변환합니다. 기본 벤치마크 제품군에서 VIEScore2는 동일 조건 입력 기준 가장 강력한 제로샷(zero-shot) 범용 VLM 기준선인 Gemini-3-Flash의 0.491 대비 0.601의 종합 점수 SRCC를 달성했습니다. 결함 국소화의 경우, VIEScore2는 이미지별 그리드 IoU 기준 6개 벤치마크 중 3개에서 범용 VLM과 특화 공간 평가기를 모두 능가했으며, 학습 데이터 소스를 벗어난 데이터셋을 포함하여 5개 벤치마크에서 상위 3위 이내를 기록했습니다.
TerraVis: MLLM 워크플로우를 통한 텍스트-투-이미지 생성의 실세계 기반 시각적 일관성 평가를 향하여
TerraVis: Towards Evaluation of World-Grounded Visual Consistency in Text-to-Image Generation via MLLM Workflows
최근 텍스트-투-이미지(text-to-image) 모델은 사실성(photorealism), 심미성, 텍스트-이미지 정렬(alignment) 측면에서 상당한 발전을 이루었습니다. 그러나 시각적으로 매력적인 이미지라 하더라도 기형적인 객체 구조, 불가능한 해부학적 형태, 물리적으로 타당하지 않은 상호작용, 일관되지 않은 공간 관계를 보이며 실세계의 개연성(plausibility)을 위반할 수 있습니다. 이러한 오류는 기존의 충실도(fidelity), 심미성, 선호도 또는 정렬 지표로는 잘 포착되지 않습니다. 이러한 격차를 해결하기 위해, 본 연구에서는 생성된 이미지의 실세계 기반(world-grounded) 시각적 일관성을 평가하는 프레임워크인 TerraVis를 소개합니다. TerraVis는 객체, 상호작용 및 장면 수준의 오류를 포괄하는 실세계 일관성 위반에 대한 체계적인 분류 체계(taxonomy)를 정의하며, 이를 식별하고 정량화하기 위해 다단계 평가 프레임워크를 사용합니다. 이미지가 주어지면, TerraVis는 먼저 멀티모달 대규모 언어 모델(MLLM)을 사용하여 평가 적격성을 판단한 다음, 분류 체계에 정의된 18가지 유형에 걸쳐 위반 사항을 탐지하고 이를 경미(minor) 또는 중대(major)로 분류하여 전반적인 실세계 일관성 점수를 도출합니다. 널리 사용되는 두 가지 벤치마크에서 다양한 오픈소스 및 상용 텍스트-투-이미지 모델을 대상으로 평가한 결과, TerraVis는 기존 지표 중 실세계 일관성에 대한 인간의 판단과 가장 강력한 상관관계를 달성했습니다. 또한 벤치마크 결과는 기존 지표에서 우수한 성능을 보이는 모델이라도 상당한 실세계 일관성 오류를 나타낼 수 있음을 보여줍니다. 이러한 결과는 실세계 일관성이 상호보완적인 평가 차원임을 강조하며, TerraVis가 이러한 오류의 체계적인 정량화, 진단 및 비교를 가능하게 함을 입증합니다. 본 연구의 코드는 https://github.com/ShyFoo/TerraVis 에서 공개되어 있습니다.
증강현실에서의 지각 품질 평가 및 자율 콘텐츠 조정을 위한 비전-언어 모델 활용
Harnessing Vision-Language Models for Perceptual Quality Assessment and Autonomous Content Adjustment in Augmented Reality
증강현실(AR, augmented reality)의 발전은 계속해서 혁신적인 솔루션을 촉진하며, 교육 시스템, 의료 서비스, 위험 완화 프로토콜 내에서 새로운 방법론을 가능하게 하고 있다. 그러나 AR 헤드마운트 디스플레이(head-mounted display)가 제한된 장면 기하 구조, 공간적 지터(jitter), 시간적 불안정성과 씨름하는 탓에, 최종 사용자의 몰입감과 편안함을 최적화하는 것은 여전히 어려운 과제로 남아 있다. 사용자 연구(user study)는 시각적 품질에 대한 표준적인 AR 평가 방법이지만, 그 비용과 확장성 저하, 경직성은 반복적인 애플리케이션 설계 과정에서 병목으로 작용한다. 이 문제를 해결하기 위해, 우리는 비전-언어 모델(VLM, vision-language model)을 기반으로 하여 사용자가 지각하는 AR 장면의 시각적 충실도를 평가하고 예측하는, AR 콘텐츠 평가 및 개선을 위한 자동화된 프레임워크를 제시한다. 먼저, 우리는 다양한 장면과 환경 조건에서 수집된 AR 이미지 및 비디오 벤치마크(benchmark)인 RateAR을 소개하며, 이는 객체 배치, 크기(scale), 그림자 일관성을 포함한 지각적 요인들에서 양호~우수한 신뢰도(ICC(2,5) >= .90)를 보인다. 이어서, 우리는 구축한 벤치마크에서 11개의 상용 VLM을 평가한다. 결과는 VLM 기반 품질 예측이 인간의 주관적 판단과 강한 상관관계를 가지며, 최대 0.8695의 스피어만 순위 상관계수(Spearman's rank-order correlation)를 달성함을 뒷받침한다. 추가적인 제거 연구(ablation study)는 다른 프롬프팅 전략들과 비교할 때, 우리의 맥락적 프롬프팅(contextual prompting)이 도입된 복잡성 단서를 균형 있게 조절하면서도 인간 평가와 더 나은 정합성을 보임을 시사한다. 이러한 결과를 바탕으로, 우리는 자동화된 AR 콘텐츠 조정 시스템을 구축하고 21명의 참가자를 대상으로 사용자 연구를 수행한다. 참가자의 90% 이상이 이 시스템이 가상 콘텐츠의 배치 및 크기 일관성을 개선했다고 평가했다.
추론과 반추를 활용한 개인화된 이미지 생성
Personalized Image Generation with Reasoning and Reflection
개인화된 이미지 생성은 사용자가 누구인지를 파악하기보다 정제된 시각적 예시(exemplar) 기반의 조건부 합성에만 좁게 초점을 맞춰왔습니다. 그러나 실제 환경에서 사용자의 개인적 맥락은 시간에 따라 축적된 리뷰, 게시물, 이미지, 캡션 및 메타데이터를 포함하여 훨씬 더 풍부합니다. 진정으로 개인화된 생성 모델은 이러한 이력을 활용하여 사용자의 라이프스타일 및 미적 선호도와 정렬된(aligned) 이미지를 생성할 수 있어야 합니다. 이를 위해, 본 논문에서는 사용자 이력 기반의 개인화된 이미지 생성을 위한 최초의 통합 벤치마크를 소개합니다. 이 벤치마크는 상호 보완적인 두 가지 태스크와 타깃 충실도, 시각적 품질, 사용자 구별 가능성, 사용자 이력과의 의미론적 정렬, 태스크별 유용성을 평가하는 다축 평가 프로토콜로 구성됩니다. 실제 전자상거래 및 소셜 미디어 환경에 기반을 둔 이 벤치마크는 다음을 포함합니다: (1) 개인화된 제품 제시에서 착안하여, 주어진 객체를 사용자의 선호도와 라이프스타일을 반영하는 장면에 배치하는 개인화 장면 생성(Personalized Scene Generation); 그리고 (2) 소셜 미디어 콘텐츠 제작에서 착안하여, 사용자의 미적 감각과 시각적 정체성에 충실하면서 지정된 주제에 대한 새로운 이미지를 생성하는 개인화 창작 생성(Personalized Creative Generation). 나아가 우리는 차분 데이터 보상(differential data reward)으로 최적화된 인터리브 방식의 추론-반추(reason-reflect) 루프 내에서 멀티모달 추론기와 동결된(frozen) 이미지 생성기를 결합한 PEARL을 제안합니다. 두 태스크 전반에서 PEARL은 강력한 베이스라인들을 능가하며 개인화 지표 전반에서 평균 15%의 향상을 달성했습니다.
Multiscale structural similarity for image quality assessment
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.