arXiv:2204.12007

Assessing the ability of generative adversarial networks to learn canonical medical image statistics

Varun A. Kelkar, Dimitrios S. Gotsis, Frank J. Brooks, Prabhat KC, Kyle J. Myers, Rongping Zeng, Mark A. Anastasio

제출 2022-04-26

원문 초록

In recent years, generative adversarial networks (GANs) have gained tremendous popularity for potential applications in medical imaging, such as medical image synthesis, restoration, reconstruction, translation, as well as objective image quality assessment. Despite the impressive progress in generating high-resolution, perceptually realistic images, it is not clear if modern GANs reliably learn the statistics that are meaningful to a downstream medical imaging application. In this work, the ability of a state-of-the-art GAN to learn the statistics of canonical stochastic image models (SIMs) that are relevant to objective assessment of image quality is investigated. It is shown that although the employed GAN successfully learned several basic first- and second-order statistics of the specific medical SIMs under consideration and generated images with high perceptual quality, it failed to correctly learn several per-image statistics pertinent to the these SIMs, highlighting the urgent need to assess medical image GANs in terms of objective measures of image quality.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00994v1cs.CV공통 태그 Image Generation, Image Quality Assessment

VIEScore2: 공간적 근거 기반 설명을 갖춘 통합 이미지 평가

VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations

기존 합성 이미지 평가기는 일반적으로 스칼라 품질 점수만 제공하며 이를 뒷받침하는 이미지 영역을 식별하지 못합니다. 본 논문에서는 조건부 이미지를 선택적으로 활용하여 이미지 생성 및 편집 작업을 평가할 수 있는 통합 평가기인 VIEScore2를 소개합니다. VIEScore2는 이미지를 N x N 그리드로 표현하며, 단일 모델 패스에서 품질 점수와 결함 위치를 동시에 예측합니다. 텍스트 네이티브 그리드 표현 방식은 이종의 공간 지도 학습에 공통 인터페이스를 제공하고 직접 검증 가능한 사후 학습 목표를 가능하게 합니다. 저자들은 생성 및 편집 작업 전반에 걸쳐 점수 전용, 국소화 전용, 공동 지도 학습을 아우르는 38,000개의 예제로 학습을 진행했습니다. 지도 미세조정(supervised fine-tuning)에서 시작하여, 셀 수준 Dice 중첩, 점수 정확도, 출력 형식 유효성을 결합한 보상을 활용해 결함 국소화를 개선하는 GRPO를 추가로 적용했습니다. 매개변수가 없는 파서는 이러한 구조화된 예측을 읽기 쉬운 설명으로 변환합니다. 기본 벤치마크 제품군에서 VIEScore2는 동일 조건 입력 기준 가장 강력한 제로샷(zero-shot) 범용 VLM 기준선인 Gemini-3-Flash의 0.491 대비 0.601의 종합 점수 SRCC를 달성했습니다. 결함 국소화의 경우, VIEScore2는 이미지별 그리드 IoU 기준 6개 벤치마크 중 3개에서 범용 VLM과 특화 공간 평가기를 모두 능가했으며, 학습 데이터 소스를 벗어난 데이터셋을 포함하여 5개 벤치마크에서 상위 3위 이내를 기록했습니다.

arXiv:2609.22942v1cs.CV공통 태그 Image Generation, Image Quality Assessment

개방형 이미지 품질 지각을 위한 진화적 에이전틱 접근

An Evolutionary Agentic Approach for Open-ended Image Quality Perception

생성 모델은 이미지 품질 평가(IQA)를 전통적인 충실도 요인을 넘어 물리적 타당성(physical plausibility)과 텍스트 렌더링 정확성(text-rendering correctness) 같은 새로운 차원으로 빠르게 확장하고 있다. 그러나 기존 IQA 모델은 고정된 정의와 많은 지도(supervision)에 의존하여 개방형(open-ended) 지각 차원으로 확장하기 어렵다. 우리는 홀리스틱 바이어스(holistic bias)를 중요한 한계로 확인한다. 보지 못한 차원을 채점할 때 모델이 일반적인 품질 사전분포(prior)를 재사용하여 채점 오류와 순위 역전(rank inversion)이 발생한다. 이를 해결하기 위해 개방형 IQA를 명시적 프로토콜 구성으로 공식화하는 학습 없는(training-free) 다중 에이전트 프레임워크인 PACE(Perceptual Agentic Collaborative Evolution)를 제안한다. 목표 차원이 주어지면 PACE는 협력적 에이전트가 검증 가능한 시각적 질의응답(VQA) 프로브로 구성된 평가 프로토콜을 구축하고, 홀리스틱 인상이 아닌 구체적 시각 증거에 평가를 그라운딩(grounding)한다. 결과 프로토콜은 차원당 사람 주석 이미지 네 장만으로 보정(calibrate)되며, 이중 트랙 채점 메커니즘이 모델 지각을 사람 채점 척도와 정렬(alignment)한다. 전통적 IQA, 구조적 충실도, 맥락 인지 미학(context-aware aesthetics), 새로 정의된 개방형 차원 전반에서 PACE는 MLLM 백본을 일관되게 개선하여 다양한 IQA 설정에서 경쟁력 있는 성능을 달성하며, Holistic Override Rate(HOR)를 44.4%에서 8.6%로 낮춘다.

arXiv:2607.11199v1cs.CV공통 태그 Image Generation, Image Quality Assessment

DynEval: 실제 환경에서의 텍스트-이미지 생성 모델에 대한 종합적 평가

DynEval: Holistic Evaluations of T2I Generative Models in the Wild

텍스트-이미지(T2I) 생성 분야의 최근 발전으로 매우 사실적인 이미지를 생성할 수 있는 모델들이 등장하였다. 그러나 특히 대규모 환경에서 이러한 모델의 출력물을 신뢰할 수 있게 평가하는 것은 여전히 어려운 과제이다. 정적 프롬프트 세트에 의존하는 기존의 자동 평가기는 부분적 프롬프트 불일치, 구성적 오류, 시각적으로는 그럴듯하지만 의미적으로 잘못된 생성물 등 미묘한 실패 유형을 포착하는 데 한계를 보인다. 본 연구에서는 T2I 모델의 텍스트-이미지 정렬과 이미지 품질을 통합적으로 평가하기 위한 동적 평가 프레임워크인 DynEval을 제안한다. 제한된 사람이 주석을 단 데이터를 넘어서는 확장 가능한 학습을 지원하기 위해 두 가지 대규모 데이터셋을 구축하였다. 먼저, DiffusionDB에서 추출된 사람이 작성한 프롬프트를 계층적 프롬프트-모델 생성 전략으로 활용하여 생성된 50만 개의 프롬프트-이미지 쌍으로 이루어진 GenDB를 구축하였다. 다음으로, GenDB를 기반으로 텍스트-이미지 정렬과 시각적 품질 추론으로 평가를 분해하는 구조화된 평가 파이프라인으로부터 증류된 프롬프트-이미지-응답 삼중쌍으로 구성된 25만 개의 인스트럭션 데이터셋인 DynEvalInstruct를 구축하였다. 이 데이터셋을 활용하여, 더 큰 교사 비전-언어(vision-language) 모델의 우수한 평가 능력을 효과적으로 증류하기 위한 커리큘럼 학습 전략을 통해 소형 평가기를 완전 미세조정하여 DynEval-2B와 DynEval-4B를 개발하였다. 11개의 벤치마크에서 기존 평가기들과의 광범위한 비교를 통해, 우리의 평가기가 사람의 판단과 전반적으로 더 높은 상관관계를 달성함을 보였다. 나아가, 42개의 하위 카테고리와 9개의 의미적 차원에 걸쳐 36개의 T2I 모델의 능력과 실패 유형에 대한 세밀한 분석을 제공한다.

arXiv:2607.10301v1cs.CV공통 태그 Image Generation

ChartSync: 시각-논리적 연쇄 차트 편집을 위한 벤치마크

ChartSync: A Benchmark for Visuo-Logical Cascading Chart Editing

생성형 이미지 편집 모델은 데이터 수정이 기하학적 동기화를 필요로 하는 구조화된 통계 차트를 처리하는 데 어려움을 겪는다. 우리는 이 과제를 시각-논리적 연쇄 편집(Visuo-Logical Cascading Editing, VLCE)으로 공식화한다. 그러나 기존 방법들은 국소적인 텍스트 대체에 국한되며 의존성을 인식하는 연쇄 업데이트에 어려움을 보인다. 이 능력을 체계적으로 평가하기 위해, 우리는 ChartSync를 소개한다. ChartSync는 정답에 대한 결정론적 시각-논리적 결합을 보장하는 프로그래밍 방식의 렌더링 파이프라인을 통해 구성된 전문가 검증 벤치마크이다. ChartSync는 9개 차트 범주와 4가지 과제 유형에 걸친 870개의 트리플렛으로 구성되며, 연쇄적인 텍스트-기하학 동기화를 특정적으로 테스트하는 235개의 기하학적으로 결합된 VLCE 인스턴스를 포함한다. 우리는 이 인스턴스들을 객관적 시각 지표와 비전-언어 모델 판사 패러다임을 결합한 이중 계층 프레임워크를 통해 평가함으로써, 저수준 충실도와 멀티모달 이해 및 추론을 함께 측정한다. 14개의 이미지 편집 모델과 하나의 코드 매개 파이프라인을 평가한 결과, 미묘한 능력 격차가 드러났다. 대부분의 오픈소스 모델은 기하학적 동기화에서 심각한 성능 저하를 보이는 반면, 두 개의 최전선 독점 모델만이 VLCE 능력의 창발적 징후를 나타냈으며, 이들의 잔여 오류는 주로 의미론적 고립과 배경 손상을 수반한다. 우리의 상세한 오류 분석은 이러한 실패 패러다임을 분해하여 미래 멀티모달 아키텍처를 안내할 핵심 메타 능력을 식별한다. ChartSync 데이터셋과 코드는 https://github.com/kaka-yjk/ChartSyncCodebase에서 공개적으로 배포된다.

arXiv:2609.14856v3cs.CV공통 태그 Image Generation

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.