Theoretical Insights into the Use of Structural Similarity Index In Generative Models and Inferential Autoencoders
원문 초록
Generative models and inferential autoencoders mostly make use of $\ell_2$ norm in their optimization objectives. In order to generate perceptually better images, this short paper theoretically discusses how to use Structural Similarity Index (SSIM) in generative models and inferential autoencoders. We first review SSIM, SSIM distance metrics, and SSIM kernel. We show that the SSIM kernel is a universal kernel and thus can be used in unconditional and conditional generated moment matching networks. Then, we explain how to use SSIM distance in variational and adversarial autoencoders and unconditional and conditional Generative Adversarial Networks (GANs). Finally, we propose to use SSIM distance rather than $\ell_2$ norm in least squares GAN.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIEScore2: 공간적 근거 기반 설명을 갖춘 통합 이미지 평가
VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations
기존 합성 이미지 평가기는 일반적으로 스칼라 품질 점수만 제공하며 이를 뒷받침하는 이미지 영역을 식별하지 못합니다. 본 논문에서는 조건부 이미지를 선택적으로 활용하여 이미지 생성 및 편집 작업을 평가할 수 있는 통합 평가기인 VIEScore2를 소개합니다. VIEScore2는 이미지를 N x N 그리드로 표현하며, 단일 모델 패스에서 품질 점수와 결함 위치를 동시에 예측합니다. 텍스트 네이티브 그리드 표현 방식은 이종의 공간 지도 학습에 공통 인터페이스를 제공하고 직접 검증 가능한 사후 학습 목표를 가능하게 합니다. 저자들은 생성 및 편집 작업 전반에 걸쳐 점수 전용, 국소화 전용, 공동 지도 학습을 아우르는 38,000개의 예제로 학습을 진행했습니다. 지도 미세조정(supervised fine-tuning)에서 시작하여, 셀 수준 Dice 중첩, 점수 정확도, 출력 형식 유효성을 결합한 보상을 활용해 결함 국소화를 개선하는 GRPO를 추가로 적용했습니다. 매개변수가 없는 파서는 이러한 구조화된 예측을 읽기 쉬운 설명으로 변환합니다. 기본 벤치마크 제품군에서 VIEScore2는 동일 조건 입력 기준 가장 강력한 제로샷(zero-shot) 범용 VLM 기준선인 Gemini-3-Flash의 0.491 대비 0.601의 종합 점수 SRCC를 달성했습니다. 결함 국소화의 경우, VIEScore2는 이미지별 그리드 IoU 기준 6개 벤치마크 중 3개에서 범용 VLM과 특화 공간 평가기를 모두 능가했으며, 학습 데이터 소스를 벗어난 데이터셋을 포함하여 5개 벤치마크에서 상위 3위 이내를 기록했습니다.
전참조 및 무참조 영상 품질 평가를 위한 보완적 구조 표현으로서의 지역 SVD-엔트로피 맵
Local SVD-Entropy Maps as a Complementary Structural Representation for Full-Reference and No-Reference Image Quality Assessment
우리는 2차원 영상 패치에서 직접 계산한 특이값의 섀넌 엔트로피에 기반한, 지각적 영상 품질 평가(IQA)를 위한 지역 스펙트럴 복잡도 표현을 연구한다. 각 $3\times3$ 픽셀 그레이스케일 패치에 대해 SVD를 직접 적용하고, 정규화된 특이값 엔트로피가 HSVD-맵 값 하나를 정의한다. 이 구성은 평탄화(flattening)나 지연 임베딩(delay embedding)을 필요로 하지 않으며, 경계 패딩(boundary padding)을 사용하지 않고, 지역 서술자 수준에서 $90^{\circ}$ 회전 및 거울 반사에 불변이다. Lena에 대한 중첩 salt-and-pepper 실험은 깨끗한 참조 영상에 대한 절대 유사도와 추가 열화 단계에 대한 민감도를 분리한다. HSVD-SSIM은 지역 손상에 더 강하게 반응하며, 심한 노이즈 수준에서 더 큰 이웃 상태(neighboring-state) 응답을 유지한다. 왜곡된 KADID-10k 영상 10,125장 전체에 대한 검증 결과, HSVD-SSIM은 단독 전참조(full-reference) 지표로는 기존 SSIM보다 약하다(SRCC $0.450$ vs. $0.619$), 그러나 결합하면 보완적이다: 그룹 교차 검증(grouped cross-validation)에서 SRCC가 $0.618$에서 $0.659$로 증가하며, 증가분에 대한 부트스트랩 95\% 신뢰구간은 $[0.036,0.046]$이다. 무참조(no-reference) 실험에서 HSVD 기반 단일 영상 서술자를 추가하면 최상의 비선형 모델의 SRCC가 $0.528$에서 $0.575$로 개선되고(95\% CI $[0.033,0.061]$), 이웃 왜곡 상태 간 품질 변화 예측도 개선된다. 이 결과는 직접적인 지역 SVD 엔트로피가 해석 가능한 구조 채널로서 기존 영상 도메인 유사도를 보완하고, 무손상 참조 없이도 유익한 정보를 제공함을 뒷받침한다.
개방형 이미지 품질 지각을 위한 진화적 에이전틱 접근
An Evolutionary Agentic Approach for Open-ended Image Quality Perception
생성 모델은 이미지 품질 평가(IQA)를 전통적인 충실도 요인을 넘어 물리적 타당성(physical plausibility)과 텍스트 렌더링 정확성(text-rendering correctness) 같은 새로운 차원으로 빠르게 확장하고 있다. 그러나 기존 IQA 모델은 고정된 정의와 많은 지도(supervision)에 의존하여 개방형(open-ended) 지각 차원으로 확장하기 어렵다. 우리는 홀리스틱 바이어스(holistic bias)를 중요한 한계로 확인한다. 보지 못한 차원을 채점할 때 모델이 일반적인 품질 사전분포(prior)를 재사용하여 채점 오류와 순위 역전(rank inversion)이 발생한다. 이를 해결하기 위해 개방형 IQA를 명시적 프로토콜 구성으로 공식화하는 학습 없는(training-free) 다중 에이전트 프레임워크인 PACE(Perceptual Agentic Collaborative Evolution)를 제안한다. 목표 차원이 주어지면 PACE는 협력적 에이전트가 검증 가능한 시각적 질의응답(VQA) 프로브로 구성된 평가 프로토콜을 구축하고, 홀리스틱 인상이 아닌 구체적 시각 증거에 평가를 그라운딩(grounding)한다. 결과 프로토콜은 차원당 사람 주석 이미지 네 장만으로 보정(calibrate)되며, 이중 트랙 채점 메커니즘이 모델 지각을 사람 채점 척도와 정렬(alignment)한다. 전통적 IQA, 구조적 충실도, 맥락 인지 미학(context-aware aesthetics), 새로 정의된 개방형 차원 전반에서 PACE는 MLLM 백본을 일관되게 개선하여 다양한 IQA 설정에서 경쟁력 있는 성능을 달성하며, Holistic Override Rate(HOR)를 44.4%에서 8.6%로 낮춘다.
Joint Optimization for SSIM-Based CTU-Level Bit Allocation and Rate Distortion Optimization
Multiscale structural similarity for image quality assessment
Image quality assessment: from error visibility to structural similarity
토론
이 논문과 연결된 포럼 글이 아직 없습니다.