arXiv:2611.22094v1 cs.CV

AUC와 생성적 재구성의 결합: 균형 잡힌 시각 표현 학습의 통합 원리

When AUC Meets Generative Reconstruction: A Unified Principle for Balanced Visual Representation Learning

Boyu Han, Qianqian Xu, Shilong Bao, Zhiyong Yang, Qingming Huang

제출 2026-11-18

한국어 초록

다중 모달 대규모 언어 모델에는 세밀한 시각 특징을 추출하면서 의미 요인이 분리되고 범주를 잘 구별하는 표현을 구성하는 시각 인코더가 필요하다. 기존 방법에는 근본적인 절충이 있다. 대조 학습은 범주 내 변이를 억제해 범주 간 구별을 강화하고, 생성적 재구성은 지각적 충실도를 높이지만 명시적인 비교 지도 신호가 없다. 두 목적을 복합 손실 함수로 단순 결합하면 공유 잠재 공간에서 그래디언트가 간섭하여 최적화 충돌과 불안정성이 생기는 경우가 많다. 이를 해결하기 위해 생성적 재구성을 생성 출력 다양체 위에서의 판별적 순위화 문제로 다시 표현하는 통합 표현 학습 방식을 제안한다. 지각적 재구성을 지도 신호로 유지하고, 대응하는 재구성 쌍과 대응하지 않는 쌍의 출력에 체계적으로 순위를 매겨 판별 제약을 추가한다. 이 방식은 생성 과정에 판별 정보를 포함해 손실 항끼리 경쟁할 가능성을 줄인다. AUC 생성적 재구성(AUCGR)은 대응하는 쌍의 점수가 대응하지 않는 쌍보다 높아지도록 하여 ROC 곡선 아래 면적(AUC)을 최적화한다. 부분 AUC 생성적 재구성(pAUCGR)은 신뢰할 수 있는 특징 부분공간에서의 불일치 비교에 집중해 지도 신호의 편향을 줄인다. 제안한 목적함수는 기존 생성적 재구성 프레임워크에서 아키텍처를 수정하지 않고 사용할 수 있다. 이론 분석으로 AUC 및 pAUC 최적화와의 엄밀한 연관성을 밝히고 일반화 보장을 제시한다. 폭넓은 실험에서 판별 정확도와 세밀한 지각 표현이 모두 개선되었다.

원문 초록

Multimodal large language models (MLLMs) require visual encoders that extract fine-grained visual features while constructing semantically disentangled and discriminative representations. Conventional methodologies encounter a fundamental trade-off: contrastive learning enhances inter-class discrimination by suppressing intra-class variability, whereas generative reconstruction emphasizes perceptual fidelity but lacks explicit comparative supervision. The naive aggregation of these objectives via composite loss functions often induces optimization conflicts and instability due to gradient interference within the shared latent space. To resolve this, we introduce a unified representation-learning paradigm that reformulates generative reconstruction as a discriminative ranking problem within the generative output manifold. Our approach maintains perceptual reconstruction as a supervisory signal and integrates a ranking-based discriminative constraint by systematically ordering matched and mismatched reconstruction outputs. This formulation embeds discriminative information seamlessly into the generative process, alleviating the risk of loss competition. Specifically, we propose AUC Generative Reconstruction (AUCGR), which optimizes the area under the ROC curve (AUC) by ensuring higher scores for matched pairs than for mismatched pairs, and Partial AUC Generative Reconstruction (pAUCGR), which addresses supervision bias by focusing on mismatched comparisons within reliable feature subspaces. The proposed objectives are designed to be plug-and-play, requiring no architectural modifications to existing generative reconstruction frameworks. Theoretical analysis establishes rigorous connections to AUC/pAUC optimization and provides generalization guarantees. Extensive experiments validate that our method advances both discriminative accuracy and fine-grained perceptual representation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22094v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.