arXiv:2208.11563

Contrastive learning-based pretraining improves representation and transferability of diabetic retinopathy classification models

Minhaj Nur Alam, Rikiya Yamashita, Vignav Ramesh, Tejas Prabhune, Jennifer I. Lim, R. V. P. Chan, Joelle Hallak, Theodore Leng, Daniel Rubin

제출 2022-08-24

원문 초록

Self supervised contrastive learning based pretraining allows development of robust and generalized deep learning models with small, labeled datasets, reducing the burden of label generation. This paper aims to evaluate the effect of CL based pretraining on the performance of referrable vs non referrable diabetic retinopathy (DR) classification. We have developed a CL based framework with neural style transfer (NST) augmentation to produce models with better representations and initializations for the detection of DR in color fundus images. We compare our CL pretrained model performance with two state of the art baseline models pretrained with Imagenet weights. We further investigate the model performance with reduced labeled training data (down to 10 percent) to test the robustness of the model when trained with small, labeled datasets. The model is trained and validated on the EyePACS dataset and tested independently on clinical data from the University of Illinois, Chicago (UIC). Compared to baseline models, our CL pretrained FundusNet model had higher AUC (CI) values (0.91 (0.898 to 0.930) vs 0.80 (0.783 to 0.820) and 0.83 (0.801 to 0.853) on UIC data). At 10 percent labeled training data, the FundusNet AUC was 0.81 (0.78 to 0.84) vs 0.58 (0.56 to 0.64) and 0.63 (0.60 to 0.66) in baseline models, when tested on the UIC dataset. CL based pretraining with NST significantly improves DL classification performance, helps the model generalize well (transferable from EyePACS to UIC data), and allows training with small, annotated datasets, therefore reducing ground truth annotation burden of the clinicians.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12404v1cs.CV공통 태그 Style Transfer, Contrastive Learning

스타일-내용 분리를 위한 대조 증강 플로우 매칭

Contrastive-Augmented Flow Matching for Style-Content Disentanglement

내용과 스타일을 분리하는 표현 학습은 제어 가능한 생성과 조합적 일반화(compositional generalization)에 매우 중요하다. 그러나 주로 생성 목적함수로 학습된 확산(diffusion) 및 플로우 기반 모델은 종종 얽히거나 정렬되지 않은 요인을 생성한다. 이 간극을 해소하기 위해, 우리는 가역적 플로우 매칭(flow matching) 공식에 대조 정규화(contrastive regularization)를 통합하여 구조화된 내용-스타일 표현을 촉진하는 프레임워크인 Contrastive Augmented Flow Matching(CAtFM)을 제안한다. 중간 잠재 변수(latent)나 속도장(velocity field)을 제약하는 대신, 학습 중 예측된 종단점(endpoint)에 대조 감독(contrastive supervision)을 적용하여, 운반된 분포(transported distribution) 간 의미적 일관성을 강제하면서, 엄격히 순수하거나 완전히 요인분해된(factorized) 내용 및 스타일 표현을 가정하지 않고 분리(disentanglement)가 암묵적으로 나타나도록 한다. 주 실험은 CLIP 임베딩 공간에서 수행하였으며, 고정(frozen) DINO 및 ALIGN 인코더를 사용한 추가 검증도 진행하였다. 합성 데이터, 도메인 내(in-domain) 스타일, 그리고 실세계 벤치마크(ImageNet, WikiArt, DomainNet, DTD)에 걸쳐, CAtFM은 생성적 및 판별적(discriminative) 베이스라인 대비 내용 및 스타일 검색을 향상시키고, 임베딩 클러스터 분리를 강화하며, 더 강한 오픈셋(open-set) 견고성(robustness)을 달성한다. 전반적으로 CAtFM은 판별적 제약과 결정적(deterministic) 수송(transport)을 결합하는 간단한 방법을 제공하여, 분포 이동(distribution shift) 하에서 분리와 견고성을 개선한다.

arXiv:2607.11281v1cs.CV공통 태그 Style Transfer, Contrastive Learning

악마는 누출에 있다: 고충실도 헤어스타일 전환을 위한 분리된 이중 정제 프레임워크

The Devil Is in the Leakage: A Disentangled Dual-Purification Framework for High-Fidelity Hairstyle Transfer

헤어스타일 전환은 참조 이미지의 헤어스타일을 소스 피사체에 이식하면서 소스 아이덴티티를 보존하여 사실적인 초상화를 합성하는 것을 목표로 한다. 최근 기반 모델들은 강력한 생성 능력을 보여주지만, 정밀한 로컬 편집에 필요한 제로샷 분리에 어려움을 겪으며, 참조 헤어스타일이 원래의 아이덴티티 및 포즈와 얽히는 문제가 자주 발생한다. 기존의 확산 기반 파이프라인은 일반적으로 소스에서 "민머리" 이미지를 먼저 생성한 후 참조에서 헤어스타일 특징을 주입하는 방식으로 작업을 분해한다. 그러나 이 패러다임이 근본적인 누출 문제를 겪고 있음을 보인다. 헤어스타일에서의 아이덴티티 누출(Identity Leakage in Hairstyle)은 헤어스타일 특징이 참조 아이덴티티 또는 포즈 정보를 보유할 때 발생하며, 민머리에서의 결함 누출(Flaw Leakage in Bald)은 민머리 이미지의 잔류 아티팩트가 최종 합성에 전파될 때 발생한다. 두 문제를 모두 해결하기 위해, 두 가지 상보적인 학습 시간 정규화기를 도입하는 이중 정제 프레임워크(DPF, Dual-Purification Framework)를 제안한다. 적대적 헤어스타일 정제(AHP, Adversarial Hairstyle Purification)는 상호 정보 기반 적대적 목적 함수 하에서 아이덴티티 예측 가능성을 억제함으로써 헤어스타일 특징을 정제한다. 대조적 기하학적 정제(CGP, Contrastive Geometric Purification)는 대조적 목적 함수로 ControlNet 경로를 정규화하여 민머리 조건의 기하학적 아티팩트에 대한 모델의 의존성을 줄인다. 헤어스타일 표현과 기하학적 경로를 공동으로 정제함으로써, DPF는 고충실도의 아이덴티티 보존 헤어스타일 전환을 달성하고 다양한 벤치마크에서 최첨단 성능을 기록한다.

arXiv:2607.03899v1cs.CV공통 태그 Style Transfer, Contrastive Learning

DICT: 확산 모델을 이용한 조건부 이미지 생성을 위한 데이터 주입 및 대조적 궤적 정제

DICT: Data Injection and Contrastive Trajectory Refinement for Conditional Image Generation with Diffusion Models

확산 모델(diffusion model)은 조건부 이미지 생성의 지배적인 패러다임으로 자리잡았지만, 기존 접근법은 일반적으로 두 가지 방향을 따른다. 성능을 향상시킬 수 있지만 일반화를 제한하는 태스크별 설계와, 풍부한 조건을 스칼라 목적 함수로 압축하고 단계별 가이던스를 적용하여 정보 병목 현상과 샘플링 궤적을 따라 오류가 누적되는 학습(training) 없는 손실(loss) 가이던스가 그것이다. 다양한 조건부 이미지 생성 태스크에 걸쳐 효과적인 통합 프레임워크의 필요성이 시급한 상황에서, 우리는 태스크 의존적 아키텍처를 도입하지 않고 조건부 이미지 생성을 향상시키는 학습 없는 추론(inference) 방법인 데이터 주입 및 대조적 궤적 정제(DICT, Data Injection and Contrastive Trajectory Refinement)를 제안한다. DICT는 데이터 주입(Data Injection)을 도입하여 노이즈가 섞인 조건 신호를 초기 디노이징 단계에 통합한다. 이렇게 주입된 신호에 대해 가이드 디노이징을 수행함으로써 DICT는 원시 조건에서 태스크에 중요한 정보를 적응적으로 선택하고 증류하여 공간적 풍부함을 효과적으로 보존하고 조건과 생성 간의 정밀한 정렬을 보장한다. 나아가 DICT는 인접한 디노이징 상태 간에 대조적 궤적 정제(Contrastive Trajectory Refinement)를 적용하여 쌍별 비교를 통해 샘플 품질을 점진적으로 향상시킨다. 이러한 설계는 통합된 확산 공식 하에서 추론을 단순하게 유지하면서 크로스 태스크 전이를 개선한다. 조건부 이미지 생성 태스크(예: 스타일 전이, 이미지 초해상도, 이미지 디블러링)에 대한 광범위한 실험은 대표적인 태스크별 기준선 및 손실(loss) 가이드 기준선 대비 충실도와 지각적 품질에서 일관된 성능 향상을 보여준다.

arXiv:2607.04311v3cs.CV공통 태그 Contrastive Learning

Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

arXiv:2607.05268v5cs.CV공통 태그 Contrastive Learning

기하 구조가 실제로 작동하는가? 쌍곡 비전-언어 모델의 위계에 대한 작동점 감사

Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models

쌍곡 비전-언어 모델은 추상성을 기하학적으로 인코딩하도록 설계되어 있다. 일반적인 개념은 원점 근처에, 구체적인 개념은 더 먼 곳에 놓이며, 함의 원뿔(entailment cone)은 방향성 있는 순서를 나타낸다. 본 연구는 학습된 MERU, HyCoCLIP, PHyCLIP 모델이 이러한 메커니즘을 실제로 사용하는지 묻는다. 공개된 일곱 개의 체크포인트와 이에 대응하는 처음부터 학습한 개입 모델을 감사한다. 감사한 수렴 체크포인트는 모두 무차원 반경 $u=\sqrt{c}\rho$에서 거의 유클리드적인 상태에 머문다. 이미지 측에서 관측된 최댓값은 $0.37$로, 국소 계량 왜곡이 $10\%$에 이르는 $u\approx0.84$에 크게 못 미친다. 곡률 하한을 해제하면 곡률과 노름은 변하지만 이 영역은 바뀌지 않으며, 하위 과제 성능 변화는 일관되지 않고 대체로 미미하다. 학습된 함의 원뿔은 포화되었거나 거의 포화되어 있어, 낮은 위반율은 학습된 순서가 아니라 지나치게 넓은 원뿔에서 비롯될 수 있다. 사전 등록된 의미 순회는 가지 내부의 약한 순서는 검출하지만 전체 위계를 읽어 내는 작동 가능한 판독은 검출하지 못한다. 셔플 대조 검정은 공개된 체크포인트에서 쌍별 고유의 반경 순서를 검출하지 못하며, 대응하는 세 개의 ViT-B 시드 전체에서 일관된 양성 결과도 없다. 이 비검출은 민감도에 의해 제한된다. 이 진단은 셔플 대조 초과분이 약 13.5 pp일 때에야 검정력 $80\%$에 도달하는 반면, 공개 모델 중 가장 큰 격차는 약 5 pp이다. 우리는 이를 낮은 곡률 지름길로 추적한다. 곡률을 낮추면 순서를 학습하지 않고도 함의 원뿔이 넓어져 위반이 억제된다. 조사한 궤적에서 그래디언트 분해는 붕괴 중 곡률을 낮추는 지배적 압력이 함의 항임을 보여 준다. 그러나 함의를 제거해도 곡률은 수축하므로 이 지름길이 유일한 원인은 아니다. 우리의 진단 아래에서 감사한 정식화들은 작동하는 반경 기반 또는 원뿔 기반 위계를 입증하지 못한다. 우리는 이 감사를 향후 위계 주장을 평가하기 위한 다섯 개 수치의 기하 보고서로 정리한다.

arXiv:2607.11886v2cs.CV공통 태그 Contrastive Learning

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.