Generalization Bounds for Adversarial Contrastive Learning
원문 초록
Deep networks are well-known to be fragile to adversarial attacks, and adversarial training is one of the most popular methods used to train a robust model. To take advantage of unlabeled data, recent works have applied adversarial training to contrastive learning (Adversarial Contrastive Learning; ACL for short) and obtain promising robust performance. However, the theory of ACL is not well understood. To fill this gap, we leverage the Rademacher complexity to analyze the generalization performance of ACL, with a particular focus on linear models and multi-layer neural networks under $\ell_p$ attack ($p \ge 1$). Our theory shows that the average adversarial risk of the downstream tasks can be upper bounded by the adversarial unsupervised risk of the upstream task. The experimental results validate our theory.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
InfoNCE 손실을 이용한 대조 학습에서의 유사도 검색 일반화
Similarity search generalisation in contrastive learning with InfoNCE loss
유사도 검색(Similarity search)은 대조 학습(contrastive learning)으로 학습된 임베딩 모델의 주요 응용 분야입니다. 가장 널리 사용되는 대조 학습 손실 함수 중 하나인 InfoNCE에 대해, $k$개의 네거티브 샘플을 사용하는 모집단 리스크(population risk)가 기대 교차 엔트로피에 $O(1/k)$ 가깝다는 것을 보입니다. 이 교차 엔트로피는 i) 학습된 임베딩 함수를 사용하여 미관측 데이터에 대해 소프트맥스 유사도 검색을 수행하는 것과 ii) 포지티브 샘플 생성기에 암묵적으로 표현된 유사도를 사용하여 동일한 데이터에 대해 이상적인 소프트맥스 검색을 수행하는 것 사이의 편차를 정량화합니다. 이는 상호 정보량(mutual information) 및 임베딩의 정렬(alignment)과 균일성(uniformity) 측면에서 서술된 $k\to\infty$ 극한에서의 기존 InfoNCE 해석을 보완합니다. 일반화 성능을 정량화하기 위해, 가토 미분(Gâteaux differentiation)을 통해 도출된 InfoNCE 손실에 대한 새로운 연속성 경계(continuity bound)를 도입합니다. 이 경계는 손실 함수에 포함된 네거티브 샘플에 대한 평균화 구조를 보존하며, 알고리즘 온도(algorithmic temperature)를 반영하도록 조정 가능한 '역온도(inverse temperature)' 매개변수를 포함합니다. 매개변수에 대해 립시츠(Lipschitz) 조건을 만족하는 임베딩 함수의 경우, 이로부터 InfoNCE 손실에서 $k$개의 네거티브 샘플에 의한 평균화 효과가 $k$가 증가함에 따라 일반화 오류의 안정화로 이어진다는 것을 간단히 보일 수 있습니다.
Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성
Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment
주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.
Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models
Latent Reasoning Does Not Lack Signal, It Lacks Invariance: Subspace-Constrained Refinement for Robust Reasoning
Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다
Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
PixCon: 기반 모델 반지도 분할을 위한 클린-포지티브 대조 학습
PixCon: Clean-Positive Contrastive Learning for Foundation-Model Semi-Supervised Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.