Representation via Representations: Domain Generalization via Adversarially Learned Invariant Representations
원문 초록
We investigate the power of censoring techniques, first developed for learning {\em fair representations}, to address domain generalization. We examine {\em adversarial} censoring techniques for learning invariant representations from multiple "studies" (or domains), where each study is drawn according to a distribution on domains. The mapping is used at test time to classify instances from a new domain. In many contexts, such as medical forecasting, domain generalization from studies in populous areas (where data are plentiful), to geographically remote populations (for which no training data exist) provides fairness of a different flavor, not anticipated in previous work on algorithmic fairness. We study an adversarial loss function for $k$ domains and precisely characterize its limiting behavior as $k$ grows, formalizing and proving the intuition, backed by experiments, that observing data from a larger number of domains helps. The limiting results are accompanied by non-asymptotic learning-theoretic bounds. Furthermore, we obtain sufficient conditions for good worst-case prediction performance of our algorithm on previously unseen domains. Finally, we decompose our mappings into two components and provide a complete characterization of invariance in terms of this decomposition. To our knowledge, our results provide the first formal guarantees of these kinds for adversarial invariant domain generalization.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
사후 처리 공정성 제약이 도움이 될 때와 해가 될 때: 8개 교차 도메인 평가로부터의 근거
When Post-Processing Fairness Constraints Help and When They Harm: Evidence from Eight Cross-Domain Evaluations
프로덕션 ML에서 공정성 감사는 보통 배포 시점에 한 번, 단일 도메인에 대해서만 수행된다. 실제로는 둘 다 한계가 있다. 재학습이나 사용자층 변화 이후 공정성이 달라질 수 있고, 한 데이터셋에서 검증된 개입은 조직이 배포하는 이질적 도메인 전반에서 거의 검증되지 않는다. 우리는 FAPE(Fairness Auditing for Production Environments)를 제시한다. 이는 Fairlearn의 ThresholdOptimizer라는 단일 사후 처리 개입을 8가지 도메인 평가—형사 사법, 소득 예측, 법학 입학, 신용 대출, 농업 대출, 다중 도메인 벤치마크 코퍼스, 의료, 교육—에서 평가하는 4단계 프레임워크이다. 각 평가는 인구통계적 균등(demographic parity)과 균등 오즈(equalized odds) 차이, 그리고 계산 가능한 경우 차등 영향 비율(disparate impact ratio)과 정확도 비용으로 채점된다. 개입 효과는 기준선 불균형의 크기를 따른다. 모델-도메인 쌍 전반에서 제약은 불균형이 큰 14건 중 9건에서 불균형을 개선했고, 거의 공정한 4건 중 3건에서는 악화시켰다. 불균형이 큰 예외 5건 각각은 최소 집단 크기 또는 홀드아웃 데이터에 맞춘 임계값이라는 두 측정 점검 중 하나에서 결과가 뒤집힌다. 배포 시 시작한 CUSUM 모니터를 시뮬레이션된 분포 변화에 대해 검증한 결과, 0.1 parity 관례를 한 번도 충족하지 못한 제약 모델과 충족했다가 이후 퇴행한 모델을 구분한다. 따라서 배포 시점의 단일 감사는 신뢰할 수 있는 지표가 아니며, 이는 기준선 불균형 스크리닝과 지속적 모니터링을 뒷받침한다.
아프리카 뇌 MRI에서 신경영상 파운데이션 모델의 일반화 성능 평가
Evaluating the Generalization of Neuroimaging Foundation Models on African Brain MRI
주로 서구권 코호트로 구성된 대규모 데이터로 사전학습(pre-training)된 신경영상 파운데이션 모델(foundation model)이 뇌 MRI 분석을 위한 범용 백본(backbone)으로 점점 더 많이 제안되고 있다. 그러나 이러한 모델이 대표성이 낮은 임상 집단에 대해 일반화될 수 있는지는 아직 대부분 검증(validation)되지 않았다. 본 연구에서는 최근 발표된 4개의 파운데이션 모델(BrainIAC, Neuro-JEPA, NeuroVFM, Primus)을 나이지리아 임상 뇌 MRI 데이터셋(dataset)에서 얻은 88명 피험자 코호트를 대상으로, 네 가지 모달리티 구성(T1w, T2w, T1w+T2w, FLAIR)에 걸쳐 대조군(Control), 치매(Dementia), 파킨슨병(Parkinson's disease)을 구분하는 3가지 분류(classification) 진단 과제에서 평가하고, 엔드투엔드(end-to-end)로 학습된 ViT3D 기준선(baseline)과 비교한다. 동결(frozen)된 백본들은 다수 클래스 예측으로 붕괴하는 반면, FLAIR에서의 Neuro-JEPA는 다소 완화되었으나 여전히 제한적인 판별력을 보인다. 반면 엔드투엔드로 학습된 ViT3D는 모든 과제에서 더 높은 정확도와 MCC를 달성하며(최대 정확도 53.4%, MCC=0.27), 유의미한 재현율(recall)을 보이는 유일한 모델이다. 이러한 결과는 동결된 신경영상 파운데이션 모델들이 규모가 작은 비서구권 임상 코호트에서의 세밀한 진단 분류에는 충분하지 않음을 시사하며, 글로벌 헬스(global health) 환경에서의 공평한 배포를 위해 매개변수(parameter) 효율적인 적응(adaptation)과 더 폭넓은 다기관 외부 검증의 필요성을 제기한다.
무해해 보이는 데이터, 잠재적 이데올로기: 파인튜닝된 LLM에서의 이데올로기적 일반화
Innocuous-Seeming Data, Latent Ideology: Ideological Generalisation in Finetuned LLMs
언어 모델을 소규모의 큐레이션된 데이터셋으로 파인튜닝하는 것은 특정 정책이나 도메인에 맞게 모델을 조정하는 표준 관행이다. 우리는 사실적으로 방어 가능하고 조율 기준을 통과하는 좁은 데이터에 대한 파인튜닝이 일반 역량은 유지하면서도 관련 없는 도메인 전반에 걸쳐 광범위한 이데올로기적 변화를 일으킬 수 있음을 보인다. 우파 또는 좌파 성향의 경제학 Q&A로 GPT-4.1을 학습(training)시키면 형사 사법, 환경, 문화적 취향 같은 주제에서도 대응되는 이데올로기적 변화가 나타난다. 동일한 효과는 직장 HR 정책과 실용 금융 질의처럼 실제로 배포 가능한(plausibly-deployed) 데이터셋에서도 나타나며, 과학-사이비과학 축에서는 식품 안전 파인튜닝이 거짓 건강 신념을 표현하는 사용자에게 아첨하는 동의를 증가시킨다. 우리는 이 현상을 이데올로기적 일반화(ideological generalisation)라 부르고, 두 가지 속성을 측정하는 방법론을 제안한다: breadth(폭)—학습에 없는 주제 전반으로 변화가 얼마나 멀리 미치는지—, amplification(증폭)—동일 예시에 대한 퓨샷(few-shot) 프롬프팅 대비 파인튜닝이 변화를 얼마나 강화하는지. 우리는 퓨샷 프롬프팅이 일반화 방향을 가리키지만 파인튜닝은 모델(model)을 더 극단으로 밀어내며, 인종-IQ 연관성 옹호와 정치적 폭력 같은 분포 밖(out-of-distribution) 출력까지 이르게 함을 보인다. 이 효과는 Gemma-3에서도 재현되고, 판정자 없는 평가와 외부 벤치마크에서도 유지되며, 일반 데이터와 혼합해도 사라지지 않고, GSM8K 정확도는 기준선(baseline) 대비 $\pm 1$pp 이내로 유지된다.
RED-Sphere: 교차 집단 안저 질환 도메인 일반화를 위한 초구면 잔차 에지 편향 제거
RED-Sphere: Hyperspherical Residual Edge Debiasing for Cross-Population Fundus Disease Domain Generalization
의료 이미지 분류기는 흔히 단일 소스 집단 내에서 학습되지만, 임상 배포 시에는 외형, 촬영 방식, 질병 유병률이 소스 코호트와 다른 환자들에 대한 강건성이 요구된다. 기존의 공정성 및 강건성 방법들은 그룹 감독을 필요로 하거나 외형 변화를 단순한 잡음으로 처리하는 경우가 많으며, 이는 집단과 상관된 저수준 단서와 병변 증거가 에지 및 텍스처 구조를 공유할 때 불충분하다. 우리는 엄격한 소스 전용 교차 집단 설정을 연구하며, 이 설정에서는 외부 집단이 최적화, 검증, 스케줄링, 하이퍼파라미터 및 모델 선택 과정에서 관측되지 않는다. 우리는 미관측 집단 이동 하에서의 이미지 분류를 위한 플러그 앤 플레이 강건성 프레임워크인 RED-Sphere를 제안한다. 이 프레임워크는 에지 및 특징 에너지 사전 분포를 이용해 단축 경로에 민감한 잡음 응답을 추정하고, 잔차 소프트 게이팅을 통해 지배적인 응답을 약화시키며, 반사실적 영감의 일관성 및 분리 손실로 마스킹된 잡음 뷰를 정규화하고, 정규화된 구면 프로토타입으로 레이블을 예측한다. 병변 구조를 보존하면서 소스와 상관된 활성화 크기보다 각도적 의미론적 증거를 선호한다. 노인성 황반변성(AMD)과 당뇨망막병증(DR)을 위한 2D 주사 레이저 안저경(SLO) 안저 분류에서 시연되었지만, RED-Sphere는 망막 해부학에 국한되지 않는다: 외형 단축 경로와 의미론적 증거가 얽혀 있는 모든 곳에서 양식 특화 잡음 사전 분포와 함께 동일한 원리를 적용할 수 있다. 엄격한 백인 전용 Harvard-FairVision 프로토콜 하에서, RED-Sphere는 20가지 태스크 및 백본 비교 전반에 걸쳐 보류 매크로-F1을 향상시키며, AMD와 DR에서 각각 평균 1.28 및 2.98 F1 포인트의 향상을 달성한다. AUC 및 PR-AUC의 향상, 시각적 진단, 절제 연구, 민감도 분석은 더 강력한 외부 의미론적 정렬과 더 안정적인 각도 질환 기하학을 추가로 지지한다.
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
Peak-End-Net: 피크-엔드 규칙(peak-end rule)에서 영감을 받은 일반화 가능한 비디오 미적 평가 프레임워크
Peak-End-Net: A Peak-End Rule Inspired Framework for Generalizable Video Aesthetic Assessment
비디오 미적 평가(VAA)는 비디오가 미적으로 얼마나 만족스러운지 예측하는 것을 목표로 하지만, 다른 시각 평가 작업에 비해 훨씬 덜 탐구되어 왔다. 그 발전은 대규모 벤치마크(benchmark)의 부족뿐 아니라, 인간 지각에 의해 형성되는 미적 판단의 내재적 주관성에 의해서도 저해된다. 본 논문에서는 심리학적 관점에서 VAA를 재검토하고, 사람들이 시간적 경험을 주로 두드러진 순간(salient moments)과 끝(end)에 따라 판단하는 경향이 있다고 제안하는 피크-엔드 규칙에서 영감을 받은 경량이며 해석 가능한 프레임워크인 Peak-End-Net을 제안한다. 이 직관에 기반하여, 먼저 사전학습된 IAA 헤드를 도입하여 프레임별 미적 사전 신호(aesthetic priors)를 생성함으로써 이미지 미적 평가(IAA)에서 VAA로 지식을 전이한다. 이는 미적으로 두드러진 순간을 식별하고 피크-엔드 규칙 기반 시간적 집계(temporal aggregation)를 안내하는 대리 신호(surrogate signals) 역할을 한다. 또한 비디오가 시간에 따라 미적으로 어떻게 변화하는지 더 포착하기 위해, 고립된 순간을 넘어 시간적 진행(temporal progression)을 모델링하는 미적 리듬 인코더(aesthetic rhythm encoder)를 설계한다. 또한 분포 이동(distribution shift) 하에서의 견고성(robustness)을 향상시키기 위해 동적 게이트 융합(dynamic gated fusion) 메커니즘을 통해 전체 평가를 정제한다. 우리 방법은 고정된 비전 트랜스포머(ViT) 위에 구축되며, 학습 가능한 매개변수가 소량만 필요하여 확장 가능하고 매개변수 효율적(parameter-efficient)이다. VADB에서의 도메인 내(in-domain) 평가와 DIVIDE-3K에서의 교차 도메인(cross-domain) 테스트를 포함한 두 기존 VAA 벤치마크에 대한 광범위한 실험은, 우리 접근법이 최신(state-of-the-art) 성능을 달성함을 보여주며, VAA를 위한 심리학적 기반(psychologically grounded) 모델링의 가치를 확인한다. 코드와 모델은 https://github.com/AMAP-ML/Peak-End-Net 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.