ForAug는 이미지 분류 데이터셋의 구성적 편향(배경 의존성, 중심 편향, 크기 편향)을 완화하기 위해 학습 이미지를 전경 객체와 배경으로 분리한 뒤 재조합하는 데이터 증강 기법이다. 오프더쉘프 세그멘테이션·인페인팅 모델을 활용해 전경-배경 상관관계를 명시적으로 차단함으로써, 10개 아키텍처에서 ImageNet top-1 정확도를 최대 6 p.p., 분포 변화 벤치마크에서 최대 19 p.p. 향상시켰다.
LLM 기반 자동 휴리스틱 설계(AHD)가 고정된 학습 인스턴스 분포에 과적합되어 실제 배포 시 분포 이동(distribution shift)에 취약한 문제를 해결하기 위해, RAISE 프레임워크는 LLM 진화 탐색의 외부 루프와 LLM-free 적대적 인스턴스 탐색의 내부 루프를 결합한 이중 수준 구조를 제안한다. Online Bin Packing, Job Shop Scheduling, Vehicle Routing 등 세 가지 조합 최적화 과제에서 기존 LLM 기반 AHD 방법이 분포 이동 시 최대 19배 성능 저하를 보인 반면, RAISE는 모든 테스트 분포와 문제 규모에서 일관되게 강건한 성능을 유지하였다.
그래프 신경망(GNN)의 분포 변화(distribution shift) 문제를 해결하기 위해, T3R은 Rotograd 행렬을 활용해 목표 태스크와 보조 태스크 간의 그래디언트 정렬을 개선하고 자기지도(self-supervised) 신호를 회전시켜 대리 그래디언트를 생성함으로써 거의 전체 아키텍처에 걸친 테스트 시간 학습(TTT)을 가능하게 한다. 실험 결과, T3R은 회귀 데이터셋에서 표준 추론 대비 MAE를 0.172포인트 줄이고 OGB 분류 벤치마크에서 최소 9.37%의 상대적 성능 향상을 달성했다.
흉부 X-ray(CXR) 공개 데이터셋은 오랫동안 헬스케어 분야에서 기계학습(ML) 컴퓨터 비전(CV) 모델을 개발하기 위한 인기 있는 벤치마크였다. 그러나 이러한 모델의 보고된 강력한 평균 케이스 성능은 이질적인 임상 환경에서 사용될 때 실제 유용성을 반드시 반영하는 것은 아니며, 의학적으로 중요한 시나리오에서의 더 낮은 성능을 가릴 수 있다. 본 연구에서는 CXR 진단을 위한 모델에 대한 보다 포괄적인 평가를 제공하기 위해 임상 맥락을 활용한다. 구체적으로, 각 CXR 이전에 기록된 퇴원 요약을 사용하여 각 CXR 라벨에 대한 ``pre-CXR'' 확률을 도출하며, 이는 CXR 해석 시 임상의에게 제공되는 기존 맥락적 지식의 대리 지표로 삼는다. 우리는 이 측정값을 사용하여 두 가지 차원에서 모델 성능을 탐구한다. 첫째, 층화 분석(stratified analysis)을 통해 pre-CXR 확률이 높은 개인들 사이에서 모델이 (AUROC 및 기타 지표로 측정할 때) 더 낮은 성능을 보이는 경향이 있음을 보인다. 둘째, 매칭(matching)과 재가중(re-weighting)을 통해 pre-CXR 확률을 통제함으로써, 사전 맥락과 현재 CXR 라벨 간의 상관관계가 깨질 때 성능이 저하됨을 보여 주며, 이는 모델 성능이 임상 맥락의 기저 분포에 매우 민감함을 시사한다. 특히, 사전 검사 확률(pre-test probability)이 높은 케이스는 근본적으로 더 어려운 시각적 분류 과제를 제시하며, 고위험 코호트(high-risk cohort)에 모델을 적용할 때 임상적 유용성의 격차를 부각한다.
마이크로바이옴 풍부도 데이터에서 표 형식 기반 모델(TFM)의 현실적 쿼리 분포 이동 견고성을 평가하기 위해, 미교란 지원 집합을 문맥으로 두고 쿼리 샘플에만 생물학적 섭동을 적용하는 문맥 내 학습(ICL) 벤치마크를 제안한다. 6개 장내 미생물군 데이터셋 실험에서 판별적 분류군을 보존해도 모든 섭동이 성능을 떨어뜨렸고, 허위 0이 아닌 값 주입(zero-imputation)이 가장 큰 손실을 낳았으며, zero-inflation 기반 희소화는 랜덤 포orest보다 TFM에 더 불리하게 작용했다.
깊은 신경망은 종종 잘못 보정된 신뢰도 추정치를 생성하며, 예측이 틀렸을 때조차 확실성을 과대평가한다. Temperature Scaling은 단순함과 효과성 덕분에 가장 널리 사용되는 사후(post-hoc) 보정 방법으로 남아 있지만, logits에 대한 전역적이고 균일한 재스케일링은 신뢰도 스펙트럼 전반에서 관찰되는 보정 불량(miscalibration)의 고도로 이질적인 구조를 교정하지 못한다. 특히 설정에 따라 가장 큰 정확성-신뢰도 불일치는 서로 다른 분위수 영역에서 발생하며, 불확실성이 가장 중요한 저신뢰도 예측에서 가장 큰 정확성-신뢰도 불일치가 나타나는 경향이 있는데, 표준 TS는 이를 대부분 해결하지 못한다. 우리는 예측의 경험적 신뢰도 분위수의 함수로 온도를 적응시키는 단순하고 효율적인 사후 보정 방법인 Quantile Adaptive Temperature Scaling(QaTS)를 제안한다. 신뢰도를 분위수 공간으로 매핑함으로써 QaTS는 보정 문제를 정규화하고, 보정 불량의 구조를 명시적으로 드러내며, 분위수에 걸쳐 적응하는 단조(monotone) 온도 함수를 가능하게 하면서 잘 보정된 고신뢰도 예측은 대체로 변하지 않게 하여 고신뢰도 거동을 보존한다. 이 분위수 인식(quantile-aware) 공식화는 재매개변수화된 Expected Calibration Error(ECE) 목적함수와 자연스럽게 정렬되며, 클래스 불균형 및 분포 이동(distributional shift)과 같은 다양한 어려운 시나리오에서 견고한 샘플별 온도를 제공한다. 다양한 데이터셋, 아키텍처, 평가 시나리오 및 다양한 작업에 걸쳐 QaTS는 일관되고 상당히 최신 사후 보정 방법들을 능가하며, 모델 예측을 수정하지 않고 더 신뢰할 수 있고 믿을 만한 신뢰도 추정치를 제공한다.
캘리브레이션은 모델의 예측 불확실성을 경험적 결과의 빈도와 정렬하며, 보고된 확률을 이해하고 신뢰하는 데 중요합니다. 최근 연구에 따르면 개별 예측기 수준에서 캘리브레이션을 적용하면 앙상블 정확도와 캘리브레이션을 향상시킬 수 있으며, 특히 전문가 혼합(MoE) 모델에서 강력한 경험적 개선을 보여줍니다. 그러나 캘리브레이션이 MoE에 도움이 되는 조건은 아직 잘 이해되지 않았습니다. 본 연구에서는 분포 변화 하에서 MoE 모델이 어떻게 작동하는지 연구하며, 라우팅 메커니즘이 전문가 수준 캘리브레이션과 어떻게 상호작용하는지에 초점을 맞춥니다. 우리는 전문가 캘리브레이션이 하드 라우팅 모델에서 광범위한 분포 변화 클래스 하에서 전체 모델의 캘리브레이션을 보장하는 데 충분하지만, 소프트 라우팅 모델을 캘리브레이션하는 데에는 불충분하다는 것을 보여줍니다. 이를 해결하기 위해 우리는 분포 변화 하에서 라우팅된 집계의 캘리브레이션 오류에 페널티를 부과하는 적대적 재가중치(adversarial reweighting)를 제안하며, 이것이 모델 클래스, 예측 작업 및 분포 변화에 걸쳐 평균적으로 그리고 데이터의 어려운 하위 집합에서 정확도-캘리브레이션 트레이드오프를 개선함을 입증합니다.
도메인 일반화(domain generalization) 문제는 새롭고 이전에 본 적 없는 환경에 배포될 때 분포 변화에 강인한 예측 모델을 학습하는 것을 다룹니다. 기존 방법들은 일반적으로 여러 학습 환경에서 레이블이 있는 데이터를 요구하므로, 레이블이 있는 데이터가 부족한 상황에서는 그 적용 가능성이 제한됩니다. 본 연구에서는 결과(outcome)가 관측된 공변량(covariates)의 원인이 되는 반인과적(anti-causal) 설정에서 도메인 일반화를 연구합니다. 이러한 구조에서 공변량에 영향을 미치는 환경 섭동(perturbation)은 결과로 전파되지 않으므로, 이러한 섭동에 대한 모델의 민감도를 정규화하는 동기를 부여합니다. 중요한 점은 이러한 섭동 방향을 추정하는 데 레이블이 필요하지 않다는 것으로, 이를 통해 여러 환경의 레이블이 없는 데이터를 활용할 수 있습니다. 우리는 각각 환경 간 공변량의 평균 및 공분산 변동에 대한 모델의 민감도를 억제하는 두 가지 방법을 제안하며, 특정 환경 클래스 하에서 이 방법들이 최악의 경우 최적성 보장을 가짐을 증명합니다. 마지막으로, 제어된 물리적 시스템과 생리 신호 데이터셋(dataset)에서 본 접근 방식의 실증적 성능을 입증합니다.
시간에 따라 분포가 변하는 불안정한 특징으로 인한 모델 성능 저하 문제를 해결하기 위해, 회귀 모델을 활용해 타임스탬프 예측에 기여하는 특징을 자동으로 감지하는 TEDD 기법을 제안한다. 이 방법은 파라미터 튜닝 없이 수치형 및 범주형 특징의 다양한 변화 패턴과 다변량 드리프트(multivariate drift)를 효과적으로 감지한다.