복잡하고 변화하는 세상에서도 선형 모델이 여전히 유효할 수 있는 이유
Why Linear Models Can Still Work in a Complex and Changing World
한국어 초록
선형 모델은 기저 메커니즘이 비선형적인 경우에도 복잡한 도메인에서 우수한 예측 성능을 보일 수 있습니다. 본 연구에서는 세상의 복잡성이 유한하고 부분적으로만 관측된 데이터로부터 신뢰성 있게 학습(training)할 수 있는 복잡성을 초과하기 때문에 이러한 현상이 발생할 수 있다고 주장합니다. 유연한 모델은 특정 병원, 기간, 집단, 정책 환경(environment) 또는 측정 과정에는 적합하지만 다른 환경에서는 실패하는 곡률, 임계값, 상호작용을 과도하게 활용할 수 있습니다. 이러한 불안정성이 주로 비선형 구성 요소에 존재하는 경우, 이를 생략함으로써 새로운 환경에서 선형 모델의 예측 오차를 더 낮출 수 있습니다. 본 논문은 이 주장을 단순 선형 규칙, 바이어스(bias) 및 분산, 정규화(regularization), 최적 선형 예측, 측정 오차, 분포 변화(distribution shift), 불변성, 라쇼몽 집합(Rashomon sets), 그리고 과소지정(underspecification)에 관한 연구들과 연결합니다. 명제 1(Proposition 1)은 학습 환경에서 학습된 비선형 규칙이 너무 약하게 전이되어 대상 오차를 증가시키는 단순 제곱 오차 사례를 제시하며, 유한 표본 추정 오차는 이러한 결과를 더욱 강화할 수 있습니다. 부분 관측만으로는 충분하지 않으며, 관측된 변수와 관측되지 않은 요인 간의 연결 관계가 환경 전반에 걸쳐 변화해야 합니다. 안정적인 비선형 구조는 유연한 모델에 유리하지만, 선형 모델 역시 선형적인 가짜 관계(spurious relationships)에 취약한 상태로 남아 있습니다. 따라서 모델 복잡성은 학습 데이터의 정확도뿐만 아니라 환경 간 안정성을 함께 고려하여 선택되어야 합니다.
원문 초록
Linear models can predict well in complex domains even when underlying mechanisms are nonlinear. We argue that this can occur because the complexity of the world exceeds the complexity that can be learned reliably from finite, partially observed data. Flexible models can exploit curvature, thresholds, and interactions that fit one hospital, period, population, policy setting, or measurement process but fail elsewhere. When this instability lies mainly in the nonlinear component, omitting it can give linear models lower prediction error in a new environment. We connect this claim to work on simple linear rules, bias and variance, regularization, best linear prediction, measurement error, distribution shift, invariance, Rashomon sets, and underspecification. Proposition 1 gives a simple squared-error case in which a nonlinear rule learned in the training environment raises target error because it transfers too weakly; finite-sample estimation error can strengthen this result. Partial observation alone is not enough: the link between observed variables and unobserved factors must vary across environments. Stable nonlinear structure favors flexible models, and linear models remain vulnerable to linear spurious relationships. Model complexity should therefore be chosen by cross-environment stability as well as training-data accuracy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
불일치를 넘어서: 비정상 가중 위험 최소화에서의 오라클 드리프트
Beyond Discrepancy: Oracle Drift in Nonstationary Weighted Risk Minimization
본 논문에서는 초과 위험(excess risk)을 추정, 드리프트, 근사 성분으로 분해하여 비정상 가중 위험 최소화(nonstationary weighted risk minimization)에서의 분포 드리프트를 분석합니다. 기존에는 드리프트 오차를 예측 모델(predictor) 클래스 전반에 걸친 위험의 변화를 제어하는 불일치 유형의 양(discrepancy-type quantities)을 통해 제한하는 것이 일반적이었습니다. 이와 달리 본 연구에서는 드리프트 오차를 모델 클래스 내 최적 예측 모델의 이동과 직접 연관 짓고, 매개변수화된 회귀 모델에서 이러한 거동을 분석합니다. 우리의 분석에 따르면 불일치 유형의 양은 지나치게 보수적일 수 있습니다. 본 논문의 오라클 드리프트(oracle drift)와 달리, 이러한 기존 양은 그에 따른 초과 위험 기여도보다 더 큰 차수로 스케일링될 수 있으며, 최적 예측 모델에 영향을 주지 않는 위험 표면의 변화에도 반응할 수 있습니다. 선형 회귀에 대해 우리는 이러한 격차를 정밀하게 규명하고, 그에 따른 드리프트 경계를 추정 보장과 결합합니다. 나아가 비모수 회귀로도 분석을 확장합니다.
EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링
Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS
생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.
분포 변화 하에서 확산 모델의 강건성
Robustness of Diffusion Models under Distribution Shift
스코어 기반 확산 모델(score-based diffusion models)은 기저 데이터 분포가 학습(training) 분포와 다를 수 있는 환경에서 점차 많이 고려되고 있으나, 기존의 이론적 보장은 주로 분포 변화가 없는 환경에 초점을 맞추고 있습니다. 본 연구에서는 기준 분포의 바서슈타인 섭동(Wasserstein perturbations) 하에서 강건한 스코어 추정을 연구합니다. 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 확산에 대해, 강건한 추정이 두 가지 핵심 요소, 즉 기준 분포를 학습하는 데 따르는 통계적 비용과 분포 변화 자체의 본질적 비용으로 분해됨을 보입니다. 후자는 바서슈타인 반경에 대해 2차(quadratically)로 스케일링되며, 이러한 의존성은 미니맥스 최적(minimax optimal)입니다. 우리는 변화 반경을 알지 못하더라도 도출된 강건한 미니맥스 속도를 달성하는 명시적인 유한 표본 추정기를 구성합니다. 기준 분포가 미지의 저차원 부분공간에 놓여 있을 때, 통계적 항은 본질적 차원에 적응하는 반면 변화 비용은 변하지 않은 채 유지됩니다. 마지막으로, 우리는 동일한 분해가 양의 시간 역방향 샘플링(positive-time reverse sampling)에도 적용됨을 보이고 KL 발산에서 일치하는 미니맥스 보장을 도출합니다. 종합적으로, 이러한 결과들은 유한한 데이터, 본질적 차원, 그리고 분포 변화가 스코어 기반 확산 모델의 강건성에 미치는 영향을 규명합니다.
CVaR 앵커 회귀는 희귀 변화에 대비한다
CVaR anchor regression protects against rare shifts
학습 데이터에 드물고 큰 분포 변화가 포함된 경우 새로운 환경에서의 예측을 연구한다. 앵커 회귀(anchor regression)는 환경별 제곱 평균 잔차의 평균에 페널티를 부과하며, 학습 변화의 2차 모멘트로 정해지는 타원체 내 변화에 대비한다. 희귀 변화까지 포괄하려면 큰 페널티가 필요할 수 있어 타원체가 모든 방향으로 커지고, 흔한 환경에서의 정확도가 떨어질 수 있다. 우리는 제곱 평균 잔차의 평균을 꼬리 평균(tail average)으로 바꾼 CVaR 앵커 회귀를 제안한다. 예측 위험에 CVaR이나 GroupDRO를 직접 적용하는 경우와 달리, 노이즈 수준이 높다는 이유만으로 특정 환경에 더 큰 가중치를 주지 않는다. 이질분산(heteroscedastic) 노이즈를 허용하는 선형 구조 모델에서 정확한 최악 경우 위험 보장을 증명한다. 이산 환경에서는 CVaR 꼬리 비율(tail fraction)을 줄일수록 견고성 집합이 타원체에서 학습 변화와 그 음의 스케일된 볼록 껍질(convex hull)로 넓어지며, 별도 매개변수가 그 스케일을 조절한다. 예시를 통해 흔한 환경의 정확도는 유지하면서 희귀 변화에 대한 보호를 개선할 수 있음을 보인다. 뉴욕시 택시 데이터로 방법을 시연한다.
ALPINE: 매개변수 및 샘플 효율적인 퓨샷 학습을 위한 적응형 위치 추정
ALPINE: Adaptive Localization for Parameter- and Sample-Efficient Few-Shot Learning
퓨샷 학습(Few-shot learning) 연구는 대규모 연산 자원이 없는 실무자들에게 현실적인 제약인 정확도 도달에 필요한 매개변수 및 학습 샘플 예산에 대한 관심은 제한적인 채, 주로 정확도만으로 평가됩니다. 본 논문에서는 고정된 가보르(Gabor) 에지 에너지 유도와 윈도우 기반의 콘텐츠 적응형 패치 위치 추정기(patch locator)를 결합한 퓨샷 이미지 분류를 위한 초경량(22,249-34,917개 매개변수) 공간-관계형 아키텍처를 제시합니다. 엄격하게 통제된 동일 에피소드 예산(iso-episode-budget) 프로토콜(250회 메타 학습 에피소드, 5개 표준 시드, 시드당 600회 평가 에피소드) 하에서, 본 아키텍처는 CIFAR-FS와 MiniImageNet 모두에서 Prototypical Networks, Relation Networks, MAML 대비 모든 5개 시드에 걸쳐 일관된 5-샷(5-shot) 정확도 향상을 달성하는 동시에, 어떠한 기준선보다 27-53% 적은 매개변수를 사용합니다. 또한 더 적은 학습 에피소드에서 수렴하고, 접하지 않은 세분화된 도메인(CUB-200-2011 조류, 재학습 없음)으로 더 잘 일반화되며, 세 기준선 모두에 비해 50% 폐색(occlusion) 및 25% 공간 이동(spatial translation)에 더욱 견고합니다. 추론 시 관계 토큰을 0으로 설정하거나 관계 토큰을 완전히 배제하고 재학습하는 일련의 반증 절제 연구(falsification ablations)를 통해 아키텍처의 쌍별(pairwise) 관계 연산이 존재하긴 하지만 성능의 주된 동인은 아니며, 콘텐츠 적응형 패치 위치 추정기가 핵심 동인임을 보여줍니다. 우리는 약 22-35k 매개변수 근처에서 진정한 정확도 안정 상태(plateau)를 나타내는 용량 탐색(capacity sweep) 결과와 함께 이를 솔직하게 보고하며, 재현성을 위해 전체 시드 수준의 결과와 체크포인트 해시를 공개합니다.
mmSimPrior: 데이터 효율적이고 실세계에서 일반화 가능한 레이더 기반 인체 동작 재구성을 위한 시뮬레이션 사전 학습
mmSimPrior: Learning Simulation Priors for Data-Efficient Real-World Generalizable Radar-Based Human Motion Reconstruction
밀리미터파(mmWave) 레이더는 인체 동작 재구성을 위한 프라이버시 보존적이고 조명에 강건한 센싱을 제공하지만, 실제 배포 환경 전반에서 일반화되는 모델을 학습하려면 수집 비용이 높은 다양한 레이더-동작 페어 데이터가 필요하다. 시뮬레이션은 확장 가능한 감독(supervision)을 제공하지만, 깨끗한 합성 신호로 학습된 모델은 다중경로(multipath), 클러터(clutter), 응답 통계, 해상도 저하로 인해 전이(transfer) 성능이 낮다. 우리는 전이 가능한 지식을 신호, 동작, 레이더-동작 매핑 사전(prior)으로 분해하는 시뮬레이션 사전학습(pre-training) 프레임워크인 mmSimPrior를 제안한다. 다중모달 신호 인코더는 전파 및 획득 수준의 변화를 모사하는 물리 기반 도메인 랜덤화(domain randomization) 커리큘럼으로 사전학습되며, 결합-시간(joint-temporal) 토크나이저는 그럴듯한 인체 동작에 대한 이산 사전을 학습한다. 공유 매핑 사전은 제약된 제로샷 재구성을 위한 학습된 동작 코드북(codebook)에 대한 분류(classification)와, 유연한 소량 데이터 적응을 위한 연속 회귀(regression)를 지원한다. 또한 420만 프레임, 3.1만 시퀀스 규모의 데이터셋(dataset) 스위트를 구축하고, 적응(adaptation)과 테스트 간에 동일한 피험자-환경(environment)-위치-동작 구성의 완전한 반복을 배제하는 No-Overlap Setting을 도입한다. mmSimPrior-Real 및 RT-Pose에서의 실험은 일관된 향상을 보여준다. 실제 페어 시퀀스 24개만으로 mmSimPrior-Reg는 세 환경(environment) 전반에서 가장 강한 기준선(baseline) 대비 MPJPE를 24.7%에서 39.0%까지 감소시키며, mmSimPrior-Cls는 파인튜닝(fine-tuning) 없이 제로샷 MPJPE를 8.5% 감소시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.