PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13404v1cs.LG

복잡하고 변화하는 세상에서도 선형 모델이 여전히 유효할 수 있는 이유

Why Linear Models Can Still Work in a Complex and Changing World

선형 모델은 기저 메커니즘이 비선형적인 경우에도 복잡한 도메인에서 우수한 예측 성능을 보일 수 있습니다. 본 연구에서는 세상의 복잡성이 유한하고 부분적으로만 관측된 데이터로부터 신뢰성 있게 학습(training)할 수 있는 복잡성을 초과하기 때문에 이러한 현상이 발생할 수 있다고 주장합니다. 유연한 모델은 특정 병원, 기간, 집단, 정책 환경(environment) 또는 측정 과정에는 적합하지만 다른 환경에서는 실패하는 곡률, 임계값, 상호작용을 과도하게 활용할 수 있습니다. 이러한 불안정성이 주로 비선형 구성 요소에 존재하는 경우, 이를 생략함으로써 새로운 환경에서 선형 모델의 예측 오차를 더 낮출 수 있습니다. 본 논문은 이 주장을 단순 선형 규칙, 바이어스(bias) 및 분산, 정규화(regularization), 최적 선형 예측, 측정 오차, 분포 변화(distribution shift), 불변성, 라쇼몽 집합(Rashomon sets), 그리고 과소지정(underspecification)에 관한 연구들과 연결합니다. 명제 1(Proposition 1)은 학습 환경에서 학습된 비선형 규칙이 너무 약하게 전이되어 대상 오차를 증가시키는 단순 제곱 오차 사례를 제시하며, 유한 표본 추정 오차는 이러한 결과를 더욱 강화할 수 있습니다. 부분 관측만으로는 충분하지 않으며, 관측된 변수와 관측되지 않은 요인 간의 연결 관계가 환경 전반에 걸쳐 변화해야 합니다. 안정적인 비선형 구조는 유연한 모델에 유리하지만, 선형 모델 역시 선형적인 가짜 관계(spurious relationships)에 취약한 상태로 남아 있습니다. 따라서 모델 복잡성은 학습 데이터의 정확도뿐만 아니라 환경 간 안정성을 함께 고려하여 선택되어야 합니다.