Towards a theory of out-of-distribution learning
원문 초록
Learning is a process wherein a learning agent enhances its performance through exposure of experience or data. Throughout this journey, the agent may encounter diverse learning environments. For example, data may be presented to the leaner all at once, in multiple batches, or sequentially. Furthermore, the distribution of each data sample could be either identical and independent (iid) or non-iid. Additionally, there may exist computational and space constraints for the deployment of the learning algorithms. The complexity of a learning task can vary significantly, depending on the learning setup and the constraints imposed upon it. However, it is worth noting that the current literature lacks formal definitions for many of the in-distribution and out-of-distribution learning paradigms. Establishing proper and universally agreed-upon definitions for these learning setups is essential for thoroughly exploring the evolution of ideas across different learning scenarios and deriving generalized mathematical bounds for these learners. In this paper, we aim to address this issue by proposing a chronological approach to defining different learning tasks using the provably approximately correct (PAC) learning framework. We will start with in-distribution learning and progress to recently proposed lifelong or continual learning. We employ consistent terminology and notation to demonstrate how each of these learning frameworks represents a specific instance of a broader, more generalized concept of learnability. Our hope is that this work will inspire a universally agreed-upon approach to quantifying different types of learning, fostering greater understanding and progress in the field.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
라동 정리를 통한 부분 개념 클래스의 VC 차원
The VC dimension of partial concept classes via Radon's theorem
Alon, Hanneke, Holzman, Moran(FOCS 2021)을 따라, 우리는 부분 개념 클래스(PCC)를 부분 함수 $f: V\to\{0,1,\ast\}$의 집합족으로 정의한다. 이는 동등하게 각 개념이 기반 집합을 흑색($f^{-1}(1)$), 회색($f^{-1}(\ast)$), 백색($f^{-1}(0)$) 부분으로 분할하는 것을 의미한다. PCC의 VC 차원은 값 $\ast$가 취해지지 않는 집합들을 분쇄(shattering)함으로써 정의된다. 우리는 실수 바나흐 공간(Banach space)에서 마진 $\delta>0$을 가진 두 가지 기하학적 PCC를 연구한다: 확장된 반공간(expanded half-spaces)은 회색 부분이 반공간에 인접한 너비 최소 $\delta$인 띠이며, 확장된 공(expanded balls)은 회색 부분이 단위 반지름 공 주위의 너비 $\delta$인 환형(annulus)이다. 우리의 주요 결과는 $L_p(\mu)$, $1\le p<\infty$에서 확장된 공의 PCC에 대한 VC 차원의 차원 독립적 상한이며, 여기에는 비유클리드적이고 알고리즘적으로 특히 중요한 $\ell^d_1$ 경우가 포함된다. 이 상한들은 마진과 반지름에 의존하지만, 주변 차원이나 기저 측도 공간에는 의존하지 않는다. 이는 유클리드 공간, 즉 $\ell^d_2$에서 확장된 공의 PCC를 연구한 Bourneuf, Charbit, Thomassé(FOCS 2025)의 연구를 확장한 것이다. 또한 마진 매개변수 $\delta$ 측면에서 상한과 일치하는 VC 차원의 하한도 증명한다. 마지막으로, 기존 유클리드 결과를 확장하여 $L_p$ 공간에서 조밀 이웃 보조정리(Dense Neighborhood Lemma)를 유도한다. 우리의 방법은 비자명한 라데마허(Rademacher) 타입의 공간으로의 사상을 통한 거리의 선형화(linearization)와, 균형 잡힌 부호 합 추정 또는 무차원 라동 정리(no-dimensional Radon theorem)의 활용에 의존한다. 이 논증은 해당 분야 비전문가를 위해 명확하게 설명된 함수 해석학(functional analysis)의 아이디어에 기반한다.
시뮬레이터를 활용한 학습: 계산적으로 제한된 세계에서의 후회 없음
Learning with Simulators: No Regret in a Computationally Bounded World
일반화에 필요한 최소한의 가정을 이해하는 것은 학습 이론의 근본적인 질문입니다. 불행히도 대부분의 결과는 데이터 생성 과정의 독립성(또는 그 대리 수단)에 크게 의존하는 반면, 강하게 의존적인 데이터에 대한 결과는 훨씬 제한적입니다. 이러한 격차를 해소하기 위해, 우리는 시뮬레이션 가능한 프로세스(simulatable processes)의 프레임워크를 도입합니다. 여기서 학습자는 데이터를 생성하는 분포(임의로 복잡하고 의존적인 프로세스일 수 있음)를 근사하는 시뮬레이터에 접근할 수 있습니다. 놀랍게도, 이러한 시뮬레이터에 대한 접근 권한이 주어지면 독립적인 데이터가 있는 고전적인 설정과 동일한 학습 보장, 즉 VC 차원(VC dimension)에 의존하는 오차 한계를 회복할 수 있음을 보여줍니다. 또한, 우리는 이 프레임워크를 사용하여 조건부 샘플링(conditional sampling)의 힘을 연구하고, 이 설정에서 엄격한 통계적 및 계산적 이점이 있음을 보여줍니다. 우리 프레임워크의 하이라이트로, 우리는 제한된 다항식 시간 내에 샘플링 가능한 모든 프로세스에서 주어진 VC 클래스를 동시에 학습하는 단일 알고리즘을 제시합니다. 이때 후회(regret)는 프로세스의 시간 제한 콜모고로프 복잡도에 의해 제어됩니다. 이는 고전적인 PAC 모델의 개념적 범위를 크게 확장하는 것입니다.
가중치에서 특징으로: 거대 언어 모델의 지속 학습을 위한 희소 오토인코더 기반 활성화 정규화
From Weights to Features: Sparse-Autoencoder-Guided Activation Regularization for Continual Learning in Large Language Models
탄성 가중치 통합(EWC)과 같은 가중치 보호 정규화 기법은 파국적 망각에 대한 표준적인 방어책이다. 그러나 거대 언어 모델의 순차적 미세조정에서는 페널티 튜닝으로 해결할 수 없는 안정성-가소성 트레이드오프가 나타난다. 우리는 이러한 한계가 부분적으로 다의성(polysemanticity) 때문이라고 본다. 각 가중치가 서로 무관한 여러 개념에 관여하므로, 가중치별 중요도 점수로는 보호가 필요한 지식을 분리해 내기 어렵다. 대신 우리는 사전 학습된 희소 오토인코더(SAE)를 대략적으로 단의미적인 특징들의 고정된 사전으로 사용하여 활성화 공간에서 정규화한다. 지속 학습을 특징 드리프트에 대한 제약 최적화로 정식화하며, 보존할 특징에는 안정성 제약을, 현재 과제가 사용하는 특징에는 가소성 제약을 둔다. 그리고 그 결과로 얻어지는 제곱 힌지 손실이 이 문제의 정규화된 라그랑주 완화이며 EWC가 그 특수한 경우임을 보인다. 리플레이 변형은 이전 과제당 저장된 200개의 시퀀스에서 드리프트를 측정하는 반면, 데이터 비의존 변형은 과제당 197 KB의 특징 마스크만 저장하며, 이는 EWC의 6.5 GB와 대비된다. TRACE(Gemma-2 9B, Llama-3.1 8B)와 MedCL(Gemma-2 9B)에서 리플레이 변형은 SAE 기반 특징 증류와 동등하거나 그 이상의 성능을 단계당 약 3분의 1의 비용으로 달성하며, 데이터 비의존 변형은 이전 과제 데이터를 저장하지 않고 과제별 파라미터를 추가하지 않는 방법 중 가장 높은 평균 전체 성능을 기록한다. 과제 관련 유닛은 SAE 기저에서는 선형 분리가 가능하지만 뉴런 기저에서는 그렇지 않으며(ROC-AUC 0.87-0.88 대 0.50), 가중치 공간 보호는 보호 대상 과제의 특징만큼이나 강하게 다른 과제의 특징도 제약한다.
DriftGuard: 진화하는 유해성 모더레이션을 위한 안전성 인식 다중 모니터 탐지 및 선택적 적응
DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation
자동화된 유해성 검열 시스템은 은어, 변화하는 표적, 단속에 대한 전략적 적응을 통해 유해 행위가 진화하는 동적인 온라인 환경에서 작동한다. 기존의 드리프트 탐지 방법은 흔히 전역적 분포 변화에 초점을 맞추지만, 이러한 신호는 국소적인 유해성 부분공간이나 위험도가 높은 모델 오류 영역에서 나타나는 안전 관련 변화를 놓칠 수 있다. 본 논문은 다중 모니터 드리프트 탐지와 선택적 모델 업데이트를 결합한 안전 인식 적응형 검열 프레임워크인 DriftGuard를 소개한다. 이 프레임워크는 전역 텍스트 드리프트, 정체성 관련 유해성 드리프트, 모델 불확실성, 유해 위험 드리프트, 위음성 위험 드리프트를 추적한다. 안전 관련 변화가 탐지되면, 위음성 가능성이 높은 사례, 정체성 관련 고위험 사례, 위양성 위험 사례, 불확실한 경계 사례를 우선하는 하드 믹스 적응 세트를 사용하여 모델을 업데이트한다. Civil Comments의 시간적 변화와 Jigsaw-to-DynaHate의 데이터셋 간 변화에 대한 실험 결과, 안전 인식 모니터는 전역 드리프트만으로는 놓치는 위험을 탐지한다. 하드 믹스 적응은 무업데이트 및 무작위 균형 베이스라인에 비해 유해 재현율과 정확도를 향상시킨다. 유해 재현율은 Civil Comments에서 0.8453에서 0.8777로, DynaHate에서 0.7107에서 0.8523으로 상승한다. 부트스트랩 분석은 DynaHate에서 안전성 향상이 안정적임을 추가로 보여 주며, 유해 재현율은 0.1418 증가하고 위음성 유병률은 0.0781 감소한다. 종합하면 DriftGuard는 안전 인식 드리프트 탐지를 표적화된 경량 모델 업데이트와 연결하여 더 강건한 적응형 유해성 검열을 가능하게 한다.
MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.
VC 학습의 최적 정보 복잡도
The optimal information complexity of VC learning
Steinke와 Zakynthinou(2020)는 알고리즘 의존적 정보이론적 양에 기반하여 학습 알고리즘의 정보 복잡도를 분석하는 조건부 상호정보량(CMI) 프레임워크를 도입했습니다. 본 연구에서는 이러한 양 중 하나인 평가된 조건부 상호정보량(eCMI)을 연구합니다. CMI를 통한 알고리즘 의존적 분석으로부터 VC 클래스에 대한 최적의 PAC 보장을 복원할 수 있는지는 흥미로운 질문이었습니다. 본 논문에서는 개념 클래스의 VC 차원이 d일 때, 실현 가능(realizable)한 경우에서 eCMI가 O(d) 차수인 학습 알고리즘을 구축함으로써 이러한 보장을 복원할 수 있음을 보입니다. 구체적으로 본 알고리즘은 최적의 기댓값 일반화 보장을 갖는 5개 기반 학습기의 무작위화된 다수결(Majority-of-5) 방식입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.