On the Disconnect Between Theory and Practice of Neural Networks: Limits of the NTK Perspective
원문 초록
The neural tangent kernel (NTK) has garnered significant attention as a theoretical framework for describing the behavior of large-scale neural networks. Kernel methods are theoretically well-understood and as a result enjoy algorithmic benefits, which can be demonstrated to hold in wide synthetic neural network architectures. These advantages include faster optimization, reliable uncertainty quantification and improved continual learning. However, current results quantifying the rate of convergence to the kernel regime suggest that exploiting these benefits requires architectures that are orders of magnitude wider than they are deep. This assumption raises concerns that architectures used in practice do not exhibit behaviors as predicted by the NTK. Here, we supplement previous work on the NTK by empirically investigating whether the limiting regime predicts practically relevant behavior of large-width architectures. Our results demonstrate that this is not the case across multiple domains. This observed disconnect between theory and practice further calls into question to what degree NTK theory should inform architectural and algorithmic choices.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
순차적 모델 학습에서의 롤링 컨포멀 예측
Rolling Conformal Prediction in Sequential Model Training
우리는 순차적 모델 학습(sequential model training) 환경을 위한 분포 무관(distribution-free) 예측 추론 방법인 롤링 컨포멀 예측(Rolling Conformal Prediction, rolling-CP)을 소개한다. 구체적으로, 데이터 스트림 $(X_1,Y_1),(X_2,Y_2),\dots$가 주어졌을 때, 각 시점 $n$에서 학습된 모델은 관측된 이력 $\{(X_i,Y_i)\}_{i<n}$에 의존할 수 있다. 이러한 설정은 대규모 데이터셋에 대한 단일 패스(one-pass) 학습, 그리고 배포 중 언어 모델의 지속적 미세조정 또는 테스트 시점 적응(test-time adaptation)을 포함한 현대의 순차적 학습에서 자연스럽게 나타난다. Rolling-CP는 먼저 새로 들어오는 각 관측값을 현재 예측기에 대해 보정(calibration)한 다음, 이를 이후의 학습에 편입시킨다(roll into). 이를 통해 데이터 분할이 필요하지 않게 된다. 놀랍게도, 시점 $n=1,2,\dots$의 모델들이 서로 완전히 다른 특성과 정확도 수준을 가질 수 있음에도 불구하고, 교환 가능(exchangeable) 데이터에 대해서는 안정성에 대한 어떠한 가정이나 모델 학습 과정에 대한 어떠한 제약 없이도 주변 커버리지(marginal coverage) 보장을 확립할 수 있으며, 이는 익숙한 보편적인 2배 인자 보장(목표 수준 $1-\alpha$ 대비 최악의 경우 $1-2\alpha$ 커버리지를 보장)의 형태를 띤다. i.i.d. 데이터 스트림의 경우, 시간에 대해 균등하게(uniformly) 성립하는 고확률 학습 조건부(training-conditional) 유효성을 추가로 증명하며, 안정성 조건 하에서는 커버리지 보장이 $1-\alpha$에 가까워지도록 더욱 정교해진다. 순차 회귀, 다중 클래스 SGD, 단일 패스 신경망 학습에 대한 수치 실험은 rolling-CP의 실용적 효과를 추가로 보여준다.
온라인 적응을 위한 베이지안 신경망의 전체 공분산 스무딩
Full-Covariance Smoothing of Bayesian Neural Networks for Online Adaptation
신경망의 층은 상태 공간 모델의 시간 단계로 취급할 수 있으며, 이는 베이지안 학습을 스무딩 문제로 바꾼다. 순전파는 네트워크를 통해 가우시안 모멘트를 전파하고, 역방향 Rauch–Tung–Striebel 패스는 가중치 사후분포를 닫힌 형으로 갱신한다. 이러한 방법은 불확실성을 고려하여 각 관측치로부터 단일 패스로 학습하며, 그래디언트 기반 반복이나 replay 없이 수행되므로 온라인 적응과 데이터 효율적 학습에 잘 맞는다. 그러나 기존 스무딩 기반 방법은 활성화에 걸친 공분산이 대각에만 제한되어 뉴런 간 상관을 버린다. 우리는 네트워크의 비선형 활성화를 통한 전체 공분산 전파를 가능하게 하는 교차 공분산 항등식으로 이 한계를 극복한다. 각 층의 아핀 출력만 가우시안으로 근사하는 층당 한 단계 스무더를 유도하며, 이는 잡음이 있는 관측을 갖는 결정론적 시스템과 출력 통계로 기술되는 확률적 시스템 모두에 적용된다. 비정상 분류, 온라인 역학 학습, 비전-언어-행동 모델의 정책 적응에서 이 방법을 시연하였고, 다른 스무딩 기반 방법보다 일반적으로 더 정확함을 확인하였다.
장기 뇌-기계 인터페이스를 위한 불확실성 기반 자기 주도 학습 기반 순환 적응-일반화 프레임워크
A Cyclic Adaptation-Generalization Framework with Uncertainty-Guided Self-Paced Learning for Long-Term Brain-Machine Interfaces
뇌-기계 인터페이스(BMI)는 뇌와 외부 장치를 연결하여 재활, 인간 성능 증강, 인간 중심 로봇공학에서 큰 잠재력을 지닌다. 그러나 침습적 BMI는 신경 드리프트(neural drift)로 인해 장기 배치에 있어 중대한 과제에 직면한다. 신경 드리프트는 시간이 지남에 따라 디코딩 성능을 저하시키고 빈번한 재보정을 필요로 한다. 신경 드리프트를 완화하기 위해 설계된 기존 방법들은 일반적으로 도메인 적응(DA) 또는 도메인 일반화(DG) 중 하나에만 의존하며, 신경 서브도메인에 걸친 세밀한 분포 변화를 포착하지 못하는 경우가 많아 성능이 제한된다. 이러한 한계를 극복하기 위해, 우리는 불확실성 기반 자기 주도 의사 라벨링(UnSPL) 메커니즘 하에서 목표 도메인 정제를 위해 DA와 DG를 시너지하는 강건한 프레임워크인 Uncertainty-guided Self-paced Cycling(UnSPC)를 제안한다. 도메인 간 서브도메인 신경 드리프트를 처리하기 위해 UnSPL은 노이즈에 강건한 순위 전략으로 신뢰할 수 있는 의사 라벨 샘플을 반복적으로 탐색하여 추가 미세조정을 수행하도록 제안된다. 이러한 고품질 샘플을 활용하여, 우리는 DA와 DG를 반복적 순환 내에서 통합하여 전역 및 서브도메인 드리프트를 점진적으로 완화하는 새로운 Cycling Adaptation and Generalization(CycAG) 전략을 도입한다. 이 순환 과정은 진화하는 목표 분포에 대한 효과적인 정렬을 가능하게 하면서 강건하고 전이 가능한 표현을 보존하여, 장기 신경 드리프트 하에서의 성능 저하를 완화한다. 다수의 신경 디코딩 데이터셋에 대한 광범위한 실험은 UnSPC의 효과와 강건성을 입증한다. 우리가 아는 한, 제안한 UnSPC는 의사 라벨링과 DA 및 DG를 순환적으로 통합한 최초의 방법으로, 안정적인 장기 BMI 제어를 향한 길을 열어준다.
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
현재 인식론적 불확실성의 평가는 분포 외 탐지, 능동 학습, 선택적 예측과 같은 과제에 의존한다. 그러나 상호 정보량이나 예측의 분산과 같은 일반적인 인식론적 불확실성 점수는 후회(regret), 즉 예측기가 베이즈 최적 예측기에 비해 갖는 초과 오류를 추정한다. 본 논문은 인식론적 거부 옵션 프레임워크를 바탕으로, 후회를 식별하는 능력으로 인식론적 불확실성을 평가하고 이 평가를 다른 과제들과 비교한다. 반복된 사람 레이블이 있는 데이터셋에서 표준 방법들을 벤치마킹한 결과, 과제마다 방법의 순위가 다르게 나타나며, 한 기준에서는 최상위이고 다른 기준에서는 최하위인 방법 간의 쌍별 순위 역전도 포함된다. 이러한 불일치는 각 과제가 서로 다른 점수를 요구하는 최적 상태에서 이미 나타난다. 선택적 예측을 커버리지, 기대 위험, 후회에 대한 제약 최적화로 정식화하여, 최적 점수가 실제 우연적 불확실성과 인식론적 불확실성의 볼록 결합임을 증명하며, 따라서 선택적 예측과 후회 과제는 하나의 과제 족의 두 끝점이 된다. 이에 분포 외 탐지, 능동 학습, 후회 과제는 어떤 방법이 인식론적 불확실성의 좋은 추정기인지에 대해 이론적으로나 경험적으로 서로 일치하지 않으며, 선택적 예측은 실제 위험과 후회가 입력의 순서를 다르게 매기는 지점에서 후회 과제와 갈라진다. 따라서 연구자들은 모델의 무지에 대한 일반적 개념에 의존하는 대신, 인식론적 불확실성 추정이 지원하고자 하는 하위 의사결정을 명시해야 한다.
MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.