arXiv:2606.17816v1 cs.LG

현대 신경망 아키텍처를 위한 보존 법칙

Conservation Laws for Modern Neural Architectures

Viet-Hoang Tran, Vinh Khanh Bui, Tan Lai Ngoc, Nam Nguyen, Tuan Dam, Tan M. Nguyen

제출 2026-06-16

한국어 초록

경사하강법(gradient descent) 역학을 이해하는 것은 과매개변수화(over-parameterized) 모델의 성공을 설명하는 핵심이며, 여기서 암묵적 편향(implicit bias)은 그래디언트 흐름(gradient flow) 내의 보존 법칙을 통해 나타납니다. 이러한 법칙은 선형 및 렐루(ReLU) 네트워크에 대해서는 잘 이해되어 있으나, 현대 아키텍처에 대해서는 거의 탐구되지 않았습니다. 본 연구는 GELU, SiLU 및 SwiGLU 활성화 함수를 사용하는 피드포워드 네트워크, 사인(sinusoidal) 및 회전(rotary) 위치 인코딩이 적용된 멀티헤드 어텐션(attention), 그리고 다양한 게이팅 설계 하의 전문가 혼합(Mixture-of-Experts) 아키텍처를 포함한 최신 모델에 대한 보존 법칙을 특성화하기 위한 통합 프레임워크를 개발합니다. 우리의 이론적 발견은 예측된 불변량(invariants)을 검증하는 실험을 통해 뒷받침됩니다.

원문 초록

Understanding gradient descent dynamics is key to explaining the success of over-parameterized models, where implicit bias manifests through conservation laws in gradient flow. While such laws are well understood for linear and ReLU networks, they remain largely unexplored for modern architectures. This work develops a unified framework to characterize conservation laws for contemporary models, including feedforward networks with GELU, SiLU, and SwiGLU activations, multihead attention with sinusoidal and rotary positional encodings, and Mixture-of-Experts architectures under diverse gating designs. Our theoretical findings are supported by experiments that validate the predicted invariants.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17816v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00403v2cs.LG공통 태그 Stochastic Optimization, Inductive Bias

논리와 기억 사이의 충돌: 옵티마이저 의존적 규칙 습득을 위한 학습 조건

The Conflict Between Logic and Memory: Training Conditions for Optimizer-Dependent Rule Acquisition

옵티마이저는 동일한 태스크에 적합(fit)되더라도 서로 다른 일반화 관계를 습득할 수 있다. 본 연구에서는 단일 은닉층 ReLU 네트워크에서 복합 증거 태스크, 매개변수 수준의 개입, 그리고 3개 시드에 대한 엄격한 패리티 스캔을 결합하여 이러한 차이를 지배하는 학습 조건을 분석한다. 우리의 핵심 발견은 방해 요인(nuisance)과 연결된 학습 가능성이 공유된 실패와 상대적인 옵티마이저 이점을 모두 재편한다는 것이다. 방해 요인이 많은 태스크에서 테스트된 20개의 옵티마이저 구성 전부는 가장 어려운 단계에서 무작위 추정(chance) 수준에 머문다. 그러나 모든 입력을 유지하면서 방해 요인과 연결된 첫 번째 층 가중치를 초기화 상태로 고정하면, 해당 단계의 정확도가 약 50%에서 모멘텀 SGD는 70.56%, Adam은 68.47%, Muon은 69.00%로 상승한다. 전체 학습이 끝난 후에야 동일한 입력을 마스킹하는 방식으로는 이러한 성능을 복원할 수 없다. 별도의 쌍별 모드 태스크에서는 목표 및 모드 빈도가 고정되어 있는 상태에서도 배경 동결이 모멘텀 SGD 대비 Muon의 희귀 모드 이점을 12.48%포인트 감소시킨다. 각 개입은 조건별 학습률과 체크포인트를 갖춘 공통 검증-선택 프로토콜 하에서 평가된다. 차수 1~20에 걸친 엄격한 패리티 스윕은 허위 단서나 추가적인 방해 요인 좌표가 없는 상호보완적 참조 기준을 제공하며, 옵티마이저들은 차수 9~11에서 분기된 후 상당한 베이즈 예측 가능성이 남아있음에도 무작위 추정 수준에 근접한다. 혼합 태스크를 통해 복원 경계를 규명하고, CIFAR-10으로 외부 아키텍처 비교를 제공한다. 종합적으로 이러한 결과는 옵티마이저 비교를 특정 관계의 습득 및 사용과 연결하며, 허용된 적응을 고정된 아키텍처가 학습하는 내용을 변화시키는 구체적인 학습 변수로 식별한다.

arXiv:2607.24471v1cs.CL공통 태그 Mixture-of-Experts, Inductive Bias

트랜스포머 추론에서 잠재 알고리즘 라우팅의 그라운딩

Grounding latent algorithm routing in transformer reasoning

문맥 내 학습(ICL) 문헌의 핵심 질문은 트랜스포머가 서로 다른 귀납적 바이어스(inductive-bias) 계열을 중심으로 에피소드 수준의 적응을 조직할 수 있는지 여부이다. 본 연구는 잠재 알고리즘 라우팅(latent algorithm routing)을 통해 이 질문을 통제된 설정에서 다룬다. 잠재 알고리즘 라우팅이란 프롬프트 형식은 고정된 채로 잠재 데이터 생성 체제에 따라 solver-family 선호가 변하고, 방해 요인(nuisance) perturbation 하에서 안정적으로 유지되며, 답변 품질의 큰 손실 없이 표적화된 activation 개입에 선택적으로 영향을 받는 route-like 행동을 말한다. 우리는 ROUTEBENCH라는 진단 벤치마크를 도입한다. 이 벤치마크의 각 체제는 전역 수축(global shrinkage), 희소성, 견고성(robustness), 국소성(locality)을 차등적으로 선호하며, ridge-like, lasso-like, Huber-like, kNN-like 계열 대표로 이를 구현한다. 44M–612M 파라미터 규모로 처음부터 학습된 dense decoder-only 트랜스포머 전반에서, 306M 모델은 oracle-routing gap의 80.9%를 메우고 route F1 84.1을 달성한다. 이 효과는 자연어 렌더링, 셔플된 support, 어휘적 paraphrase, 통합 4-way 라우팅 설정에서도 상당한 수준을 유지한다. 입력 조건부 soft mixture와 비지도 Gumbel router를 포함한 더 강한 적응적 대안들은 gap을 줄이지만 route F1과 OOD(out-of-distribution) 성능에서는 306M 및 612M 모델보다 낮다. Probe 대조군과 matched activation-patching 대조군은 route 관련 내부 방향이 디코딩 가능하고 solver-family 일관적 출력 행동에 기능적으로 관여함을 추가로 보여준다. 이러한 결과는 ROUTEBENCH에서 학습된 dense 트랜스포머가 route-like 내부 변수를 발달시킬 수 있다는 통제된 증거를 제공하지만, 사전학습(pre-training) 언어 모델이나 제한 없는 자연어 추론에서의 보편적 라우팅을 입증하지는 않는다.

arXiv:2607.19973v1cs.AI공통 태그 Mixture-of-Experts, Inductive Bias

거대 해마: 구조적 단일화에서 시스템의 시스템으로

The Giant Hippocampus: From Structural Monoculture to a System of Systems

AI 연구자들은 최첨단 모델을 대규모로 반복되는 하나의 것으로 설명한다: 트랜스포머는 텍스트, 픽셀, 또는 음성에 동일하게 배선된다. 신경과학자들은 피질을 모자이크로 설명한다—공간 인코딩을 위한 시각 피질의 dense Layer 4, 시간적 통합을 위한 운동 피질의 두꺼운 Layers 5/6—서로 다른 구조가 서로 다른 과업을 해결한다. 본 논문은 이 격차가 스타일의 문제가 아니라 구조적 오류이며 측정 가능하다고 주장한다. Brodmann부터 단일 세포 Patch-seq까지 한 세기에 걸친 세포구조학(cytoarchitecture)은 서로 다른 인지 기능이 하나의 템플릿을 재조정하는 것이 아니라 질적으로 다른 구조에 의해 구현됨을 보여준다. 합성곱 신경망은 이 분야 자체의 증거이다: 국소 수용장(local receptive fields)과 계층적 깊이가 이 선험(prior)을 직접 인코딩하여, 이후 아키텍처가 필요로 한 것보다 훨씬 적은 데이터로 강력한 이미지 인식을 달성했다. 본 논문은 이 교훈이 어떻게 버려졌는지를 추적한다: "하드웨어 복권(Hardware Lottery)"이 트랜스포머를 원칙적 선택이 아니라 최소 저항의 경로로 만들었으며, 다양성으로 자주 인용되는 전문가 혼합(MoE)은 사실상 동일한 전문가들 사이에서 매개변수를 분할할 뿐이다. 기능주의 분석은 트랜스포머가 범용 피질이 아니라 해마 형성(hippocampal formation)의 기능적 유사체로 이해되는 것이 가장 적절함을 보여준다—피질을 하나의 거대한 Broca 영역으로 취급하는 것과 같은 실수이나, 차이점은 이 분야가 청각(audition), 실행 게이팅(executive gating), 작업 기억(working memory) 등 원래 설계되지 않은 과업에 적용된 거대 해마를 표준화했다는 점이다. 본 논문은 대안으로 이종 위상 네트워크(Heterogeneous Topological Network), 즉 서로 다른 모듈이 각자의 연산이 요구하는 귀납적 바이어스(inductive bias)를 유지하고 표준화된 인터페이스를 통해 통신하는 시스템의 시스템(System of Systems)을 제시하며 마무리한다. 이는 인지과학이 아니라 AI 아키텍트를 위한 설계 규율이다: 학습된 모델의 행동으로부터 아키텍처를 역공학하는 대신, 구조적 증거를 설계 입력으로 사용하여 학습 전에 모듈성을 명세한다.

arXiv:2607.12332v1cs.LG공통 태그 Inductive Bias, gradient flow

무한소 초기화 하에서 대각 선형 신경망의 그래디언트 흐름 역학과 암묵적 바이어스

Gradient Flow Dynamics and Implicit Bias of Diagonal Linear Networks under Infinitesimal Initialization

무한소 초기화 하에서 회귀 작업에 대한 대각 선형 신경망의 그래디언트 흐름 역학을 연구한다. Pesme & Flammarion (2023)의 정리 1을 확장하여, 분석을 심층 대각 선형 신경망과 더 넓은 범주의 2층 대각 선형 신경망(정의 4.1에 정의된 것) 모두에 대해 일반화한다. 구체적으로, 이러한 모델의 학습 궤적이 제안된 알고리즘 1에 의해 동등하게 특성화될 수 있음을 보인다. 나아가 이 알고리즘이 수정된 $ \mathcal{l}_1 $ 노름 최소화 문제의 해로 수렴함을 증명한다. 그 결과, 무한소 초기화 영역에서 두 신경망 구조 모두의 암묵적 바이어스가 수정된 $ \mathcal{l}_1 $ 노름에 해당함을 확립한다. 또한 구조적 불변 다양체(Structural Invariant Manifold, SIM)(Zhao et al., 2026)를 이러한 역학을 지배하는 핵심 기하 구조로 식별함으로써, 학습 과정을 형성하는 근본 메커니즘에 대한 통찰을 제공한다.

arXiv:2607.07156v2cs.LG공통 태그 Stochastic Optimization, Inductive Bias

암묵적 바이어스의 해부: 신경망 학습에서의 정보 할당

The Anatomy of Implicit Bias: Information Allocation in Neural Network Training

암묵적 바이어스(implicit bias)는 일반적으로 최적화 과정이 특정 최종 해(solution)와 그 기하학적 구조를 선호하는 경향으로 설명된다. 이 관점은 모델이 최종적으로 수렴하는 지점을 설명하는 데 도움을 주지만, 학습 과정에서 이 바이어스가 어떻게 형성되는지에 대한 직접적인 설명은 부족하다. 본 논문은 학습 시점의 정보 할당(information allocation) 관점을 제안한다. 이 관점에서 최적화는 매개변수 경로, 좌표 채널, 샘플 영역에 걸쳐 오차 신호에 대한 쓰기 패턴을 형성한다. 본 논문은 관측 가능한 할당 진단 지표 집합을 구축한다. 이 진단 지표들에는 그래디언트 수요(gradient demand), 실제 업데이트 주입량, 지수 이동 평균(exponential moving averages)에 의해 유발되는 좌표 이득, 채널 수준 업데이트 비율, 샘플별 손실 분포가 포함된다. 학습 진행 상황과 내부 할당을 분리하기 위해, 본 논문은 붕괴-지속(collapse–persistence) 분석을 도입한다. 동일한 학습 손실 조건 하에서, 외부 손실 통계는 붕괴하지만 내부 할당 비율이 분리된 상태로 유지된다면, 해당 요인은 학습 신호의 내부 할당을 변경하는 것이다. 전반적으로, 본 논문은 암묵적 바이어스의 분석을 최종 해의 기하학적 구조에서 학습 시점의 신호 할당으로 확장한다. 핵심 주장은, 암묵적 바이어스가 최종 해에만 반영되는 것이 아니라, 학습 과정에서 어떤 매개변수 경로, 좌표 채널, 샘플 영역이 오차 신호를 먼저 그리고 더 강하게 수신하는지에도 반영된다는 것이다. 이 관점을 바탕으로, 본 논문은 다양한 학습 요인들을 통합된 정보 할당 진단 프레임워크에 배치한다. 이 프레임워크는 학습 시점 암묵적 바이어스에 대한 메커니즘 수준의 설명을 제공하며, 학습 진행과 신호 할당을 별도로 제어하는 미래의 최적화 방법을 위한 기반을 마련한다.

arXiv:2607.09537v1cs.LG공통 태그 Mixture-of-Experts, Inductive Bias

GatedLinear: 시계열 예측을 위한 상보적 선형 기저의 적응적 라우팅

GatedLinear: Adaptive Routing of Complementary Linear Bases for Time Series Forecasting

시계열 예측은 모델이 부드러운 추세 연속부터 비정상 드리프트, 엄격한 위상 정렬 주기성에 이르기까지 다양하고 상호 배타적인 시간적 동역학을 포착할 것을 요구한다. 최근 심층 학습 모델들이 정확도를 개선했지만, 이들은 일반적으로 고정된 알고리즘적 귀납적 편향(예: 셀프-어텐션 또는 스펙트럴 필터링)에 의해 제어되는 단일 연산 백본을 통해 이러한 다양한 패턴을 처리하도록 강제한다. 이 단일 메커니즘 접근법은 서로 다른 변수와 예측 지평선이 근본적으로 상이한 예측 처리를 필요로 하는 실세계 시계열의 극심한 이질성에 종종 어려움을 겪는다. 이를 해결하기 위해, 우리는 예측을 상보적 선형 기저의 적응적 라우팅으로 프레이밍하는 경량 프레임워크인 GatedLinear를 제안한다. GatedLinear는 세 가지 특화된 메커니즘의 풀을 활용한다: 부드러운 투영을 위한 전역 추세-계절성 기저, 비정상 드리프트를 위한 차분 기반 증분 기저, 명시적 주기적 재사용을 위한 위상 정렬 반복 기저. 이러한 상이한 동작들을 동적으로 조율하기 위해, 우리는 라우팅 결정을 채널별 선호도, 지평선 인식 오프셋, 그리고 알려진 미래 시간 마크에서 도출된 위상 인덱스 편향으로 분리하는 삼중 인수분해 융합 게이트(Tri-Factorized Fusion Gate)를 도입한다. 이 설계는 모델이 계산 비용이 큰 신경 모듈을 중첩하지 않고도 서로 다른 예측 레짐에 걸쳐 세밀한 포인트별 소프트 라우팅을 수행할 수 있게 한다. 표준 벤치마크에서의 실험 결과, 우리의 방법은 최근의 복잡한 기반 모델들에 대해 최첨단 또는 매우 경쟁력 있는 정확도를 달성하면서도, 명시적으로 해석 가능한 라우팅 패턴을 제공하고 상당히 적은 매개변수로 운용됨을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.