PyTorchKR Papers

최신 논문

총 16편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10430v2q-bio.NC

인공 신경망에서 표현 학습을 통한 창발적 일반화

Emergent Generalization by Representation Learning in Artificial Neural Networks

Dimensionality reduction has proven powerful for identifying neural manifolds, which are low-dimensional structures underlying high-dimensional neural activity. These low-dimensional representations have improved the interpretability of population-level coding. Yet whether such low-dimensional representations are biologically relevant and confer functional advantages in learning systems, or merely reflect neuron-level activity, remains contested in neuroscience. We show that an explicit information bottleneck forcing a recurrent neural network to learn a low-dimensional representation is necessary for rotational and out-of-distribution generalisation in a time-series prediction task. Using information-theoretic measures of causal emergence, we characterise the dynamics of this representation across the memorisation-to-generalisation transition, finding a non-monotonic trajectory which shows an initial decrease, a minimum, and a subsequent rise to a maximum, even as prediction loss falls monotonically. This trajectory scales with task complexity, and the magnitude of emergent structure reliably predicts generalisation performance. Analysis of hippocampal CA1 and medial prefrontal activity in rats learning an alternating maze task reveals analogous non-monotonic emergence dynamics that track behavioural performance. Together, these findings indicate that the ability of neural networks to learn compact, distributed and emergent representations confers a functional advantage for generalisation, supporting a causal role for learned representations in cognition.

arXiv:2603.13419v3cs.LG

샘플 복제를 넘어서: 디퓨전 모델의 구조적 암기

Beyond Sample Copying: Structural Memorization in Diffusion Models

디퓨전 모델(diffusion model)은 실제로 일반화(generalization)가 잘 된다. 역설적으로, 최적의 디퓨전 모델은 학습 데이터를 완전히 암기하여 일반화에 실패하는데, 이는 실제 디퓨전 모델에서 무엇이 일반화를 유도하는지에 대한 의문을 제기한다. 우리는 디퓨전 모델이 디노이징(denoising) 학습 목표에 점진적으로 과적합되어, 중간 노이즈 수준에서 검증 성능과 학습 성능 사이에 일반화 격차(generalization gap)를 만든다는 것을 보인다. 디노이징 오차가 통제된, 완전히 해석적인(analytic) 2차원 토이 모델(toy model)에서, 우리는 이 격차를 모델 오차와 데이터 분포 지지집합(support)의 밀도 사이의 상호작용으로 추적한다. 최적의 디노이징 흐름장(flow field)은 개별 학습 포인트 주변에 날카롭게 국소화(localize)되는 반면, 모델 오차는 학습 포인트의 정확한 재현을 억제하여 매끄럽고 일반화하는 흐름장을 만들어낸다. 마지막으로, 우리는 학습 시점의 과적합이 추론 궤적(trajectory)을 따라 어떻게 나타나는지 검토한다. 우리는 중간 궤적 상태에서 이루어진 예측이 노이즈가 추가된 학습 및 검증 이미지로부터 이루어진 예측과는 구별되는 특징 공간(feature space) 영역을 차지한다는 것을 발견한다. 학습이 진행되고 모델 크기가 커질수록, 이러한 예측들은 검증 데이터에 대한 절대적 유사도가 감소하지 않음에도 불구하고 학습 데이터에 대해 더 큰 상대적 친화도(affinity)를 갖게 된다. 종합적으로, 이러한 결과는 디노이징 목표와 추론 궤적이 구조적 암기(structural memorization)를 서로 다르게 표현한다는 것을 보여준다.

arXiv:2601.19791v4cs.LG

Grokking을 이해하기: 릿지 회귀에서의 증명 가능한 Grokking

To Grok Grokking: Provable Grokking in Ridge Regression

우리는 고전적인 릿지 회귀 설정에서 grokking, 즉 과적합 이후 오랫동안 지속된 뒤에야 일반화가 시작되는 현상을 연구한다. 가중치 감쇠(weight decay)를 적용한 경사하강법으로 과매개변수화된 선형 회귀 모델을 학습할 때 end-to-end grokking 결과를 증명한다. 구체적으로, 다음 단계가 발생함을 증명한다: (i) 학습 초기에 모델이 학습 데이터에 과적합한다; (ii) 과적합이 나타난 뒤에도 오랫동안 낮은 일반화 성능이 지속된다; (iii) 일반화 오차가 결국 임의로 작아진다. 더 나아가, 이론적으로 및 실증적으로 적절한 하이퍼파라미터 튜닝을 통해 grokking을 원칙적인 방식으로 증폭하거나 제거할 수 있음을 보인다. 최선을 다해 확인한 바, 이는 학습 하이퍼파라미터에 따른 일반화 지연(우리는 이를 "grokking time"이라고 부른다)에 대한 최초의 엄밀한 정량적 상계이다. 마지막으로, 선형 설정을 넘어 비선형 신경망에서의 grokking 거동도 우리의 정량적 상계가 포착함을 실증적으로 보인다. 우리 결과는 grokking이 심층 학습의 내재적 실패 모드가 아니라 특정 학습 조건의 결과이며, 따라서 이를 피하기 위해 모델 아키텍처나 학습 알고리즘의 근본적인 변경이 필요하지 않음을 시사한다.

arXiv:2607.11666v1cs.LG

그로킹을 길들이는 방법: 제어 신호로서의 표현 기하학

How to Tame Grokking: Representation Geometry as a Control Signal

그로킹(Grokking)은 신경망이 처음에는 학습 데이터를 암기하다가 장기간의 최적화 이후에야 강한 일반화를 나타내는 현상이다. 최근 광범위한 연구에도 불구하고, 그로킹의 발생과 시점에 영향을 미치는 요인들은 아직 완전히 이해되지 않았다. 우리는 표현 기하학과 지연된 일반화 사이의 관계를 조사한다. 모든 평가 환경에서 차원 붕괴(dimensionality collapse)가 그로킹 발생에 일관되게 선행함을 발견하였다. 이러한 관찰에 동기를 얻어, 우리는 학습 중 은닉 표현의 유효 차원수를 수정하는 단순한 스펙트럼 정규화 기법인 기하학적 차원 정규화(GeomDR, Geometric Dimensionality Regularization)를 도입한다. 모듈식 덧셈, 모듈식 나눗셈, 순열 합성 태스크 전반에 걸쳐, GeomDR은 그로킹 동역학을 일관되게 변화시키며, 개입 일정과 목표 차원수에 따라 일반화 발생 시점을 크게 앞당길 수 있다. 일부 환경에서는 표준 AdamW 학습 대비 최대 52배까지 그로킹이 가속화된다. 다층 퍼셉트론과 트랜스포머 모두에서 질적으로 유사한 효과가 관찰된다. 이러한 결과들은 종합적으로, 표현 기하학이 그로킹에 대한 효과적인 제어 신호로 기능할 수 있음을 시사하며, 기하학적 개입이 신경망의 지연된 일반화를 연구하고 영향을 미치는 실용적인 접근법을 제공한다는 증거를 제시한다.

arXiv:2607.11541v1cs.LG

심층 신경망의 기억화 연구를 위한 무작위 레이블 예측 헤드

Random Label Prediction Heads for Studying Memorization in Deep Neural Networks

우리는 분류(classification) 작업에서 심층 신경망의 기억화(memorization)를 경험적으로 연구하기 위한 간단하면서도 효과적인 방법을 소개한다. 우리의 접근법은 각 학습 샘플에 보조 무작위 레이블을 추가하고, 이를 무작위 레이블 예측 헤드(RLP-head)가 예측하도록 한다. RLP-head는 네트워크의 임의 깊이에 부착될 수 있으며, 해당 중간 표현으로부터 무작위 레이블을 예측함으로써 기억화 용량이 레이어에 걸쳐 어떻게 변화하는지 분석할 수 있다. RLP-head의 성능을 라데마허 복잡도(Rademacher complexity)의 경험적 추정치로 해석함으로써, 샘플 수준의 기억화와 모델 용량 모두에 대한 직접적인 측정값을 얻는다. 우리는 이 무작위 레이블 정확도 지표를 활용하여 다양한 모델과 데이터셋에서 일반화와 과적합을 분석한다. 이 접근법을 기반으로, RLP-head의 출력에 기반한 새로운 정규화 기법을 추가로 제안하며, 이는 기억화를 입증 가능하게 감소시킨다. 흥미롭게도, 우리의 실험은 기억화 감소가 데이터셋과 학습 설정에 따라 일반화를 개선하거나 저해할 수 있음을 보여준다. 이러한 발견은 과적합이 기억화와 동등하다는 전통적인 가정에 도전하며, 이 겉보기에 모순적인 결과들을 조화시키기 위한 새로운 가설을 제시한다. 소스 코드는 https://github.com/MarlonBecker/RandomLabelHeads 에서 확인할 수 있다.

arXiv:2607.08041v1cs.LG

베이지안 확산 모델에서 일반화 상전이의 엄밀한 정보 이론

An exact information theory of generalization phase transitions in Bayesian diffusion models

확산 모델이 유한한 학습 데이터로 고차원 분포를 암기 없이 학습하는 메커니즘을 규명하기 위해, 각 픽셀이 노이즈 데이터의 제한된 정보를 관찰하고 베이지안 사후 확률로 역확산을 수행하는 BIRD(Bayesian Information Restricted Diffusion) 모델을 제안한다. 학습 데이터 양, 역 생성 시간, 정보 제한량의 결합 공간에서 암기와 일반화 사이의 정보 이론적 상경계(phase boundary)를 도출하고, UNet·DiT 등 다양한 아키텍처에서 이를 실험적으로 검증하며 생성이 암기의 경계 근방에서 진행됨을 보인다.

arXiv:2607.04135v1cond-mat.dis-nn

에르고딕성 파괴와 요동-소산 정리 위반이 머신러닝에서 과적합을 넘어선 일반화를 이끈다

Broken Ergodicity and the Violation of the Fluctuation-Dissipation Theorem Lead to Generalization Beyond Overfitting in Machine Learning

동역학적 평균장 이론(DMFT)을 적용해 신경망의 이중 하강(double descent) 현상이 학습 과정의 확률적 장 이론에서 나타나는 상전이(phase transition)임을 규명하고, 임계 지수와 스케일링 함수를 계산했다. 과파라미터화 영역에서 요동-소산 정리(fluctuation-dissipation theorem)가 붕괴되고 에르고딕성 파괴(broken ergodicity)가 발생하며, 이 응답 함수가 초전도 전이의 London 모델과 동일한 형태를 가짐을 보여 신경망의 양성 과적합(benign overfitting)에 대한 새로운 물리적 설명을 제시한다.

arXiv:2406.04425v2cs.LG

최소 제곱 회귀에서 조기 종료를 통한 정규화에 관하여

On Regularization via Early Stopping for Least Squares Regression

선형 회귀에서 이산 전체 배치 경사하강법의 동역학을 최소한의 분포 가정 하에 분석하여, 임의의 학습률 스케줄과 유한 시간 범위에서의 조기 종료(early stopping) 해가 일반화된 릿지 회귀(ridge regression)의 최소 노름(minimum norm) 해와 동치임을 증명하였다. 또한 다양한 학습률 스케줄과 임의 스펙트럼 데이터에서 조기 종료가 일반화 성능 향상에 유익함을 이론적으로 보이고, 최적 종료 시점 추정치를 제안하여 실험적으로 검증하였다.

arXiv:2607.02288v1cs.LG

Generalization in offline RL: The structure is more important than the amount of pessimism

오프라인 강화학습(offline RL)에서 일반화 성능은 비관성(pessimism)의 크기가 아니라 그 구조가 최적 해의 대칭성(symmetry)을 존중하는지에 달려 있음을 이론적으로 증명하며, 데이터 증강(data augmentation)을 증강된 데이터셋으로의 직접 학습이 아닌 정책 추출 시 consistency loss로 적용하는 것이 IQL과 CQL에서 일반화를 가장 효과적으로 향상시킴을 실험적으로 검증한다.

arXiv:2606.30815v1cs.CL

트랜스포머가 "불가능한" 언어를 학습할 때, 무엇을 학습하는가?

When transformers learn "impossible" languages, what do they learn?

트랜스포머 언어 모델이 "불가능한" 언어(인간 언어에 없는 어순 변형)를 학습할 때 어떤 능력을 획득하는지 분석하기 위해, BLiMP 최소 대립쌍으로 문법적 민감도를, 생성 품질 평가로 생성 능력을 각각 측정했다. 그 결과 불가능한 언어로 학습된 모델은 문법적 민감도는 점진적으로만 저하된 반면 생성에서는 뚜렷한 실패를 보였으며, 이는 생성적 결함(generative deficiency)과 전달 실패(transmission failures)가 불가능한 언어의 비증거성을 설명하는 더 타당한 연결 가설임을 시사한다.

arXiv:2606.29043v1cs.LG

첨예도와 복잡도가 일반화를 얼마나 함께 설명할 수 있는가?

How Far Can Sharpness and Complexity Jointly Explain Generalization?

첨예도(sharpness)와 복잡도(complexity)는 심층 신경망의 일반화 분석에서 두 가지 핵심 요인이다. 기존의 일반화 측도에 대한 정량적 평가는 대부분 개별 스칼라 측도에 초점을 맞추어, 첨예도와 복잡도의 공동 설명력은 대체로 탐구되지 않았다. 본 연구는 첨예도와 복잡도가 일반화를 얼마나 함께 설명할 수 있는지를 조사한다. 우리는 선형 회귀를 활용하고 파레토 기반 분석을 도입하여 이 두 요인의 공동 설명력을 정량적으로 평가한다. 기존의 매개변수 수준 정의를 넘어, 함수 공간에 더 가깝고 원시 매개변수 표현에 덜 의존하는 첨예도와 복잡도의 구체적 실현을 추가로 제안한다. 함수 지향적 정의가 기존 매개변수 수준 측도로 달성되는 것을 넘어 두 요인 관점의 설명 범위를 확장함을 발견한다. 전반적으로, 우리의 결과는 첨예도-복잡도 관점이 다양한 환경에서 일반화를 이해하는 데 유익한 시각을 제공한다는 것을 지지한다. 동시에, 남아 있는 실패 사례들은 이 두 요인 관점이 일반화의 완전한 이론으로 기능할 수 있는지가 여전히 열린 문제임을 시사한다.

arXiv:2405.01906v3cs.AI공식 코드 · Papers with Code

신경망 라우팅 솔버의 대규모 일반화를 위한 인스턴스 조건부 적응

Instance-Conditioned Adaptation for Large-scale Generalization of Neural Routing Solver

현대 지능형 교통 시스템(ITS), 특히 화물 운송 및 물류 분야에서 실시간 경로 계획은 매우 중요하다. 이 분야는 서비스 요청의 높은 불확실성으로 인한 고유한 도전 과제를 안고 있으며, 서비스 고객 수가 수백에서 수천 명까지 크게 변동할 수 있다. 기존 신경망 기반 방법들은 이러한 큰 변동 하에서 성능을 유지하는 데 어려움을 겪고 있으며, 이는 실용적 적용 가능성을 심각하게 제한한다. 이 중요한 결함을 해결하기 위해, 본 연구는 더 나은 대규모 일반화를 위해 설계된 새로운 인스턴스 조건부 적응 모델(ICAM)을 제안한다. 특히, 최소한의 계산 오버헤드로 모델 적응성을 향상시키기 위해 현재 교통 시나리오의 특정 기하학적 구조와 밀도에 따라 정책을 조정하는 단순하면서도 효율적인 인스턴스 조건부 적응 함수를 설계한다. 또한, 다양한 규모의 인스턴스에 대해 더 나은 솔루션을 생성하기 위한 강력하면서도 낮은 복잡도의 인스턴스 조건부 적응 모듈을 제안한다. 합성, 벤치마크, 실세계 인스턴스에 대한 광범위한 실험을 통해 ICAM이 널리 연구된 네 가지 대규모 경로 계획 시나리오에서 일관되게 우수한 일반화 성능을 달성함을 입증한다. 특히, 제안된 방법은 매우 빠른 추론 속도로 고품질 솔루션을 제공하여 실시간 지능형 교통 운영을 위한 확장 가능하고 효율적인 솔루션을 제공한다. 코드는 https://github.com/CIAM-Group/ICAM 에서 공개되어 있다.

arXiv:2503.16550v2cs.CL

이단계 최적화를 통한 언어 모델의 일반화 및 강인성 통합 향상

Unified Enhancement of the Generalization and Robustness of Language Models via Bi-Stage Optimization

신경망(neural network) 언어 모델(LM)은 일반화와 강인성 측면에서 상당한 과제에 직면해 있다. 현재 많은 연구들이 일반화 또는 강인성 중 하나만을 개선하는 데 집중하고 있으며, 두 측면을 동시에 다루는 방법이 부재한 상황으로, 이는 강인하면서도 일반화된 언어 모델을 개발하는 데 큰 과제를 제시한다. 본 논문에서는 언어 모델의 일반화와 강인성을 동시에 균일하게 향상시키는 이단계 최적화 프레임워크를 제안하며, 이를 UEGR이라 명명한다. 구체적으로, 순전파(forward propagation) 단계에서는 적응형 드롭아웃을 활용하여 적대적 샘플의 출력 확률 분포를 풍부화함으로써 다양한 서브 모델을 생성하고, 이러한 출력 분포의 JS 발산과 적대적 손실을 통합하여 출력 안정성을 강화한다. 역전파(backward propagation) 단계에서는 매개변수 현저성 점수를 계산하고 가장 중요한 매개변수만을 선택적으로 업데이트하여 불필요한 편차를 최소화하고 모델의 탄력성을 공고히 한다. 이론적 분석에 따르면, 본 프레임워크는 입력 섭동에 대한 모델의 민감도를 제한하는 그래디언트 정규화와 손실 지형을 평탄화하는 선택적 매개변수 업데이트를 포함함으로써 일반화와 강인성을 모두 향상시킨다. 실험 결과, 본 방법은 공개된 13개 언어 데이터셋에서 기존의 다른 방법들에 비해 언어 모델의 일반화와 강인성을 크게 향상시키며 최신 기술(SOTA) 성능을 달성한다.

arXiv:2606.21593v1cs.LG

심층 학습에서 표현의 기하학적 및 정보 압축

Geometric and Information Compression of Representations in Deep Learning

심층 신경망은 입력 데이터를 다양한 다운스트림 태스크를 지원하는 잠재 표현으로 변환한다. 이러한 표현은 정보 이론적 차원과 기하학적 차원에서 특성화할 수 있으나, 두 차원 간의 관계는 아직 충분히 이해되지 않은 상태다. 핵심적인 미해결 질문은 입력과 표현 사이의 낮은 상호 정보량(MI)이 필연적으로 기하학적으로 압축된 잠재 공간을 함의하는지, 그리고 그 역도 성립하는지 여부다. 우리는 이 질문을 클래스별 클러스터링을 기하학적 압축의 척도로 사용하고, 조건부 엔트로피 병목(CEB) 네트워크 및 연속 드롭아웃 네트워크에서 이론적으로 건전한 MI 추정을 통해 탐구한다. 우리는 통제된 노이즈 주입 방식 하에서 분류 태스크에서 MI, 기하학적 압축, 그리고 일반화 간의 상호작용을 평가한다. 우리의 연구 결과는 낮은 MI가 기하학적 압축에 신뢰성 있게 대응하지 않으며, 두 요소 간의 연결이 흔히 가정되는 것보다 더 복잡한 양상을 띤다는 것을 보여준다. 실제로, 우리의 실험은 학습 설정을 달리할 때 역전될 수 있는 부정적이고 비선형적인 관계를 드러낸다. 우리의 결과는 일반화가 이 연결의 직접적인 결과라기보다는 잠재적인 교란 변수로 작용한다는 가설을 제시한다.

arXiv:2606.18465v1cs.LG

그로킹에서 가중치 노름은 무엇을 제어하는가? 교차 엔트로피 하에서의 로짓 스케일 매개

What Does the Weight Norm Control in Grokking? Logit-Scale Mediation under Cross-Entropy

그로킹(grokking) 지연을 가중치 노름이 직접 설정한다는 해석은 불완전하며, 노름 고정 클램핑과 출력 온도 조절로 분리한 결과 교차 엔트로피(cross-entropy) 하에서는 지연이 유효 로짓 스케일과 소프트맥스(softmax) 포화에 수렴하고(R²=0.97), 기준 로짓 스케일을 되돌리면 노름 유발 지연의 약 83–89%가 회복된다. 평균제곱오차(MSE)에서는 로짓 스케일 경로가 비활성화되어 노름 효과가 다른 경로로 작용하므로, 가중치 노름은 상류 조절 수단일 뿐 직접 변수는 로짓 스케일이다.

arXiv:2512.22088v3cs.LG

트랜스포머 스케일링 법칙에서 학습 역학과 일반화의 통합

Unifying Learning Dynamics and Generalization in Transformers Scaling Law

스케일링 법칙은 대규모 언어 모델(LLM) 개발의 초석으로, 계산 자원이 증가함에 따라 모델 성능의 향상을 예측합니다. 그러나 경험적으로 검증되었음에도 불구하고, 그 이론적 기초는 여전히 잘 이해되지 않고 있습니다. 본 연구는 트랜스포머 기반 언어 모델의 학습 역학을 상미분 방정식(ODE) 시스템으로 형식화한 다음, 이 과정을 커널 동작으로 근사합니다. 이전의 장난감 모델 분석에서 벗어나, 우리는 실제 상황을 밀접하게 반영하는 임의의 데이터 분포를 가진 시퀀스-투-시퀀스 데이터에 대해 다층 트랜스포머의 확률적 경사하강법(SGD) 학습을 엄밀하게 분석합니다. 우리의 분석은 최적화 과정 중에 특히 계산 자원이 데이터와 함께 스케일링될 때, 일반화 오차가 환원 불가능한 위험(irreducible risk)으로 수렴하는 특성을 규명합니다. 우리는 뚜렷한 상 전이(phase transition)로 특징지어지는 초과 위험에 대해 일치하는 상한과 하한을 확립합니다. 초기 최적화 단계에서 초과 위험은 계산 비용 ${\sf C}$에 대해 지수적으로 감소합니다. 그러나 특정 자원 할당 임계값을 넘어서면 시스템은 통계적 단계에 진입하며, 여기서 일반화 오차는 $Θ(\mathsf{C}^{-1/7})$의 멱법칙 감소를 따릅니다. 이러한 비율은 상호 보완적인 하한(통계 측면에서는 정보 이론적 2점 축소를 통해, 최적화 측면에서는 1차 오라클 논증을 통해)에 의해 입증되어, 상수, 로그 인자, 조건수 격차까지 두 단계 법칙을 엄밀하게 만듭니다. 이 통합된 프레임워크를 넘어, 우리의 이론은 모델 크기, 학습 시간, 데이터셋 크기에 대한 개별 스케일링 법칙을 도출하여, 각 변수가 일반화의 경계를 어떻게 독립적으로 제어하는지 명확히 합니다.