PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13750v1cs.LG

작은 수학적 세계를 활용한 과제 다양성의 효과 연구

Studying the Effects of Task Diversity Using Small Mathematical Worlds

모듈러 덧셈과 같은 기초적인 수학적 과제는 노이즈가 많고 검증하기 어려운 대규모 실제 환경에서는 확인하기 힘든 신경망의 동작 양상을 밝히는 데 유용한 도구로 활용되어 왔습니다. 이러한 연구들은 대개 단일 과제에 집중해 왔습니다. 그러나 현대의 언어 모델은 다음 토큰 예측 목적함수로 학습됨에도 불구하고 방대한 수의 과제에 노출됩니다. 본 연구에서는 정수 및 순열에 대한 서로 구별되면서도 관련된 과제들로 구축된 두 가지 수학적 과제 생태계인 IntWorld와 PermWorld를 소개합니다. 두 생태계 모두 과제들이 구별되면서도 서로 연결된 응집력 있는 수학적 '세계' 내에서 과제 다양성을 시뮬레이션하도록 설계되었습니다. 데이터셋이 절차적으로 생성되기 때문에 과제의 수를 정밀하게 조절할 수 있으며, 이를 통해 학습에서 다른 요인들과 분리하여 과제 다양성의 역할을 밝혀내기 시작할 수 있습니다. 데이터셋을 소개한 후, 과제 다양성을 늘리는 것이 모델 내부 표현의 풍부함을 증가시킨다는 견해를 뒷받침하는 초기 결과를 제시합니다.

arXiv:2610.10761v1stat.ML

선형 어텐션은 비선형 교사로부터 문맥 내에서 무엇을 학습할 수 있는가?

What can linear attention learn from nonlinear teachers in-context?

선형 어텐션(linear attention)은 트랜스포머의 문맥 내 학습(ICL)을 지배하는 메커니즘을 이해하기 위한 다루기 쉬운 모델이다. 선형 회귀 태스크의 경우, 최근의 점근적 분석을 통해 그 학습 및 일반화 동작이 규명된 바 있다. 본 연구에서는 이 이론을 비선형 단일 인덱스 타깃 $y=f(x^\top w)+\varepsilon$으로 확장한다. 본 연구의 주요 결과는 비선형성-노이즈 등가성(nonlinearity-noise equivalence)을 확립한다. 즉, 선형 어텐션은 $f$의 선형 에르미트(Hermite) 성분만을 추출하며, 나머지 비선형 구조는 유효 노이즈로서 일반화 오차에 기여한다. 이러한 축소를 통해 해당 선형 이론의 결과들을 비선형 태스크로 이전할 수 있다. 본 연구에서는 유한한 사전학습(pre-training) 데이터 환경과 태스크 다양성 증가에 따른 태스크 암기에서 태스크 일반화로의 전이에 대해 이것이 갖는 함의를 보여준다. 이러한 결과는 축소된 선형 어텐션 모델의 한계를 규명하고, 비선형 문맥 내 학습을 연구하기 위한 다루기 쉬운 출발점을 제공한다.

arXiv:2606.00880v2cs.LG

작업 다양성은 체계적 전이를 유발하지만 지속적 강화학습을 저해한다

Task diversity produces systematic transfer but inhibits continual reinforcement learning

지속적 강화학습(continual reinforcement learning, RL)은 새로운 작업에 대한 적응을 결코 멈추지 않는 에이전트(agent) 생성을 목표로 한다. 핵심 질문은 이러한 적응이 에이전트가 경험하는 작업의 다양성과 어떻게 상호작용하는가이다. 선행 연구는 다양하고 많은 작업에 대한 학습(training)이 강력한 제로샷(zero-shot) 및 문맥 내 적응 능력을 갖춘 에이전트로 이어진다는 점을 보여주었다. 그러나 이러한 연구들은 에이전트가 학습을 중단한 후, 즉 고정된 가중치 상태에서 평가를 진행했다. 일련의 분포 변화(distribution shift) 속에서 작업 다양성이 지속적인 학습 능력에 미치는 영향은 여전히 불분명하다. 본 연구에서는 작업을 정의하는 세 가지 독립적인 축, 즉 에이전트가 탐색해야 하는 맵 레이아웃, 상호작용해야 하는 객체, 그리고 하위 목표 의존성의 계층 구조를 매개변수 기반으로 제어할 수 있는 GPU 가속 지속적 RL 도메인인 Banyan을 소개한다. 연구진은 각 축을 따라 다양성을 높이면 체계적 전이(systematic transfer)가 유도된다는 점을 발견했다. 즉, 분포 변화로 인해 최적 정책의 구조가 바뀌더라도, 에이전트는 이전 작업 분포에서 달성한 성능에 근접한 상태로 새로운 작업 분포 학습을 시작한다. 다양성 증가는 체계적 전이를 향상시키지만, 지나치게 높은 다양성은 새로운 작업 분포에 지속적으로 적응하는 학습자의 능력을 저해함을 발견했다. 다양성이 증가함에 따라 학습자는 새로운 작업에서 달성하는 성공률이 정체 상태에 도달하지만, 추가적인 노출이 없음에도 이전 작업에 대한 성능은 지속적으로 향상된다. 이러한 현상은 여러 지속 학습 알고리즘, 메모리 아키텍처, 아키텍처 크기 전반에서 나타나며, 물리 기반 제어 도메인인 Kinetix에서도 확인된다. 연구진은 다중 작업 영역에서 지속적 RL을 연구하기 위한 통제 실험용 도메인으로 Banyan을 공개한다. 코드는 https://github.com/nhshah15/banyan 에서 확인할 수 있다.

arXiv:2606.06814v1stat.ML

저차원 부분 공간의 관점에서 본 문맥 내 학습에 대한 학습 태스크 다양성의 효과

The Effect of Training Task Diversity on In-Context Learning through the Lens of Low-Dimensional Subspaces

트랜스포머의 문맥 내 학습(ICL)을 수행하는 창발적 능력은 그 기저 메커니즘을 이해하기 위한 광범위한 연구를 촉발했습니다. 기존 연구들은 종종 학습 태스크 다양성이 ICL의 학습 역학(dynamics)과 일반화 능력을 어떻게 형성하는지 연구합니다. 여기서 학습 태스크 다양성은 ICL 학습 태스크 벡터의 수 또는 태스크 벡터가 추출되는 함수 클래스의 수로 정의됩니다. 두 정의 모두 많은 흥미로운 현상을 밝혀냈지만, 후자의 정의에 따른 많은 관찰 결과들은 이론적으로 아직 설명되지 않았습니다. 본 논문은 이러한 현상들이 학습 데이터의 속성으로부터 입증 가능하게 발생하는 최소한의 분석 모델을 제시합니다. 학습 태스크 벡터를 저계수(low-rank) 가우시안 혼합으로 모델링함으로써, 우리는 공분산 행렬을 매개변수화하는 부분 공간(subspace) 간의 겹치지 않는 열의 수로 정의되는 학습 태스크 다양성이 선형 어텐션(linear attention)을 사용하는 ICL의 일반화와 최적화 궤적(trajectory)을 어떻게 향상시키는지 보여줍니다. 특히, 우리 모델은 (i) 태스크 다양성으로 학습하면 ICL 플래토(plateau)가 단축되는 이유와 (ii) ICL이 분포 외(out-of-distribution) 일반화를 달성하는 것처럼 보이는 이유를 설명할 수 있음을 보여줍니다. 마지막으로, 우리의 결과가 비선형 트랜스포머와 비선형 함수 클래스로 어떻게 확장되는지 경험적으로 실증하여 결론을 맺습니다. 전반적으로, 우리의 연구는 기존 관찰 결과를 통합할 수 있는 분석이 용이한 프레임워크를 제시합니다.