arXiv:2606.20325v1 cs.LG

순환 신경망은 연속 함수를 근사한다

Recurrent neural networks approximate continuous functions

Valentin Abadie, Clemens Hutter, Helmut Bölcskei

제출 2026-06-18

한국어 초록

고전적인 근사 정리들은 목표 정확도가 향상될 때마다 새로운 신경망을 요구합니다. 본 논문은 그 반대 가능성을 연구합니다: 신경망을 한 번 선택해두고, 더 오래 실행함으로써만 정확도를 얻을 수 있는가? 우리는 [-1,1] 상의 모든 연속 함수에 대해 이것이 가능함을 증명합니다. 더 정확히 말하면, 각 함수는 고정된 가중치와 고정된 은닉 차원을 가진 단일 렐루(ReLU) 순환 신경망의 시간 진화에 의해 균일하게 근사됩니다. 이 구성의 배경에 있는 메커니즘은 신경 유닛을 갖춘 튜링 머신(Turing machine with neural units, TMNU)이라는 새로운 중간 모델입니다. 이 모델은 다항식 근사 방식을 구현하는 데 필요한 알고리즘적 자유를 유지하면서도, 은닉 차원과 가중치 크기에 대한 명시적인 상한을 가진 순환 신경망에 의해 시뮬레이션될 수 있을 만큼 충분히 엄격합니다. 그 결과로 나오는 수렴 속도는 기저의 다항식 근사 속도를 반영합니다. 우리는 이 구성을 미니맥스 하한(minimax lower bounds)으로 보완하며, 이는 런타임이 단순한 증명의 산물이 아니라 고정된 신경망 근사 패러다임에서 피할 수 없는 자원임을 보여줍니다.

원문 초록

Classical approximation theorems ask for a new neural network whenever the target accuracy is improved. This paper studies the opposite possibility: can the network be chosen once and for all, and can accuracy be bought only by letting it run longer? We prove that this is possible for every continuous function on [-1,1]. More precisely, each such function is uniformly approximated by the time evolution of a single ReLU recurrent neural network with fixed weights and fixed hidden dimension. The mechanism behind the construction is a new intermediate model, the Turing machine with neural units (TMNU). This model retains the algorithmic freedom needed to implement polynomial approximation schemes, while remaining rigid enough to be simulated by RNNs with explicit bounds on hidden dimension and weight magnitude. The resulting convergence rates reflect the underlying polynomial approximation rates. We complement the construction with minimax lower bounds showing that runtime is not merely a proof artifact, but an unavoidable resource in this fixed-network approximation paradigm.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20325v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.26705v1cs.LG공통 태그 Math, approximation theory

심층 학습의 알고리즘적 기초: 복잡도 이론적 수렴률과 보편 근사의 특성화

Algorithmic Foundations of Deep Learning: Complexity-Theoretic Rates and a Characterization of Universal Approximation

순방향 신경망(NN)의 표현력은 통상적으로 최적 기저 확장 방식을 모방하는 관점에서 연구된다. 이 관점은 강력하지만 불완전하다. 주로 정칙성(regularity)을 통해 복잡도를 포착하기 때문에, 제곱근 함수와 전형적인 브라운 경로처럼 유사한 정칙성을 가지면서도 직관적으로 단순하거나 복잡한 대상을 구별하지 못한다. 이 연구의 핵심 메시지는 신경망을 유연한 기저 함수로만 볼 것이 아니라 계산 모델로도 보아야 한다는 것이다. 어떤 함수가 규정된 기본 게이트 언어에 대한 실수값 회로로 계산 가능하다면, 그 회로의 깊이, 너비, 게이트 수, 게이트 구조에 의해 제어되는 명시적인 깊이, 너비, 비영(非零) 매개변수 범위를 갖는 신경망으로 동등한 정확도로 계산될 수 있다. 따라서 신경망의 복잡도는 정칙성만으로 결정되는 것이 아니라 알고리즘적 복잡도에 의해서도 결정된다. 이어서 우리는, 어텐션이나 층 정규화와 같이 다변수 비선형성을 허용하는 자연스러운 병렬화 조건을 만족하는 임의의 정의 가능한 신경망 모델이, 비아핀(non-affine) 비선형성을 포함하는 경우에 한해 보편 근사기임을 증명한다. 우리 이론의 적용 범위는 연속 함수에 대한 보편 근사 보장, Besov 클래스에 대한 미니맥스 최적 근사 보장, 정칙 함수(holomorphic functions)에 대한 로그 오차 복잡도를 도출하고, 신경망이 아키텍처별 논증 없이 Newton-Raphson 영점 탐색 및 거듭제곱 반복법(power iteration)과 같은 수치 알고리즘을 에뮬레이션할 수 있음을 보임으로써 예시된다. 이론의 정밀도는 $k$-정점 그래프에서의 최단 경로 계산을 통해 예시된다. 열대 동적 계획법 회로를 컴파일하면 비영 매개변수가 O(log(1/ε))개인 신경망이 산출되며, 이는 상수 c>0에 대해 일반적인 $O(ε^{-c k^2})$ 립시츠 근사 스케일에 비해 1/ε에 대해 지수적으로 향상된 결과이다.

arXiv:2610.13672v2cs.CL공통 태그 Math

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.