arXiv:2611.21486v1 cs.LG

미분 가능한 정확 학습

Differentiable Exact Learning

Hristo Papazov, Francesco D'Angelo, Nicolas Flammarion

제출 2026-11-16

저자 비고

arXiv Comments

Accepted in NeurIPS 2026

한국어 초록

본 연구는 크기에 제한이 없는 외부 환경을 상태 추적 신경 제어기와 결합하는 미분 가능한 정확 학습 프레임워크를 제안한다. 제어기는 전문가 행동 기록에서 관측과 행동을 보여 주되 내부 상태는 숨긴 정책 궤적 관측(PTO)으로 학습한다. 프레임워크와 함께 다중선형 갱신을 사용하고 로그 병렬 학습을 지원하는 미분 가능한 유한 상태 변환기(DFST)를 제안한다. DFST는 임의의 유한 상태 제어기를 모방할 수 있어 환경과 상호작용을 통해 계산 보편성을 얻는다. 소규모 DFST는 매우 작은 학습 데이터셋으로 산술과 범용 시뮬레이션 과제에서 학습 때보다 훨씬 긴 입력에도 일반화한다. 순환 신경망(RNN)과 게이트 순환 유닛(GRU)에서도 DFST의 결과를 재현했다. 이는 상태 추적 제어기, 크기에 제한이 없는 외부 환경, PTO를 결합하면 길이를 크게 늘려도 일반화할 수 있다는 더 폭넓은 학습 방법을 뒷받침한다. 길이 일반화에 더해, 계량 추출 절차를 사용해 학습된 DFST에서 해석 가능한 이산 제어기를 복원했다. 복원한 제어기가 목표 산술 및 범용 시뮬레이션 알고리즘과 동등함을 증명했다. 또한 소프트맥스 DFST 모델의 전이 확률에 $\mathrm{argmax}$를 적용하는 것만으로도 범용 튜링 기계의 시뮬레이션과 이진 산술을 정확하게 수행하는 이산 제어기를 얻을 수 있음을 증명했다. 신경 제어기의 정확 학습을 증명하려면 가정이 필요하며, 연구진은 실험으로 이를 뒷받침했다. 코드, 학습 방법, 모델 가중치, 증명 검사기는 https://github.com/fanagor/DEL 에 공개한다.

원문 초록

We introduce a framework for differentiable exact learning that couples an unbounded external environment to a state-tracking neural controller, which we train on policy-trajectory observations (PTOs): expert behavior traces that expose observations and actions while hiding internal states. In addition to the learning framework, we introduce Differentiable Finite-State Transducers (DFSTs) which use multilinear updates, support log-parallel training, and emulate arbitrary finite-state controllers, yielding computational universality through environmental interaction. From tiny training datasets, compact DFSTs achieve extreme length generalization on arithmetic and universal-simulation tasks. We replicate the success of DFSTs on RNNs and GRUs, thereby supporting a broader learning recipe: State-Tracking Controller + Unbounded External Environment + PTOs = Extreme Length Generalization. Beyond length generalization, our metric-extraction protocol recovers interpretable discrete controllers from trained DFSTs, which we prove equivalent to the target arithmetic and universal-simulation algorithms. Furthermore, for our Softmax DFST models, simply taking $\mathrm{argmax}$ over the transition probabilities yields discrete controllers which provably exactly perform universal Turing-machine simulation and binary arithmetic. Proving exact learning for the neural controllers requires assumptions, which we empirically support. We make our code, training recipes, model weights, and proof checkers publicly available at https://github.com/fanagor/DEL.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21486v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.