PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.24136v2cs.LG

Readout Feedback을 통한 추론 시점 순환 추론기 조향

Steering Recurrent Reasoners at Inference Time with Readout Feedback

공유된 연산 블록(computation block)으로 잠재 상태(latent state)를 반복적으로 갱신하는 순환 모델(recurrent model)은 복잡한 추론(reasoning) 과제를 해결하기 위한 강력한 아키텍처로 부상했다. 기존의 추론 시점(inference-time) 방법들은 더 많은 단계를 실행하거나 더 많은 궤적(trajectory)을 샘플링하여 연산량을 확장하지만, 각 궤적 내에서 드러나는 정보는 무시한다. 본 연구에서는 순환 모델이 재학습 없이 자신의 리드아웃(readout) 확률을 사용하여 잠재 동역학(latent dynamics)을 조향함으로써 추론 시점에 개선될 수 있음을 보인다. 우리는 Readout Feedback(RoFB)을 제안하는데, 이는 중간 예측(intermediate prediction)을 토큰 단위의 쌍별(pairwise) 결합력(coupling force)으로 변환하여 잠재 동역학에 주입하는 테스트 시점(test-time) 개입 기법이다. 스도쿠(Sudoku)와 미로(Maze) 과제에서 세 가지 순환 모델(AKOrN, ItrSA++, TRM)에 대해, RoFB는 6개의 모델-과제 쌍 중 4개에서 명확한 성능 향상을, 1개에서는 작은 향상을 가져온다. 성능이 향상된 4개의 쌍은 단순히 더 많은 단계를 실행하거나 여러 궤적 중에서 선택하는 방식으로는 달성할 수 없는 성능을, 비슷하거나 더 낮은 연산 비용으로 달성한다. 이러한 결과는 잠재 동역학의 폐루프(closed-loop) 조향이 순환 추론 모델을 위한 보완적인 추론 시점 제어 메커니즘으로 기능할 수 있음을 시사한다.