PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10996v1cs.LG

불변 측도 추론기: 잠재 추론을 위한 안정적 표현

Invariant-Measure Reasoners: Stable Representations for Latent Reasoning

잠재 추론(latent reasoning) 모델은 동일한 순환 블록(recurrent block)을 사용하여 잠재 상태(latent state)를 반복적으로 갱신한다. 순환 깊이(recurrent depth)가 증가함에 따라 잠재 상태의 수열은 고정점(fixed point)으로 반드시 수렴하지는 않으면서도 상태 공간의 한 콤팩트한 부분집합으로 수렴할 수 있다. 기존 모델들은 일반적으로 단일 잠재 상태에 예측 헤드(prediction head)를 적용하여 예측을 수행한다. 그러나 잠재 상태는 여러 번의 갱신 이후에도 계속 변화할 수 있으며, 이는 순환 깊이에 따라 예측이 불안정해질 가능성을 만든다. 이러한 불안정성을 해결하기 위해, 우리는 불변 측도(invariant measure)를 안정적 표현으로 사용하는 프레임워크인 불변 측도 추론기(invariant-measure reasoners, ImR)를 제안한다. 이 측도는 콤팩트한 부분집합 위에서 잠재 상태의 장기 분포(long-run distribution)를 나타내며, 순환 블록에 의한 갱신에 대해 불변이다. ImR은 이 측도 하에서 예측 헤드 출력의 기댓값으로부터 예측을 수행한다. 우리는 ImR을 두 가지 방식으로 사용한다: 기존 모델의 예측 헤드만을 미세조정(fine-tuning)하는 방식과 모델을 처음부터 학습(training)하는 방식이다. 두 방식 모두 미로(maze) 및 스도쿠(Sudoku) 과제에서 많은 설정에서 예측 불안정성을 줄이고 정확도를 향상시킨다. 일부 설정에서는 ImR로 학습된 모델이 기존 모델보다 비고정점(non-fixed-point) 행동을 더 자주 보이면서도, 기존 모델과 달리 그러한 행동에서도 높은 정확도를 달성한다. 이러한 결과는 ImR이 그렇지 않았다면 불안정화를 유발했을 동역학(dynamics)을 잠재 추론에 활용할 수 있음을 시사한다.

arXiv:2608.24136v2cs.LG

Readout Feedback을 통한 추론 시점 순환 추론기 조향

Steering Recurrent Reasoners at Inference Time with Readout Feedback

공유된 연산 블록(computation block)으로 잠재 상태(latent state)를 반복적으로 갱신하는 순환 모델(recurrent model)은 복잡한 추론(reasoning) 과제를 해결하기 위한 강력한 아키텍처로 부상했다. 기존의 추론 시점(inference-time) 방법들은 더 많은 단계를 실행하거나 더 많은 궤적(trajectory)을 샘플링하여 연산량을 확장하지만, 각 궤적 내에서 드러나는 정보는 무시한다. 본 연구에서는 순환 모델이 재학습 없이 자신의 리드아웃(readout) 확률을 사용하여 잠재 동역학(latent dynamics)을 조향함으로써 추론 시점에 개선될 수 있음을 보인다. 우리는 Readout Feedback(RoFB)을 제안하는데, 이는 중간 예측(intermediate prediction)을 토큰 단위의 쌍별(pairwise) 결합력(coupling force)으로 변환하여 잠재 동역학에 주입하는 테스트 시점(test-time) 개입 기법이다. 스도쿠(Sudoku)와 미로(Maze) 과제에서 세 가지 순환 모델(AKOrN, ItrSA++, TRM)에 대해, RoFB는 6개의 모델-과제 쌍 중 4개에서 명확한 성능 향상을, 1개에서는 작은 향상을 가져온다. 성능이 향상된 4개의 쌍은 단순히 더 많은 단계를 실행하거나 여러 궤적 중에서 선택하는 방식으로는 달성할 수 없는 성능을, 비슷하거나 더 낮은 연산 비용으로 달성한다. 이러한 결과는 잠재 동역학의 폐루프(closed-loop) 조향이 순환 추론 모델을 위한 보완적인 추론 시점 제어 메커니즘으로 기능할 수 있음을 시사한다.