arXiv:2611.22737v1 cs.AI

근접 목표: 정답이 여러 개인 문제에서 반복 정제 모델 학습하기

Proximal Targets: Training Looped Refiners on Problems with Many Correct Answers

Syed Affan Daimi

제출 2026-11-18

한국어 초록

HRM과 TRM 같은 반복 정제 모델은 작은 신경망 하나를 초안 답안에 여러 번 적용한다. 심층 지도학습에서는 퍼즐마다 저장된 답안 하나를 향하도록 모든 패스를 학습한다. 퍼즐에 정답이 여러 개 있으면 이 목표가 모델 용량을 늘려도 없앨 수 없는 손실 하한을 만들며, 손실을 최소화하는 패스는 답안들을 섞어 유효하지 않은 격자를 내놓음을 증명한다. 근접 목표를 제안한다. 각 패스는 자신의 입력과 가장 가까운 정답을 목표로 학습한다. 정답 목록을 훑거나, 초안에서 출발하는 탐색 풀이기를 쓰거나, 조절값으로 정한 품질 구간에서 목표를 찾는다. 정답은 고정점이 된다. 반복이 수렴하려면 각 패스에서 입력보다 오류를 줄이기만 하면 되며, 학습 손실이 그 오차에 상한을 둔다. 동일한 170만 매개변수 신경망과 시드 다섯 개를 사용했을 때, 근접 목표는 정답이 2~64개인 스도쿠의 98.8%(표준 목표 2.5%)를 풀었다. 답안 목록 없이 정답이 1만 개 넘는 희소 퍼즐의 93.8%(0.0%)를 풀었으며, 최대 50개 노드인 그래프에서 학습한 뒤 200개 노드의 3색칠 문제에서 90.9%(36.9%)를 풀었다. 무작위 시작점에 따라 서로 다른 정답에 도달했다. 확률적 잠재 상태 추론기 GRAM과 비교하면 단일 실행의 정답률은 98.8% 대 57.7%로 더 높았다. 20회 실행에서도 전체 정답 중 더 많은 비율을 찾았다(53.6% 대 37.4%). GRAM 자체의 10노드 색칠 벤치마크에서는 GRAM이 약간 앞섰다. Scrabble에서는 조절값이 보정된 실력 조절 수단이 됐다.

원문 초록

Looped refiners such as HRM and TRM apply one small network repeatedly to a draft answer, and deep supervision trains every pass toward one stored answer per puzzle. We prove that when a puzzle has many correct answers this target sets a loss floor that no model capacity removes, and that the loss-minimising pass blends the answers into an invalid grid. We propose the proximal target: train each pass toward the correct answer nearest to its own input, found by scanning a list of answers, by a search solver started at the draft, or within a band of quality set by a knob; correct answers become fixed points, and a pass only has to make fewer errors than its input has for the loop to converge, which its training loss bounds. With the same 1.7M-parameter network and 5 seeds, the proximal target solves 98.8% of Sudoku puzzles with 2-64 answers (standard target: 2.5%), 93.8% of sparse puzzles with more than 10,000 answers without any list of answers (0.0%), and 90.9% of 200-node 3-colourings after training on graphs of at most 50 nodes (36.9%), and different random starts end at different answers. Against GRAM, a stochastic-latent reasoner, a single run is correct far more often (98.8% vs. 57.7%) and twenty runs find more of the answers (53.6% vs. 37.4%), while GRAM is slightly ahead on its own 10-node colouring benchmark; in Scrabble the knob becomes a calibrated strength dial.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22737v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.