arXiv:2611.24032v1 cs.AI

테스트 시점 대칭화: 구조 하에서 모델 비종속 학습을 위한 스케일링 법칙

Test-Time Symmetrization: Scaling Laws for Model-Agnostic Learning under Structure

Behrooz Tahmasebi, Melanie Weber

제출 2026-11-19

한국어 초록

테스트 시점 연산은 추론 시 언어 모델의 정확도를 높이는 강력한 방법으로 부상하였으며, 스케일링 법칙은 순전파 횟수를 늘림에 따라 정확도가 어떻게 향상되는지를 정량화한다. 그러나 기존 스케일링 법칙은 고정된 프롬프트에서의 반복 샘플링에 초점을 맞추고 있으며, 실제로는 많은 과제가 동일한 문제의 여러 등가 표현을 허용한다. 그래프는 노드에 번호를 붙이는 방식에 의존하지 않고 프로그램은 변수 이름에 의존하지 않지만, 언어 모델은 이러한 재작성에 따라 답을 바꿀 수 있다. 본 논문은 입력의 재작성에 대한 순전파를 사용하고 재작성 군 $G$에 걸쳐 그 결과 답을 집계하는 테스트 시점 대칭화를 연구한다. 단일 표현에서의 샘플링과 반복 디코딩은 아무리 많이 하더라도 재작성을 대체할 수 없음을 증명하며, 반면 $|G|$개의 모든 재작성이 제공하는 정보를 복원하는 데는 $O(\log |G|)$개의 무작위 재작성만으로 충분함을 증명한다. 동일한 $O(\log |G|)$개의 재작성 집합은 모델, 디코딩 규칙, 샘플링된 추론 과정 전반에 대한 동시 근사를 제공하며, 로그 스케일링은 일반적으로 최적이다. 본 논문은 이론을 Qwen2.5-7B, Phi-4-mini, Llama-3.1-8B, Qwen2.5-14B에 사고 연쇄 추론을 적용하여 그래프 추론, 논리적 연역, 객관식 질의응답에서 실험으로 검증한다. 순전파 횟수가 같을 때, 모델의 답이 입력이 쓰인 방식에 의존하는 경우에는 순전파를 원래 프롬프트의 반복 샘플링에 쓰는 것보다 입력의 재작성에 쓰는 편이 훨씬 정확하며, 필요한 재작성의 수는 이론이 예측하는 대로 가능한 재작성 수에 대해 로그 수준으로만 증가한다. 본 연구의 결과는 대칭성을 모델에 내재할 수 없을 때 추론 시점에 이를 강제하는 원리적인 방법을 제공하며, 이를 모델 비종속 대칭화라고 부른다.

원문 초록

Test-time compute has emerged as a powerful way to improve the accuracy of language models at inference time, with scaling laws quantifying how accuracy improves with additional forward passes. Existing scaling laws, however, focus on repeated sampling from a fixed prompt, even though many tasks admit multiple equivalent representations of the same underlying problem. A graph does not depend on how its nodes are numbered, and a program does not depend on the names of its variables, yet language models can change their answers under such rewritings. In this paper, we study test-time symmetrization, which uses forward passes on rewritings of the input and aggregates the resulting answers over the group $G$ of rewritings. We prove that no amount of sampling and repeated decoding from a single representation can replace rewriting, while only $O(\log |G|)$ random rewritings suffice to recover the information provided by all $|G|$ rewritings. The same set of $O(\log |G|)$ rewritings provides simultaneous approximation across models, decoding rules, and sampled reasoning traces, and the logarithmic scaling is optimal in general. We validate the theory with experiments on Qwen2.5-7B, Phi-4-mini, Llama-3.1-8B, and Qwen2.5-14B, with chain-of-thought reasoning, on graph reasoning, logical deduction, and multiple-choice question answering. At the same number of forward passes, spending them on rewritings of the input is substantially more accurate than spending them on repeated sampling from the original prompt whenever the model's answer depends on how the input is written, and the number of rewritings needed grows only logarithmically with the number of possible rewritings, as the theory predicts. Our results provide a principled way to enforce symmetries at inference time when they cannot be built into the model, which we call model-agnostic symmetrization.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24032v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.