한국어 초록
동적 배치(dynamic batching) 알고리즘과 결합된 트랜스포머 기반 시퀀스-투-시퀀스(sequence-to-sequence) 아키텍처를 바탕으로, 본 연구는 $q$-$θ$ 함수 및 타원 감마 함수를 포함하여 여러 타원 감마 함수가 관여하는 복잡한 수식을 자동으로 단순화하는 머신러닝 프레임워크를 소개합니다. 모델은 대수적 항등식, 특히 $\text{SL}(2,\mathbb{Z})$ 및 $\text{SL}(3,\mathbb{Z})$ 모듈러 변환을 적용하여 복잡하게 뒤섞인 식을 표준 형식(canonical form)으로 축약하는 방법을 학습합니다. 실험 결과에 따르면 이 모델은 분포 내(in-distribution) 테스트에서 99\% 이상의 정확도를 달성하며, 더 깊은 뒤섞임 깊이와 같은 상당한 외삽(extrapolation) 조건에서도 90\%를 초과하는 정확도를 유지하며 견고한 성능을 보여줍니다. 이는 모델이 단순히 학습 패턴을 암기하기보다는 모듈러 변환의 기초 대수적 규칙을 내재화했음을 입증합니다. 본 연구는 모듈러 항등식을 활용해 기호적 단순화를 수행하는 데 머신러닝을 성공적으로 적용한 최초의 사례를 제시하며, 양자장론 및 끈 이론의 특수 함수 계산을 위한 새로운 자동화 도구를 제공합니다.
원문 초록
Based on a transformer based sequence-to-sequence architecture combined with a dynamic batching algorithm, this work introduces a machine learning framework for automatically simplifying complex expressions involving multiple elliptic Gamma functions, including the $q$-$θ$ function and the elliptic Gamma function. The model learns to apply algebraic identities, particularly the SL$(2,\mathbb{Z})$ and SL$(3,\mathbb{Z})$ modular transformations, to reduce heavily scrambled expressions to their canonical forms. Experimental results show that the model achieves over 99\% accuracy on in-distribution tests and maintains robust performance (exceeding 90\% accuracy) under significant extrapolation, such as with deeper scrambling depths. This demonstrates that the model has internalized the underlying algebraic rules of modular transformations rather than merely memorizing training patterns. Our work presents the first successful application of machine learning to perform symbolic simplification using modular identities, offering a new automated tool for computations with special functions in quantum field theory and the string theory.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models
LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention
LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
사고 모델을 위한 온-정책 자기 지식 증류의 재고찰
Rethinking On-Policy Self-Distillation for Thinking Models
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
48 pages, 7 figures, 6 tables; v2: to be published in PRD, discussions and applications added