arXiv:2609.23367v1 hep-ph

검증 기반 미세조정을 통한 LLM 기반 FORM 코드 생성

LLM-Based FORM Code Generation with Verification-Driven Fine-Tuning

Bakar Chargeishvili

제출 2026-09-22

한국어 초록

FORM은 다중 루프 파인만 다이어그램(multi-loop Feynman diagram) 계산에서 발생하는 매우 큰 대수식을 처리하기 위해 입자물리학에서 널리 사용되는 도메인 특화 기호 조작 언어입니다. 정밀도(precision) 이론물리학에서의 핵심적인 역할에도 불구하고, 우리가 아는 한 물리학자의 FORM 코드 작성을 지원하는 인공지능 툴링은 존재하지 않습니다. 본 연구에서는 수천억 개의 파라미터를 보유한 프론티어 모델을 포함한 최신 대규모 언어 모델(LLM)이 문서 참조가 없는 단일 시도 조건에서 우리의 지시 준수 및 튜토리얼 형태의 FORM 작업에 대해 0%의 실행 성공률을 기록함을 보이며, 본 논문 작성 시점에서 FORM이 LLM에게 진정한 제로샷(zero-shot) 언어임을 입증합니다. 이어 FORM 바이너리 자체를 실행 오라클(execution oracle)로 활용하여 결정론적 계산, 개방형 프로그램, 튜토리얼 코드, 지식 기반 질의응답 쌍에 걸친 4,633개의 학습(training) 예제 코퍼스를 생성하고 검증하는 검증 기반 데이터 생성 파이프라인을 제시합니다. 양자화된 저차원 적응(QLoRA)을 통해 소형 오픈 가중치 모델(Qwen3-8B)을 미세조정(fine-tuning)하여 특화 모델을 구축하였으며, 4개의 상호보완적 벤치마크(840개 작업, 각 단일 시도)에서 평가한 결과, 더 큰 벤치마크에서 최대 756B 파라미터를 갖춘 프론티어 모델을 실행률 및 엄격한 FORM 검증 출력 일치도 측면에서 결정적으로 능가하였고, 더 작고 어려운 벤치마크에서는 통계적으로 구별되지 않는 성능을 유지했습니다. 일반적인 추론 및 코딩 능력은 2.6%포인트 이내로 보존되었습니다.

원문 초록

FORM is a domain-specific symbolic manipulation language widely used in particle physics for processing the very large algebraic expressions arising from multi-loop Feynman diagram calculations. Despite its central role in precision theoretical physics, no artificial-intelligence tooling exists, to our knowledge, for assisting physicists in writing FORM code. We show that contemporary large language models (LLMs), including frontier models with hundreds of billions of parameters, achieve a zero-percent execution pass rate on our instruction-following and tutorial-style FORM tasks without documentation in a single attempt, establishing FORM as a genuine zero-shot language for LLMs at the time of writing. We then present a verification-driven data generation pipeline that uses the FORM binary itself as an execution oracle to produce and validate a corpus of 4,633 training examples spanning deterministic computations, open-ended programs, tutorial code, and knowledge question-answer pairs. Fine-tuning a compact open-weights model (Qwen3-8B) with quantized low-rank adaptation (QLoRA) yields a specialist that, evaluated on four complementary benchmarks (840 tasks, single attempt each), decisively outperforms frontier models with up to 756B parameters in execution rate and in strict, FORM-verified output matching on the larger benchmarks, and remains statistically indistinguishable from them on the smaller, harder ones. General reasoning and coding capabilities are preserved within 2.6 percentage points.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23367v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.