gmail.comcy.zhang

이 이메일 도메인이 관측된 논문 1건

arXiv:2602.15983v5cs.SE

ReLoop: 신뢰할 수 있는 LLM 기반 최적화를 위한 구조화된 모델링 및 행동 검증

ReLoop: Structured Modeling and Behavioral Verification for Reliable LLM-Based Optimization

대규모 언어 모델(LLM)은 자연어 문제 설명을 최적화(optimization) 코드로 변환할 수 있지만, 해당 코드는 무언의 실패(silent failure)를 겪기 쉽습니다. 즉, 코드가 실행되어 솔버(solver) 기준 실행 가능한 해를 반환하지만 의미적으로는 잘못된 수식을 부호화하는 문제가 발생합니다. 복합적인 구성 문제(compositional problems)에서 이러한 실행 가능성-정확성 간극(feasibility-correctness gap)은 최대 90%p에 달합니다. 본 논문에서는 두 가지 메커니즘을 결합한 ReLoop을 제안합니다. 구조화된 생성은 코드 생성을 4단계 추론 체인(이해, 공식화, 합성, 검증)으로 분해하여 생성 과정 중의 수식 오류를 줄입니다. 행동 검증(behavioral verification)은 수식이 솔버 기반 매개변수 섭동(perturbation)에 올바르게 반응하는지 테스트함으로써 잔여 오류를 탐지하며, 이 신호는 LLM의 자체 검토가 아닌 솔버에서 발생하므로 정답 레이블(ground truth)을 필요로 하지 않습니다. 두 메커니즘은 서로 다른 오류 구조를 해결합니다. 구조화된 생성은 복합적 문제에서 가장 큰 성능 향상을 보이며(Claude Opus 4.6 적용 시 RetailOpt-190에서 정확도 +8.5%p), 행동 검증은 국소적 결함에서 가장 큰 향상을 보입니다(MAMO-ComplexLP에서 +4.4%p). 진단 실행 복구를 포함한 ReLoop은 Claude Opus 4.6에서 100% 실행 가능한 코드를 달성하며, 직접 생성 방식 대비 3개 벤치마크 전체에서 3개 대화형 파운데이션 모델의 보고된 모든 지표를 향상시키거나 유지합니다. 테스트한 좁은 범위로 파인튜닝된 SFT 모델의 경우, 사고의 연쇄(Chain-of-Thought) 프롬프트가 학습된 출력 형식과 충돌하여 MAMO-ComplexLP에서의 정확도를 낮추었으며, 본 연구에서는 이러한 상호작용을 문서화하고 분석합니다. 여러 제약 조건이 상호작용하는 190개의 복합적 소매 최적화 시나리오로 구성된 RetailOpt-190을 공개합니다.