PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.26578v3cs.AI

EvoOptiGraph: 그래프 기반 구조 생성을 통한 약점 주도 공진화 기반 최적화 모델링

EvoOptiGraph: Weakness-Driven Coevolution via Graph-Based Structural Generation for Optimization Modeling

대규모 언어 모델(LLM)을 이용해 자연어로부터 최적화 모델링을 자동화하는 것은 두 가지 핵심 과제에 직면한다. 첫째, 학습 코퍼스는 구조적 다양성이 부족하다. 둘째, 데이터 생성 파이프라인은 정적이며 모델 학습과 분리되어 있다. 이러한 과제를 해결하기 위해, 우리는 모델의 약점에 의해 주도되어 데이터와 모델이 공진화하는 새로운 프레임워크인 EvoOptiGraph를 제안한다. EvoOptiGraph는 각 혼합정수 선형 계획(MILP)을 속성 이분 그래프(attributed bipartite graph)로 표현하고, 유효성을 보존하는 진화 연산자를 적용하여 구조적으로 다양한 인스턴스를 생성한다. 진화된 그래프는 결정적 컴파일을 통해 솔버 코드와 자연어로 변환되며, 검증된 역번역(back-translation)을 거친다. 학습은 두 단계로 진행된다: 초기 데이터셋에 대한 지도 미세조정(SFT)에 이어, 그래프에서 파생된 약점 신호가 모델의 실패를 겨냥한 새로운 인스턴스 생성을 안내하는 검증 가능 보상 강화학습(RLVR)이 수행된다. 이는 학습 분포를 지속적으로 갱신하는 폐쇄 루프를 형성한다. 6개의 공개 데이터셋에 대한 실험 결과, EvoOptiGraph는 정확도, 실행 가능성, 일반화 측면에서 더 큰 범용 모델, 에이전트 기반 방법, 특화 베이스라인을 크게 능가함을 보여준다. 이러한 결과는 표적화된 데이터-모델 공진화가 최적화 모델링 과제에서 LLM을 개선하는 효과적인 전략임을 보여준다.

arXiv:2602.15983v5cs.SE

ReLoop: 신뢰할 수 있는 LLM 기반 최적화를 위한 구조화된 모델링 및 행동 검증

ReLoop: Structured Modeling and Behavioral Verification for Reliable LLM-Based Optimization

대규모 언어 모델(LLM)은 자연어 문제 설명을 최적화(optimization) 코드로 변환할 수 있지만, 해당 코드는 무언의 실패(silent failure)를 겪기 쉽습니다. 즉, 코드가 실행되어 솔버(solver) 기준 실행 가능한 해를 반환하지만 의미적으로는 잘못된 수식을 부호화하는 문제가 발생합니다. 복합적인 구성 문제(compositional problems)에서 이러한 실행 가능성-정확성 간극(feasibility-correctness gap)은 최대 90%p에 달합니다. 본 논문에서는 두 가지 메커니즘을 결합한 ReLoop을 제안합니다. 구조화된 생성은 코드 생성을 4단계 추론 체인(이해, 공식화, 합성, 검증)으로 분해하여 생성 과정 중의 수식 오류를 줄입니다. 행동 검증(behavioral verification)은 수식이 솔버 기반 매개변수 섭동(perturbation)에 올바르게 반응하는지 테스트함으로써 잔여 오류를 탐지하며, 이 신호는 LLM의 자체 검토가 아닌 솔버에서 발생하므로 정답 레이블(ground truth)을 필요로 하지 않습니다. 두 메커니즘은 서로 다른 오류 구조를 해결합니다. 구조화된 생성은 복합적 문제에서 가장 큰 성능 향상을 보이며(Claude Opus 4.6 적용 시 RetailOpt-190에서 정확도 +8.5%p), 행동 검증은 국소적 결함에서 가장 큰 향상을 보입니다(MAMO-ComplexLP에서 +4.4%p). 진단 실행 복구를 포함한 ReLoop은 Claude Opus 4.6에서 100% 실행 가능한 코드를 달성하며, 직접 생성 방식 대비 3개 벤치마크 전체에서 3개 대화형 파운데이션 모델의 보고된 모든 지표를 향상시키거나 유지합니다. 테스트한 좁은 범위로 파인튜닝된 SFT 모델의 경우, 사고의 연쇄(Chain-of-Thought) 프롬프트가 학습된 출력 형식과 충돌하여 MAMO-ComplexLP에서의 정확도를 낮추었으며, 본 연구에서는 이러한 상호작용을 문서화하고 분석합니다. 여러 제약 조건이 상호작용하는 190개의 복합적 소매 최적화 시나리오로 구성된 RetailOpt-190을 공개합니다.

arXiv:2610.00912v1cs.AI

OR을 수행하는 AI를 위한 OR: OSCAR 프레임워크 내에서 에스컬레이터를 따라 LLM 라우팅하기

OR for AI That Does OR: Routing LLMs up the Escalator inside the OSCAR Framework

대규모 언어 모델(LLM)은 비즈니스 설명을 최적화 모델(optimization model)로 변환할 수 있지만, 실행 가능한 코드가 제약 조건이나 목적 함수를 잘못 나타낼 수 있습니다. 이 경우 솔버(solver)는 잘못된 문제에 대한 최적해를 반환할 수 있습니다. 해당 해가 의도한 운영 규칙을 만족하더라도 더 나은 계획이 존재할 수 있습니다. 최적화 모델링을 반복적으로 사용하는 조직의 경우, LLM 기반 프레임워크는 저비용으로 정확한 수식화를 생성해야 하며 이상적으로는 로컬에서 실행되어야 합니다. 본 연구에서는 개선 사항을 검증하고 가격 및 성능이 서로 다른 LLM 간에 시도를 어떻게 할당할지 연구합니다. 우리는 라벨링된 결정 예시를 바탕으로 검증된 오프라인 시뮬레이터(Simulator)를 사용하여 후보들을 비교하고 단순 실행 가능성을 넘어 탐색을 지속하는 OSCAR(Optimization modeling by Simulator, Coder, And Reviewer)를 개발합니다. 우리는 다음으로 검증된 개선안을 찾는 과정을 관측되지 않은 난이도 하에서의 순차적 의사결정(어떤 LLM을 호출하고 언제 중단할지)으로 모델링합니다. 사전 확률이 알려진 단순화된 환경에서 비용 순서에 따른 에스컬레이션(cost-ordered escalation)이 최적이 되는 조건을 제시합니다. 일반적인 메뉴에 대해서는 사전 확률에 구애받지 않는(prior-free) 경쟁적 보장을 도출합니다. 5개의 벤치마크 문제에서 OSCAR는 단일 GPU에 로컬 배포 가능한 두 개의 소형 오픈 가중치(open-weight) LLM을 사용하여 보고된 설정 기준 95%에서 100%의 정확도를 달성합니다. 이 모델들의 단일 시도 정확도는 평균 29% 및 48%입니다. 문제당 5회 실행에서 Codex와 Claude Code는 OSCAR에 비해 각각 평균 3.1배, 5.8배의 토큰 비용을 발생시킵니다. OSCAR는 예산 및 기밀성 요구사항에 따라 로컬 또는 클라우드에서 오픈 가중치 모델을 지원합니다. 기업은 자연어 운영 규칙을 명확히 하기 위해 실행 가능한 결정과 실행 불가능한 결정에 대한 라벨링된 결정 예시를 유지 관리해야 합니다. OSCAR는 LLM의 해석이 이들과 충돌할 때 이러한 라벨을 따릅니다. LLM 성능과 가격이 변화함에 따라, OSCAR의 단순한 운영 규칙과 조정 가능한 설정은 기업이 모델 선택을 적응시키고 이러한 발전을 활용할 수 있도록 돕습니다.

arXiv:2609.22987v1cs.AI

OptiSkill: LLM 기반 최적화 모델링을 위한 계층적·진화형 SkillBank

OptiSkill: A Hierarchical and Evolving SkillBank for LLM-Based Optimization Modeling

자동화된 운영연구(OR) 모델링은 LLM이 자연어 의사결정 문제를 올바른 수학적 프로그램으로 변환할 것을 요구한다. 기존 방법은 개별 공식화(formulation)를 개선할 수 있지만, 종종 문제를 고립하여 해결하여 재사용 가능한 경험을 거의 남기지 못하고 유사한 공식화 오류를 반복한다. 선행 메모리 기반 접근법은 예시, 사고, 또는 인사이트를 참조로 저장하는 반면, OR 모델링은 문제 서사에 걸쳐 전이되는 재사용 가능한 공식화 skill이 필요하며 구체적인 모델링 결정을 안내한다. 우리는 LLM 기반 OR 모델링을 위해 계층적이고 진화하는 SkillBank를 구축하는 skill-증강 프레임워크인 OptiSkill을 제안한다. SkillBank는 solver로 검증된 경험을 재사용 가능한 skill로 저장하며, 문제 수준 공식화 골격을 위한 Global Strategies와 지역적 오류 방지 규칙을 위한 Step Experiences를 둔다. 이는 안정적인 배치 수준 테스트 시간(test-time) 진화를 통해 더 정제되며, 후보 skill은 검증 후에만 통합된다. 8개 OR 모델링 벤치마크에서의 실험은 OptiSkill이 다양한 LLM 백본에서 공식화 정확도를 개선하고, 강력한 에이전트(agentic) baseline을 능가하며, SkillBank의 커버리지와 신뢰성을 확장함으로써 추가 이득을 얻음을 보여준다. 코드와 데이터는 https://github.com/rachhhhing/OptiSkill 에서 이용 가능하다.

arXiv:2607.20474v1cs.AI

VeriSimpl: 단순화 기반 검증을 활용한 자연어 기반 견고한 최적화 모델링

VeriSimpl: Robust Optimization Modeling from Natural Language using Simplification-based Verification

자연어 인터페이스는 최적화 모델링의 접근성과 사용성을 크게 향상시킬 수 있으며, 대규모 언어 모델(LLM)의 최근 발전은 텍스트 문제 설명을 실행 가능한 솔버 공식화로 자동 변환하는 데 가능성을 보여준다. 그러나 기존 접근법의 핵심 과제는 추론된 공식화가 오류 없이 실행될 수 있더라도 의도된 작업을 올바르게 구현하는지 확인하는 것이다. 우리는 견고한 자연어-최적화 형식화를 위한 솔버 LLM 프레임워크인 VeriSimpl을 제안한다. 우리 접근법은 단순화 기반 검증(simplification-based verification)이라는 아이디어에 기반하며, 여기서 최적화 솔버를 활용해 후보 공식화에 대한 단순화된 진단 쿼리를 생성하고, 이를 통해 LLM이 작업 설명에 대한 공식화의 정확성을 다루기 쉽게 추론할 수 있게 한다. 문제 제약과 의사결정 변수와 관련된 다양한 차원에서 이러한 단순화 전략을 제시하며, 이는 LLM이 고정된 전역 문맥 하에서 국소적으로 추론할 수 있게 한다. 다양한 최적화 벤치마크에 대한 평가는 우리 접근법이 기존 방법 대비 정확도에서 일관된 개선을 제공함을 보여주며, 동시에 새로운 고정밀도 자가 검증 신호를 제공함을 보여준다.