PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13640v1cs.AI

입력 데이터와 양성 및 음성 예시 해로부터 크기 독립적 제약 모델 학습

Learning Size Independent Constraint Models from Input Data and Positive and Negative Example Solutions

본 논문에서는 여러 문제 인스턴스의 입력 데이터와 양성 및 음성 예시 해로부터 크기 독립적인 제약 프로그램을 생성하는 제약 획득 도구(Constraint Acquisition Tool)를 설명한다. 이 시스템은 전역(global) 및 이진(binary) 제약에 대한 일반적인 제약 패턴을 기반으로 크기 특정 모델을 찾은 후, 이를 일반화하여 보지 못한 입력 데이터에서도 실행할 수 있는 크기 독립적 모델로 만든다. 이 시스템은 모델에 대한 텍스트 설명뿐만 아니라 MiniZinc 코드도 생성한다. 우리는 PTHG21 챌린지의 예제 문제들에 대해 이 도구를 평가하여 접근 방식의 실현 가능성을 보여준다.

arXiv:2607.20456v1cs.CL

Learn2Zinc: MiniZinc에서의 텍스트-모델 변환을 위한 소형 언어 모델 미세조정

Learn2Zinc: Fine-tuning Small Language Models for Text-to-Model Translation in MiniZinc

대규모 언어 모델(LLM)은 주류 프로그래밍 언어에 대한 코드 생성에는 뛰어나지만, 조합 문제를 위한 제약 모델링 언어인 MiniZinc와 같은 희귀하고 도메인 특화된 언어에서는 어려움을 겪는다. 우리는 표적 미세조정이 소형 언어 모델(0.6B~20B 파라미터)에게 자연어 문제 설명으로부터 구문적으로 올바르고 의미적으로 유효한 MiniZinc 모델을 생성하도록 가르칠 수 있는지 조사한다. 핵심 발견은 이 도메인 특화 언어를 다룰 때 구문 오류가 실패를 지배한다는 것이다: Qwen3, LLaMa, Gemma, GPT-OSS와 같은 소형 언어 모델의 기본(out-of-the-box) 실행 정확도는 거의 0에 가깝다. 우리는 여러 LLM 실행에서 구문 오류를 수집하고 이를 활용해 오류 수정 학습 데이터셋을 구축하는 교차 모델 오류 부트스트래핑 접근법을 제안한다. 이 데이터셋을 통해 모든 모델 크기에 걸쳐 직접 코드 생성과 사고의 연쇄(Chain-of-Thought) 접근법 모두를 일관되게 개선하는 소형 언어 모델을 미세조정할 수 있다. 자기 성찰(self-reflection)과 앙상블링(ensembling)을 통해 우리 접근법은 최대 98% 실행 정확도를 달성한다. 한편, 해법 정확도는 여전히 35%에 머물러, 구문은 학습 가능하지만 제약 추론은 여전히 과제로 남아 있음을 시사한다. 우리는 텍스트-모델 변환에 대한 추가 연구를 위해 미세조정 파이프라인, 데이터셋, 모델을 오픈소스로 공개한다.