arXiv:2609.23954v1 cs.PL

Djinnlang: 컴파일러 내 LLM과 명확한 명세를 통한 고수준 프로그래밍

Djinnlang: Higher-Level Programming by Unambiguous Specification with an LLM in the Compiler

Simon Henniger, Stephen Chong, Nada Amin

제출 2026-09-22

한국어 초록

프로그래머는 정형 명세를 작성하고, 대규모 언어 모델(LLM)은 이를 구현하며 각 구현이 명세와 일치함을 증명합니다. 이를 극단까지 밀고 나가면 명세 언어가 새로운 프로그래밍 언어가 됩니다. 본 논문에서는 명확성(unambiguity) 제약이 핵심이라고 주장합니다. LLM은 자신의 구현이 명세를 만족함을 증명하는 것 외에도, 해당 명세를 만족하는 다른 모든 구현 역시 동일한 입력에 대해 동일한 출력을 생성해야 함, 즉 제약 조건으로 형성된 관계가 결정론적(deterministic)임을 증명해야 합니다. 이는 LLM에 프로그램 시맨틱에 대한 어떠한 재량도 남기지 않습니다. 기존 컴파일러와 마찬가지로 생성된 코드는 전혀 읽을 필요가 없으며 언제든지 명세로부터 재생성될 수 있습니다. 이러한 제약 조건 하에서 강력한 LLM과 결합할 때, 명세 언어와 프로그래밍 언어 간의 차이는 본질적으로 무의미해지며 LLM은 사실상 컴파일러 툴체인의 일부가 됩니다. 이러한 구성은 신뢰할 수 없는 모델이 코드를 작성하지만 그 작업은 검증기(verifier)에 의해 엄격하게 검사되므로, 강력한 형태의 AI 제어(AI control) 역할도 겸합니다. 명확성 제약의 지원을 받을 때 컴파일러 내 LLM(LLM-in-the-compiler) 패러다임이 실현 가능함을 보이기 위해, 우리는 이러한 미래를 위해 구축된 고수준 명세 언어인 Djinnlang을 제시합니다. Djinnlang 프로그램은 명세로만 구성되며, 프로그래머는 실행 가능한 코드를 전혀 작성하지 않습니다. 기존 컴파일러 대신 심볼릭 변환기가 각 명세를 Dafny 스텁 및 증명 의무(proof obligations)로 변환하고, 드라이버 하네스가 구현과 증명을 채워 넣는 LLM을 조율하며, 이 모든 것은 Dafny 검증기에 의해 검사됩니다. 우리는 여러 예제를 통해 우리의 언어와 구현을 평가하며, 이것이 자체 호스팅(self-hosting)이 가능함을 보여줍니다. 즉, LLM이 명세로부터 Djinnlang 변환기를 구현할 수 있으며 이 재구현체가 자체적으로 검증될 수 있습니다.

원문 초록

Programmers write formal specifications, and LLMs implement them, proving that each implementation matches its spec. Taken to its extreme, this makes specification languages the new programming languages. We argue that an unambiguity constraint is key: in addition to proving that its implementation satisfies the specification, the LLM must also prove that any other implementation satisfying it must produce the same outputs on the same inputs, i.e. that the relation formed by the constraints is deterministic. This leaves the LLM no leeway on program semantics: as with a conventional compiler, the generated code never needs to be read and can be regenerated from the spec at any time. Under this constraint and with a powerful LLM, the difference between a specification language and a programming language becomes essentially meaningless, and the LLM essentially becomes a part of the compiler toolchain. The arrangement doubles as a strong form of AI control: an untrusted model writes the code, yet its work is tightly checked by a verifier. To demonstrate that our LLM-in-the-compiler paradigm is feasible when supported by our unambiguity constraint, we present Djinnlang, a high-level specification language built for this future. A Djinnlang program consists only of specifications --- the programmer never writes executable code. In place of a traditional compiler, a symbolic translator lowers each spec to Dafny stubs and proof obligations, and a driver harness orchestrates an LLM that fills in implementations and proofs, all checked by the Dafny verifier. We evaluate our language and implementation on multiple examples and we show that it is self-hosting: an LLM can implement the Djinnlang translator from its specification and the reimplementation can verify itself.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23954v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15894v1cs.LG공통 태그 Code Generation, Large Language Model

모든 확장을 유의미하게: LLM 코드 수정에서 효율적인 탐색을 위한 학습

Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair

대규모 언어 모델(LLM) 코드 수정 시스템은 수정본을 반복적으로 생성하고 테스트하여 결함이 있는 프로그램을 고칩니다. 각 수정본 생성에는 많은 비용이 들기 때문에, 어떤 수정을 시도할지 선택하는 것이 효율성에 매우 중요합니다. 기존의 탐색 정책은 테스트 통과율과 탐색 통계에 의존하며, 테스트 실패 세부 정보와 제안된 편집 내용은 무시합니다. 본 논문에서는 수정된 프로그램이 생성되고 테스트되기 전에 편집의 우선순위를 정하는 학습된 정책인 CodeTriage를 소개합니다. 0.6B 매개변수(parameter) 모델은 테스트 출력, 실패 진단, 제안된 편집을 읽은 후, 해당 편집을 통해 해결에 도달하는 데 필요한 수정 단계 수에 대한 분포를 예측합니다. 이러한 예측은 수정된 코드를 생성하고 테스트하기 전에 프로그램 전반에 걸쳐 보류 중인 모든 편집의 우선순위를 지정합니다. 미공개 수정 작업에서 CodeTriage는 각 지표의 가장 강력한 기준선(baseline)보다 21% 적은 프로그램 수정본과 12% 적은 출력 토큰으로 해결책을 찾아냅니다. 재학습 없이도 11개의 보지 못한 수정 LLM 각각에 대해 탐색 예산 전반에서 가장 높은 평균 성공률을 달성합니다. 절제 연구(ablation study)에 따르면 실패 문맥과 편집 텍스트뿐만 아니라 프로그램 간의 비교도 탐색을 개선하는 것으로 나타났습니다. 또한 제안된 편집 및 테스트 결과와 함께 수정 트리로 구성된 4개 LLM의 1,220만 개 프로그램 버전 말뭉치를 공개합니다.

arXiv:2610.15969v1cs.AI공통 태그 Code Generation, Large Language Model

PopGen: 제로샷 조정을 위한 의미론적으로 다양한 개체군 생성

PopGen: Generating Semantically Diverse Populations for Zero-Shot Coordination

다중 에이전트 강화학습(multi-agent reinforcement learning)에서 학습(training) 중 협력자에게 다양한 전략을 가진 파트너를 노출하는 것은 테스트 시 더 나은 협업을 달성하기 위한 핵심 요소입니다. 그러나 기존 방법들은 일반적으로 다양성을 측정하기 위해 궤적 수준(trajectory-level)의 대리 지표에 의존하므로, 동일한 전략에서 나온 서로 다른 두 궤적을 다양하다고 잘못 분류할 수 있습니다. 대신 본 연구의 핵심 통찰은 인간이 고수준의 전략을 인식할 수 있는 것과 유사하게, 환경(environment) 내에서 행동적으로 뚜렷이 구별되는 에이전트(agent)를 서술하는 대규모 언어 모델(LLM)의 능력을 활용하는 것입니다. 이를 위해 본 연구에서는 LLM을 사용하여 처음부터 의미론적으로 다양한 에이전트를 합성하는 프레임워크인 PopGen을 소개합니다. PopGen은 먼저 에이전트 행동에 대한 다양한 텍스트 서술 세트를 생성한 다음, 각 행동을 환경 내에서 실행할 수 있는 코드 정책(code policy)으로 변환합니다. 본 연구는 PopGen 개체군을 대상으로 학습된 협력자가 처음 보는 파트너와도 견고한 제로샷(zero-shot) 협력을 달성하며, 네 가지 협업 환경 전반에서 개체군 기반 학습(population-play) 베이스라인들을 능가함을 보입니다. 나아가 의미론적 다양성이 PopGen 개체군 크기에 따라 확장되어 협력자의 최악의 경우(worst-case) 성능을 향상시킴을 보이고, 다양성을 극대화하면서도 개체군 품질을 유지하는 설계 선택 사항들을 식별합니다. 연구 코드는 https://github.com/labicon/PopGen 에서 확인할 수 있습니다.

arXiv:2610.13356v1cs.AI공통 태그 Code Generation, Large Language Model

SWE-Critix: 코딩 에이전트 궤적 평가를 위한 범용 검증기 사후 학습

SWE-Critix: Post-Training Generalist Verifiers for Assessing Coding-Agent Trajectories

코딩 에이전트는 엔드투엔드 소프트웨어 엔지니어링 작업에 점점 더 많이 배포되고 있지만, 성공 기준을 정의하는 즉시 사용 가능한 오라클 평가자가 없는 경우가 많다. 이는 코딩 에이전트의 행동을 신뢰성 있게 판단하고 설명할 수 있는 검증 방법에 대한 필요성을 불러일으킨다. 그러나 코딩 에이전트가 장기간에 걸친(long-horizon) 소프트웨어 엔지니어링 작업을 해결하는 능력이 점점 향상되면서 검증은 결코 간단하지 않다. 이들의 실행 궤적(trajectory)은 매우 길어질 수 있으며, 코드 저장소 및 외부 도구와의 수백 차례에 이르는 반복적 상호작용을 포함한다. 기존 검증기들은 전문적인 학습 없이 범용 LLM에 의존하거나, 주로 스칼라 보상(scalar reward) 생성에 초점을 맞춘 전용 비평가(critic)를 학습시키는 데 그치고 있어, 학습 기반 범용 검증(generalist verification)에 대한 탐험이 상대적으로 제한적이었음을 보여준다. 우리는 코딩 에이전트 궤적에 대한 범용 검증기를 학습시키기 위한 사후 학습 파이프라인인 SWE-Critix를 소개한다. 작업과 그 실행 궤적이 주어지면, 학습된 검증기는 완료 레이블(completion label)을 예측하고 그 판단을 설명하는 자연어 분석을 생성한다. 본 파이프라인은 지도 미세조정(SFT)과 강화학습(RL)을 결합하며, CodeForge-Preview의 궤적 데이터를 사용하여 일련의 30B 모델들을 학습시킨다. 홀드아웃 테스트 세트에서 SWE-Critix는 분류 정확도를 기본 Qwen3-30B-A3B 추론 모델의 57%에서 SFT 이후 66%, RL 이후 78%까지 향상시킨다. 우리는 추가 연구를 촉진하기 위해 모델, 데이터셋, 학습 코드를 공개한다.

arXiv:2610.13594v1cs.AI공통 태그 Code Generation, Large Language Model

MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습

MENTOR: Learning from Failure with On-Policy Pedagogical Intervention

검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.

arXiv:2610.13626v1cs.SE공통 태그 Code Generation, Large Language Model

SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹

SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle

대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.

arXiv:2610.10604v1cs.SE공통 태그 Code Generation, formal verification

타입 검사를 넘어서: 정형 명세 생성의 종합적 평가를 향하여

Beyond Type-checking: Towards Holistic Evaluation of Formal Specification Generation

검증 가능한 코드를 생성할 때, 대규모 언어 모델(LLM)과 에이전트(agent) 워크플로를 사용하여 자연어 요구사항을 기계 검증된 코드로 매핑합니다. 이 파이프라인의 핵심 구성 요소는 에이전트가 구현의 정확성을 증명할 수 있는 정형 계약을 생성하는 명세 생성(SpecGen)입니다. 증명 생성은 정리 증명기(theorem prover)로부터 결정론적 피드백을 얻을 수 있지만, SpecGen은 생성된 명세가 사용자의 의도를 제대로 포착했는지에 대한 결정적인 검증 수단이 부족합니다. 따라서 검증을 통과한 증명이라 하더라도 의도된 동작을 잘못 나타내는 명세를 기준으로 정확성을 입증하는 문제가 발생할 수 있습니다. 본 연구에서는 VERINA의 $189$개 및 CLEVER의 $161$개를 포함하여 기존의 $350$개 Lean 작업으로 구성된 통합 데이터셋(dataset)과, 정형적 타당성, 참조 유사도 및 동치성, 동작 적절성을 다루는 프레임워크를 통해 총체적인 SpecGen 평가를 향한 한 걸음을 내딛습니다. 본 연구는 필수 입력의 수용을 유효한 출력의 수용 및 무효한 출력의 거부와 구별하는 동시에, 각 지표의 근거 범위를 명시적으로 만듭니다. 네 가지 SpecGen 구성에 걸쳐 참조 유사도 측정 지표인 일반화된 트리 편집 거리(GTED) 비교를 공동 측정이 가능한 $32$개의 VERINA 작업으로 제한하면, 평균 유사도에서 VERINA 구성의 순위가 2위에서 4위로 변경되어 측정 범위(coverage)의 중요성을 보여줍니다. 직접 작성한 대조군 실험에서는 한 명세가 필수 입력을 $0\%$만 수용하면서도 $100\%$의 양성 테스트 재현율(recall) 및 음성 테스트 거부를 달성했습니다. 이는 완벽한 사후 조건 점수가 사용 불가능한 입력 계약을 놓칠 수 있음을 입증하며, 입력 범위와 출력 제약 조건에 대한 분리된 피드백의 필요성을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.