언어 모델(LM)의 전례 없는 성공과 함께, 프롬프트 엔지니어링은 복잡한 작업을 기술하고 LM의 능력을 활용하기 위해 프롬프트를 프로그래밍 가능한 제어 표면으로 취급하는 프롬프트 프로그래밍이라는 강력한 개념으로 발전해 왔다. 그러나 기존 프롬프트 프로그래밍 프레임워크는 다양한 복잡성과 미적 결함으로 인해 실무에서 작업을 효과적으로 기술하기 어렵다. 우리는 프롬프트 프로그래밍의 연구와 실천을 위한 새로운 언어 프레임워크인 Imprompt를 제안한다. 우리는 프롬프트 프로그래밍에 대한 기초적 조사를 수행하고, 프롬프트 프로그램은 작업 설명만을 포함해야 하며 하위 수준의 '실행(execution)' 세부사항과 분리되어야 한다고 주장한다. 우리는 구조화된 프롬프팅(structured prompting)을 프롬프트 프로그래밍과 프롬프트 프로그램 '컴파일(compilation)'의 결합으로 설명함으로써 이 입장을 더 발전시킨다. 우리는 Imprompt 프로그램에 대한 두 컴파일러를 공식적으로 정의함으로써 이 관점을 예시한다. 이어서 프롬프트 프로그램의 타입(type) 개념을 탐구하고, 타입 검사(type checking)와 제약 디코딩(constrained decoding) 사이의 대응 관계를 제시한다. 마지막으로, 우리는 컴파일러와 타입 검사기를 구현하고 다양한 사례 연구에서 이를 평가한다. 본 연구는 새롭게 부상하는 프롬프트 프로그래밍 분야에 대한 프로그래밍 언어적 기초를 제공한다고 생각한다.
신경망 의미 파서(neural semantic parser)는 토큰 단위로 의미 표상을 생성하지만, 적형성(well-formedness)은 생성 과정에서 전개되는 참조, 스코프 및 그래프 관계에 따라 결정됩니다. 제약 디코딩(constrained decoding)은 국소적으로 유효하지 않은 토큰을 방지하지만, 유효한 접두 문맥(prefix)이 고정된 출력 길이 제한 내에서 완성될 수 있음을 보장하지는 못합니다. 본 연구에서는 DRS 파싱의 세 단계(디코딩, 사후 처리, 학습)에서 구조적 오토마타를 탐구하고, AMR에 대한 디코딩도 추가로 평가합니다. 디코딩을 위해, 잔여 길이 제한 내에서 검증된 완성을 유지하면서 모델이 선호하는 토큰 역시 완성이 가능할 때마다 해당 토큰을 따르는 수락 경로 디코딩(APD)을 도입합니다. APD는 토큰을 철회하지 않고도 수락되는 출력을 보장합니다. 엄격한 길이 제한 하에서 APD는 DRS에서 국소 마스킹 대비 Smatch++를 각각 5.1점 및 2.4점 향상시키고, AMR에서는 6.4점 및 3.2점 향상시켜 토큰을 철회하는 동일한 제한 하의 롤백 방식과 비견할 만한 성능을 보입니다. 사후 처리의 경우, 유효하지 않은 출력은 동일한 입력에 집중됩니다. 제한된 학습 데이터 환경에서는 8개의 비제약 샘플링 결과 입력의 10.2%에서 유효한 출력이 전혀 나오지 않은 반면, 전체 데이터 환경에서는 0.4%에 불과했으며, 이 경우 필터링만으로도 APD와 0.2 Smatch++ 포인트 이내의 차이를 보였습니다. 학습의 경우, 오토마톤이 거부한 토큰에 페널티를 부여하면 학습의 10% 시점에서 검증 세트 Smatch++가 3.6~11.0점 향상되지만, 데이터가 제한된 환경에서 학습 초반 6분의 1 이내에 교차 엔트로피만으로도 거부된 토큰에 할당되는 확률이 14%에서 2% 미만으로 감소함에 따라 이러한 이점은 점차 줄어듭니다.
대규모 언어 모델(LLM)은 코드 생성에서 강력한 성능을 보여주었으나, 여러 제약 조건이 포함된 세분화된 사용자 의도를 준수하는 것은 여전히 중요한 과제로 남아 있습니다. 본 연구의 실증적 분석을 통해 두 가지 주요 관찰 결과를 발견했습니다. 1) 사용자 의도 내 제약 조건의 수가 증가함에 따라 모델 성능이 급격히 저하되며, 2) 사용자 의도가 모델의 로짓(logits)에 영향을 미치기는 하지만, 디코딩 과정을 효과적으로 유도할 만큼 충분히 강하지 않을 수 있다는 점입니다. 이를 위해 본 논문에서는 LLM의 사용자 의도 준수 능력을 향상시키는 새로운 디코딩 전략인 의도 증폭 코드 생성(IntentCoding, Intent-Amplified Code Generation)을 제안합니다. IntentCoding은 의도를 마스킹하여 사용자 의도의 영향을 포착하고, 다중 강도 앙상블 메커니즘을 적용하여 생성 과정에서 사용자 의도의 효과를 증폭합니다. IntentCoding은 모델에 구애받지 않으며(model-agnostic), 추가 학습이 필요 없고, 기존 디코딩 절차와 매끄럽게 통합됩니다. 체계적인 평가를 위해 다양한 수의 제약 조건 하에서 사용자 의도 준수 여부를 테스트하도록 특별히 설계된 벤치마크 데이터셋인 CodeConstraints도 구축했습니다. 직접 구축한 제약 조건 데이터셋뿐만 아니라 널리 사용되는 IFEvalCode, HumanEval, LiveCodeBench 데이터셋을 대상으로 한 실험 결과, IntentCoding 모델은 표준 디코딩 방식 대비 제약 조건 충족도와 기능적 정확도를 모두 크게 향상시키는 것으로 나타났습니다. IntentCoding은 그리디 디코딩(greedy decoding)과 비교했을 때 CodeConstraints에서 최대 71.0%의 상대적 개선, IFEvalCode에서 최대 67.3%의 상대적 개선, 그리고 HumanEval과 LiveCodeBench의 pass@1에서 최대 29.3%의 상대적 개선을 달성했습니다.
대규모 언어 모델(LLM)의 출력이 지정된 구조를 따르도록 보장하기 위해, 문맥 자유 문법(CFG) 디코딩 엔진은 다음 토큰(token) 선택을 강제하여 주어진 CFG를 준수하는 문자열을 생성합니다. 현재의 CFG 기반 제약 조건 디코딩 엔진은 고도로 최적화되어 있지만, 단계별 탐색 공간이 방대하다는 점(즉, 전체 토큰 어휘 집합)에서 비롯되는 본질적인 비용으로 인해 여전히 어려움을 겪고 있습니다. 이는 CFG 엔진이 가장 유용한 상황인 더 복잡한 CFG에서 감당하기 힘들 정도로 높은 오버헤드를 발생시킵니다. 본 논문에서는 토큰 탐색 공간을 압축하여 CFG 엔진 오버헤드를 대폭 줄이는 오프라인 기법인 CFGzip을 소개합니다. 실험을 통해 배치 추론(inference) 중 최대 75배의 지연 시간 단축을 보고하며, 가장 까다로운 문법에서도 오버헤드를 약 1.2~2배 수준으로 줄입니다. CFGzip을 통해 이제 복잡한 CFG에 대해서도 대규모 제약 조건 디코딩이 가능해졌습니다.
코딩 에이전트는 하네스가 선택한 동작을 실행하기 전에, 제공된 스키마에 따른 도구의 파싱 가능한 호출, 즉 유효한 도구 호출(tool call)을 출력해야 한다. 우리는 로컬 서빙 스택이 이 프로토콜 단계에 미치는 영향을 연구하고, 측정된 결과가 모델 동작만이 아니라 서빙 층에 따라 달라질 수 있음을 보인다. Ollama에서는 기본 tools= 요청이 모델별로 정적 템플릿 플래그에 의해 게이트된다. 일부 모델은 수락되어 호출을 텍스트로 반환하고, 일부는 네이티브 tool_calls를 반환하며, Phi-3와 Gemma-3는 추론 전에 거부된다. 우리 하네스에서는 거부와 재시도 소진이 구조화된 실패 메타데이터로 보존되지 않아, 하류 분석에서 이를 모델의 비호출로 잘못 분류하고 순진하게 0% fidelity를 보고할 수 있다. 네이티브 채널을 유지하면서 텍스트 도구 목록을 추가하면 수락된 모델에 대해 측정된 fidelity의 상당 부분을 회복하지만, 네이티브 tool-call을 지원하는 Llama-3.2에 대해서는 균일한 텍스트 프로토콜이 fidelity를 낮춘다. Ollama, llama.cpp, vLLM, SGLang에 대한 교차 스택 프로브는 동일한 요청에 대해 서로 다른 처리를 보여준다. 제약 디코딩(constrained decoding)은 파싱 실패를 제거하지만 비종료(non-termination)를 유발할 수 있으며, 턴 풀링(turn-pooled) 추정과 인스턴스별(per-instance) 추정은 최대 약 55포인트까지 차이 난다. 마지막으로 서빙 동작을 평가 프로토콜의 일부로 다루기 위한 체크리스트를 제시한다.
우리는 UN 및 UNESCO 결의문에서의 단락 수준 논증 마이닝을 다루는 ArgMining 2026 UZH Shared Task의 우승 시스템인 LLM-INSTRUCT를 제안한다. 이 과제는 최대 8B 파라미터의 오픈 가중치 모델만을 사용하여, 엄격한 JSON 스키마 설정 하에서 단락 유형 분류, 141개 공식 태그 중 일부의 예측, 그리고 방향성 관계 예측을 요구한다. 우리는 이 과제를 제약 기반 구조화 예측으로 프레이밍한다. 시스템은 먼저 메타데이터 인식 밀집 검색(dense retrieval)으로 후보 태그 공간을 축소한 다음, 차원별 상한이 있는 제약 디코딩(constrained decoding)을 적용하고, 불확실한 경우에만 3-에이전트 토론 분기로 에스컬레이션하며, 마지막으로 출력 스키마를 검증한다. 공식 리더보드에서 LLM-INSTRUCT는 전체 1위, F1 1위, LLM-as-a-Judge 5위를 기록했다. 개발 과정에서 구성 탐색을 통해 Task 1b Micro-F1을 35.83%에서 40.08%로 추가로 개선했으며, 내부 Task 2 점수는 4.421을 유지했다. 핵심 교훈은 간단하다: 생성 전에 결정 공간을 축소하면 정확도와 제출 견고성 모두가 향상된다. 코드와 지원 스크립트는 다음에서 공개되어 있다: https://github.com/LLM-Instruct-at-UZH-Shared-Task-2026/Method
대규모 언어 모델(LLM)은 SQL을 작성할 수 있지만, 엔터프라이즈 배포에는 그럴듯한 텍스트 이상이 요구된다. 출력은 구문적으로 유효해야 하며, 역할별·스키마별 정책을 준수해야 하고, (최선을 다하는 수준이 아닌) 증명 가능한 보장을 담아야 하며, 생성이 길어져도 느려지면 안 되고, 모든 결정에 대한 규정 준수 수준의 기록을 남겨야 한다. 우리는 GRID(Grammar-Railed Decoding, 문법 레일 디코딩)를 제안한다. 이는 토큰 시퀀스가 아니라 파서 구성(렉서 스캔 상태 × LALR(1) 스택)에 정확한 다음 토큰 마스크를 키잉하는 문법 제약 디코딩 엔진이며, 점진적으로 전진하는 LALR(1) 파서 자체를 viable-prefix 오라클로 사용한다. LLM 토큰은 바이트 수준 트라이 탐색으로 문법 터미널에 연결되며, 문맥 독립/문맥 의존 분할을 통해 캐시 키 건전성이 구조적으로 성립한다. 역할 기반 접근 제어(RBAC)는 언어에 컴파일된다. 역할 투영이 문법의 생성 규칙을 부분집합으로 만들고 스키마 어휘가 식별자 터미널을 제한하므로, 금지된 동사와 식별자는 마스크 수준에서 도달할 수 없다. 네 가지 보장(건전성, 완전성, 종료성, 토큰당 거의 일정한 비용)은 명시적 전제 조건과 함께 제시되며, 각각 테스트 또는 벤치마크와 짝을 이룬다. Rust 커널은 토큰당 마스크를 중앙값 3.6–6.7μs로 가져오며, 두 토크나이저에서 오거부 0건으로 llguidance의 p50·p90을 앞선다. 토큰당 가드 비용은 n=16,000에서 위치에 무관하게 일정하다. Spider에서 제약 디코딩은 0.5B에서 실행 정확도 +13점의 가치가 있으며, 증명적으로 마스크로 강제할 수 없는 잔여(컬럼 수준 정책)에 대한 체커 안내 수리 1회 패스는 7B 모델을 94.5% 실행 가능으로 끌어올린다. 해시 연쇄 토큰별 감사 추적은 100% 변조 탐지와 함께 비트 단위로 동일하게 재현된다. 마스크가 할 수 없는 것(분포 충실도, 컬럼 수준 RBAC, 비-LALR(1) 언어)과 측정된 비용이 남는 지점을 솔직히 밝힌다.
제약 디코딩(constrained decoding)은 생성적 검색(generative retrieval)에서 필수적이며, 쿼리로부터 직접 생성된 문서 식별자가 사전 정의된 유효 ID 라이브러리와 정확히 일치해야 한다. 대규모 환경에서는 트라이(trie)와 빔 서치(beam search)를 결합하여 디코딩을 제약하는 경우가 많지만, 대부분의 구현은 CPU에서 실행된다. 제한된 병렬성으로 인해 빔 너비가 증가할수록 트라이 순회 및 후보 검증(validation)이 서빙 병목이 된다. 우리는 GPU에서 제약 빔 서치를 최적화하여 이 한계를 해결하는 FlashTrie를 제안한다. FlashTrie는 비트 압축으로 메모리 사용량을 줄이는 동시에 전체 인덱스를 GPU 고대역폭 메모리에 유지하여 메모리 지연을 감소시키는 정수 인식 간결 트라이(integer-aware succinct trie) 레이아웃을 도입하고, 단계별 호스트 오케스트레이션 없이 빔 확장, 검증(validation), 가지치기(pruning)를 온디바이스에서 완전히 수행하는 협력적 CUDA 커널(kernel)을 활용한다. 또한 CPU 방식의 불규칙 조회 및 힙 유지 관리를 GPU 친화적 병렬 프리미티브로 대체하여 워프 활용률을 높이고 분기를 줄인다. 이러한 설계들은 검색 품질을 유지하면서 디코딩 지연 시간을 크게 줄이고 처리량을 향상시킨다. 최대 빔 너비 1000, 8억 개 키워드 라이브러리 환경에서 FlashTrie는 트라이 탐색 지연 시간을 3ms 미만으로 줄여, 고도로 최적화된 멀티스레드 CPU 기준선(baseline) 대비 최대 24배의 속도 향상을 달성한다. 이러한 개선을 통해 FlashTrie는 스폰서 검색(sponsored search)과 같은 지연 시간이 중요한 응용에서 빔 크기를 최대 5배까지 확장할 수 있다. 인기 상용 검색 엔진에서 진행한 대규모 온라인 A/B 실험에서 통계적으로 유의미한 +0.71%의 매출 향상을 달성하며, 이전에는 오프라인에서만 가능했던 규모의 실시간 제약 디코딩을 실현하였다. FlashTrie 코드는 리뷰 과정 완료 후 공개될 예정이다.
대규모 언어 모델(LLM)이 생성한 웹 API 호출 코드의 오류를 줄이기 위해 검색-증강 생성(RAG)과 제약 디코딩(Constrained Decoding, CD) 두 가지 보완적 접근법을 제안하고 체계적으로 평가한다. RAG는 OpenAPI 명세에서 관련 엔드포인트 정보를 추출해 프롬프트에 주입하고, CD는 OpenAPI 명세를 정규식 기반 생성 제약으로 자동 변환하여 불법 URL·HTTP 메서드·인자를 원천 차단함으로써, 합성 데이터셋 기준 CD 단독으로 평균 143~209%의 정확도 향상을, RAG+CD 결합 시 최대 332%의 향상을 달성했다.
코드 LLM은 구문적 유효성을 형식적으로 보장하지 못하고 계층적 언어 구조를 충분히 활용하지 못하는 한계를 Weave of Formal Thought(WoFT)가 GLR 파싱과 speculative lexing 기반 Tree-sitter 완전 제약 디코더, 그리고 reweighted wake-sleep(RWS)로 비단말 문법 기호를 생성에 삽입하는 잠재변수 파인튜닝을 결합해 해결한다. Python에서 StarCoder2-3B를 파인튜닝한 결과 텍스트 전용 SFT 대비 토큰당 교차 엔트로피가 상대 14.3% 감소해, 선택적 잠재 구문이 평탄한 자기회귀 학습에서 버려지는 구조 정보를 회복함을 보였다.
토큰 길이 제한 하에서 기존 문법 제약 생성(GCG) 방식은 JSON 출력이 중간에 잘리거나 문법적으로 깨질 수 있는데, TruncProof는 LL(1) 파서로 각 디코딩 단계마다 문법적으로 유효한 완성에 필요한 최소 토큰 수를 추정해 사전 정의된 토큰 한도 내에서 유효한 JSON을 생성한다. Text-to-JSON 지시 과제 실험에서 엄격한 토큰 예산에서도 구문적으로 올바른 출력을 만들었고, Beam Search·MCTS 등 고급 디코딩 전략과 결합하면 의미적 정확도도 높일 수 있음을 보였다.