한국어 초록
신경망 의미 파서(neural semantic parser)는 토큰 단위로 의미 표상을 생성하지만, 적형성(well-formedness)은 생성 과정에서 전개되는 참조, 스코프 및 그래프 관계에 따라 결정됩니다. 제약 디코딩(constrained decoding)은 국소적으로 유효하지 않은 토큰을 방지하지만, 유효한 접두 문맥(prefix)이 고정된 출력 길이 제한 내에서 완성될 수 있음을 보장하지는 못합니다. 본 연구에서는 DRS 파싱의 세 단계(디코딩, 사후 처리, 학습)에서 구조적 오토마타를 탐구하고, AMR에 대한 디코딩도 추가로 평가합니다. 디코딩을 위해, 잔여 길이 제한 내에서 검증된 완성을 유지하면서 모델이 선호하는 토큰 역시 완성이 가능할 때마다 해당 토큰을 따르는 수락 경로 디코딩(APD)을 도입합니다. APD는 토큰을 철회하지 않고도 수락되는 출력을 보장합니다. 엄격한 길이 제한 하에서 APD는 DRS에서 국소 마스킹 대비 Smatch++를 각각 5.1점 및 2.4점 향상시키고, AMR에서는 6.4점 및 3.2점 향상시켜 토큰을 철회하는 동일한 제한 하의 롤백 방식과 비견할 만한 성능을 보입니다. 사후 처리의 경우, 유효하지 않은 출력은 동일한 입력에 집중됩니다. 제한된 학습 데이터 환경에서는 8개의 비제약 샘플링 결과 입력의 10.2%에서 유효한 출력이 전혀 나오지 않은 반면, 전체 데이터 환경에서는 0.4%에 불과했으며, 이 경우 필터링만으로도 APD와 0.2 Smatch++ 포인트 이내의 차이를 보였습니다. 학습의 경우, 오토마톤이 거부한 토큰에 페널티를 부여하면 학습의 10% 시점에서 검증 세트 Smatch++가 3.6~11.0점 향상되지만, 데이터가 제한된 환경에서 학습 초반 6분의 1 이내에 교차 엔트로피만으로도 거부된 토큰에 할당되는 확률이 14%에서 2% 미만으로 감소함에 따라 이러한 이점은 점차 줄어듭니다.
원문 초록
Neural semantic parsers generate meaning representations token by token, yet well-formedness depends on references, scope, and graph relations that unfold during generation. Constrained decoding prevents locally invalid tokens but does not guarantee that a valid prefix can be completed within a fixed output-length limit. We investigate structural automata at three stages of DRS parsing (decoding, post hoc processing, and training) and additionally evaluate decoding on AMR. For decoding, we introduce accepting-path decoding (APD), which maintains a verified completion within the remaining length limit and follows the model's preferred token whenever that token can also be completed. APD guarantees an accepted output without retracting tokens. Under tight length limits, it improves Smatch++ over local masking by 5.1 and 2.4 points on DRS and by 6.4 and 3.2 points on AMR, comparable to rollback under the same limit, which retracts tokens. For post hoc processing, invalid outputs concentrate on the same inputs: eight unconstrained samples yield no valid output for 10.2% of inputs with limited training data, compared with 0.4% with full data, where filtering comes within 0.2 Smatch++ points of APD. For training, penalizing automaton-rejected tokens improves development Smatch++ by 3.6-11.0 points after 10% of training, but this advantage diminishes as cross-entropy alone reduces the probability assigned to rejected tokens from 14% to below 2% within the first sixth of training with limited data.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM-INSTRUCT at UZH Shared Task 2026: 단락 수준 논증 마이닝을 위한 제약 인식 검색 및 선택적 토론
LLM-INSTRUCT at UZH Shared Task 2026: Constraint-Aware Retrieval and Selective Debate for Paragraph-Level Argument Mining
우리는 UN 및 UNESCO 결의문에서의 단락 수준 논증 마이닝을 다루는 ArgMining 2026 UZH Shared Task의 우승 시스템인 LLM-INSTRUCT를 제안한다. 이 과제는 최대 8B 파라미터의 오픈 가중치 모델만을 사용하여, 엄격한 JSON 스키마 설정 하에서 단락 유형 분류, 141개 공식 태그 중 일부의 예측, 그리고 방향성 관계 예측을 요구한다. 우리는 이 과제를 제약 기반 구조화 예측으로 프레이밍한다. 시스템은 먼저 메타데이터 인식 밀집 검색(dense retrieval)으로 후보 태그 공간을 축소한 다음, 차원별 상한이 있는 제약 디코딩(constrained decoding)을 적용하고, 불확실한 경우에만 3-에이전트 토론 분기로 에스컬레이션하며, 마지막으로 출력 스키마를 검증한다. 공식 리더보드에서 LLM-INSTRUCT는 전체 1위, F1 1위, LLM-as-a-Judge 5위를 기록했다. 개발 과정에서 구성 탐색을 통해 Task 1b Micro-F1을 35.83%에서 40.08%로 추가로 개선했으며, 내부 Task 2 점수는 4.421을 유지했다. 핵심 교훈은 간단하다: 생성 전에 결정 공간을 축소하면 정확도와 제출 견고성 모두가 향상된다. 코드와 지원 스크립트는 다음에서 공개되어 있다: https://github.com/LLM-Instruct-at-UZH-Shared-Task-2026/Method
GRID: 엔터프라이즈 SQL 생성을 위한 문법 레일 디코딩
GRID: Grammar-Railed Decoding for Enterprise SQL Generation
대규모 언어 모델(LLM)은 SQL을 작성할 수 있지만, 엔터프라이즈 배포에는 그럴듯한 텍스트 이상이 요구된다. 출력은 구문적으로 유효해야 하며, 역할별·스키마별 정책을 준수해야 하고, (최선을 다하는 수준이 아닌) 증명 가능한 보장을 담아야 하며, 생성이 길어져도 느려지면 안 되고, 모든 결정에 대한 규정 준수 수준의 기록을 남겨야 한다. 우리는 GRID(Grammar-Railed Decoding, 문법 레일 디코딩)를 제안한다. 이는 토큰 시퀀스가 아니라 파서 구성(렉서 스캔 상태 × LALR(1) 스택)에 정확한 다음 토큰 마스크를 키잉하는 문법 제약 디코딩 엔진이며, 점진적으로 전진하는 LALR(1) 파서 자체를 viable-prefix 오라클로 사용한다. LLM 토큰은 바이트 수준 트라이 탐색으로 문법 터미널에 연결되며, 문맥 독립/문맥 의존 분할을 통해 캐시 키 건전성이 구조적으로 성립한다. 역할 기반 접근 제어(RBAC)는 언어에 컴파일된다. 역할 투영이 문법의 생성 규칙을 부분집합으로 만들고 스키마 어휘가 식별자 터미널을 제한하므로, 금지된 동사와 식별자는 마스크 수준에서 도달할 수 없다. 네 가지 보장(건전성, 완전성, 종료성, 토큰당 거의 일정한 비용)은 명시적 전제 조건과 함께 제시되며, 각각 테스트 또는 벤치마크와 짝을 이룬다. Rust 커널은 토큰당 마스크를 중앙값 3.6–6.7μs로 가져오며, 두 토크나이저에서 오거부 0건으로 llguidance의 p50·p90을 앞선다. 토큰당 가드 비용은 n=16,000에서 위치에 무관하게 일정하다. Spider에서 제약 디코딩은 0.5B에서 실행 정확도 +13점의 가치가 있으며, 증명적으로 마스크로 강제할 수 없는 잔여(컬럼 수준 정책)에 대한 체커 안내 수리 1회 패스는 7B 모델을 94.5% 실행 가능으로 끌어올린다. 해시 연쇄 토큰별 감사 추적은 100% 변조 탐지와 함께 비트 단위로 동일하게 재현된다. 마스크가 할 수 없는 것(분포 충실도, 컬럼 수준 RBAC, 비-LALR(1) 언어)과 측정된 비용이 남는 지점을 솔직히 밝힌다.
FlashTrie: 생성적 검색을 위한 GPU 가속 제약 빔 서치
FlashTrie: A GPU-Accelerated Constrained Beam Search for Generative Retrieval
제약 디코딩(constrained decoding)은 생성적 검색(generative retrieval)에서 필수적이며, 쿼리로부터 직접 생성된 문서 식별자가 사전 정의된 유효 ID 라이브러리와 정확히 일치해야 한다. 대규모 환경에서는 트라이(trie)와 빔 서치(beam search)를 결합하여 디코딩을 제약하는 경우가 많지만, 대부분의 구현은 CPU에서 실행된다. 제한된 병렬성으로 인해 빔 너비가 증가할수록 트라이 순회 및 후보 검증(validation)이 서빙 병목이 된다. 우리는 GPU에서 제약 빔 서치를 최적화하여 이 한계를 해결하는 FlashTrie를 제안한다. FlashTrie는 비트 압축으로 메모리 사용량을 줄이는 동시에 전체 인덱스를 GPU 고대역폭 메모리에 유지하여 메모리 지연을 감소시키는 정수 인식 간결 트라이(integer-aware succinct trie) 레이아웃을 도입하고, 단계별 호스트 오케스트레이션 없이 빔 확장, 검증(validation), 가지치기(pruning)를 온디바이스에서 완전히 수행하는 협력적 CUDA 커널(kernel)을 활용한다. 또한 CPU 방식의 불규칙 조회 및 힙 유지 관리를 GPU 친화적 병렬 프리미티브로 대체하여 워프 활용률을 높이고 분기를 줄인다. 이러한 설계들은 검색 품질을 유지하면서 디코딩 지연 시간을 크게 줄이고 처리량을 향상시킨다. 최대 빔 너비 1000, 8억 개 키워드 라이브러리 환경에서 FlashTrie는 트라이 탐색 지연 시간을 3ms 미만으로 줄여, 고도로 최적화된 멀티스레드 CPU 기준선(baseline) 대비 최대 24배의 속도 향상을 달성한다. 이러한 개선을 통해 FlashTrie는 스폰서 검색(sponsored search)과 같은 지연 시간이 중요한 응용에서 빔 크기를 최대 5배까지 확장할 수 있다. 인기 상용 검색 엔진에서 진행한 대규모 온라인 A/B 실험에서 통계적으로 유의미한 +0.71%의 매출 향상을 달성하며, 이전에는 오프라인에서만 가능했던 규모의 실시간 제약 디코딩을 실현하였다. FlashTrie 코드는 리뷰 과정 완료 후 공개될 예정이다.
On the Role of Directionality in Structural Generalization
Weave of Formal Thought
Adaptive Visual KV Cache Reuse for Efficient Multi-Turn Iterative Multimodal Reasoning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.