Datalog underpins reasoning tasks such as program analysis, but its programs are hard to write. Existing synthesizers automate this task but require users to state their intent as input-output examples. Large language models (LLMs) suggest a more natural route, text-to-Datalog synthesis from a natural-language question, yet how well they do so has not been systematically evaluated. We present DatalogBench, a benchmark of 136 text-to-Datalog synthesis tasks curated from existing Datalog-based artifacts. Synthesized programs are graded by execution on held-out inputs against an oracle validated by mutation analysis. Across six LLMs and four prompting configurations, exact match peaks at 75.7%; an input-output example raises it by about six points, while relation descriptions add little. Under direct prompting, most failures occur at compile time, typically because a model invents auxiliary predicates that it never declares or types consistently. Two coding agents reach up to 86.8% and eliminate nearly all such failures, leaving mostly semantic errors concentrated in recursive tasks. DatalogBench thus identifies recursive reasoning and decomposition as open challenges for current LLMs and agents, and offers a reliable, execution-grounded measure of both.
자동 형식화는 확장 가능한 형式 검증에 핵심적이지만, 기존 진전은 대체로 개별 명제에 집중되어 있다. 수백 개의 상호 의존적인 정의, 보조정리, 정리를 일관되게 번역하는 이론 규모 자동 형식화는 일관성, 충실성, 확장성, 정확성의 문제로 인해 여전히 해결되지 않았다. 본 논문에서는 『컴퓨터 과학을 위한 논리학』에 기반한 독립형 이론 규모 벤치마크인 LCS-Bench를 소개한다. LCS-Bench는 개념 그래프, 형식 시그니처 계획, 이슈 추적, 반례 탐색을 동반한 sorry 채우기를 활용하고 인간 전문가의 충실성 검토로 보완하는 새로운 반자동 에이전트 파이프라인을 통해 구축되었다. 그 결과물은 교재 항목 327개, Lean 선언 4,076개 이상, 85K줄이 넘는 Lean 코드를 포괄한다. 이 데이터셋은 자동 형식화와 정리 증명 능력의 서로 다른 측면을 측정하는 다섯 가지 평가 벤치마크 트랙을 자동으로 도출하는 데이터 엔진을 통해 폭넓은 평가를 지원한다. 또한 정의적 동등성 검사기를 갖춘 새로운 평가 프로토콜을 제안하여 더 세밀하고 충실한 평가를 가능하게 한다. 17개 모델에 대한 폭넓은 평가를 통해 (1) LCS-Bench가 고품질이며 일관되고 충실하다는 점, (2) 최첨단 모델이 자동 형식화 과제에서 20.3%만을 달성할 정도로 이 벤치마크가 도전적이라는 점, (3) 분석 결과가 이론 규모 자동 형식화에 관한 핵심적인 발견을 드러내며 향후 연구의 유망한 방향을 시사한다는 점을 보인다.
양자 컴퓨터가 과학의 획기적 문제를 해결할 수 있는 시점은 더 나은 하드웨어만큼이나 개선된 양자 알고리즘에 달려 있다. 이러한 알고리즘적 진보는 일반적으로 전문가들이 수년간 협업해야 이루어진다. 수학과 컴퓨터 과학에서는 대규모 언어 모델이 자동화된 발견 루프를 통해 진전을 가속해 왔다. 그러나 양자 알고리즘은 고전 컴퓨터로는 제한적이거나 작은 인스턴스에서만 평가될 수 있다. 여기서 우리는 과학 응용에서의 자릿수 단위 개선을 포함하여, 이러한 영역을 넘어서는 양자 프로그램의 자동 발견을 시연한다. 이를 위해 Lean 정리 증명기에 양자 프로그램 라이브러리를 구축하였으며, 여기서 Gemini 4 에이전트가 형식적 문제 명세에 맞추어 새로운 프로그램을 합성하고 그 정확성과 비용을 검증한다. 에이전트 팀은 협업하여 위키를 통해 결과와 지식을 공유하고 조직된 학술대회에서 아이디어를 논의한다. 우리의 결과는 병렬 탐색(최대 2.57배), 양자 산술(290배), 그리고 핵융합, 광화학, 약물 대사와 관련된 시뮬레이션에서 각각 12배, 8배, 2.5배로 기존 기준선을 개선한다. 수학적 증명의 엄밀성 아래에서 인간 지능과 인공지능을 대규모로 결합함으로써, 연구자들은 오늘날의 고전 및 양자 컴퓨터로는 시험할 수 없는 알고리즘을 설계할 수 있으며, 이는 실용적 양자 컴퓨팅으로 가는 길을 단축한다.
에이전트 시스템은 언어 모델 질의, 도구 호출, 사람의 승인, 일반 연산을 조율하는 프로그램이지만, 기존 프레임워크는 이를 컴파일러 분석 밖의 불투명한 라이브러리 객체로 연결한다. 본 논문은 에이전트 시스템을 프로그래밍 언어 관점에서 다루어, 에이전트, 도구, 워크플로, 행동 명세를 컴파일러가 검사하는 일급 구성 요소로 격상하는 효과 타입 언어 Etas를 제시한다. 핵심적으로 Etas는 탈출 효과와 지속적 효과 요청 요약을 분리한다. 핸들러는 연산이 해석되는 방식을 바꾸되 요약에서 그 효과 요청을 지우지 않으며, 트레이스 명세는 허용되는 효과 요청과 그 순서를 제약한다. 컴파일러는 호출과 핸들러에 걸쳐 효과 요청 요약을 합성하여, 만족된 트레이스 명세는 정적으로 해소하고 동적 경로가 불확실한 곳에는 잔여 모니터를 유지한다. 종단 핸들러, 트레이스 명세 모니터 구성, 모니터 상태에 대한 추상 분석을 갖춘 Core Etas를 형식화하고, 보존성, 진행성, 효과 포괄성, 트레이스 명세 안전성을 증명한다. Rust를 사용하여 컴파일러, 최적화기, 검사형 인터프리터를 구현한다. Etas로 작성된 컴파일러 픽스처와 코딩 에이전트 시나리오 전반에서 Etas는 호출 가능 경계, 효과 연산 순서, 처리된 효과 요청의 가시성을 불일치 0건으로 성공적으로 강제한다. 컴파일러는 또한 실행 시간을 23.2% 줄이는 에이전트 특화 최적화를 구현한다. 12개의 Etas 워크플로 전반에서 결합된 토큰 최적화 패스는 쌍으로 정답인 실행에서 입력 토큰을 67.8% 줄인다. 일급 에이전트 추상화는 또한 Etas 프로그램의 재귀적 자기 진화를 가능하게 한다. 다섯 번의 하니스 진화 반복에 걸쳐 과제 정확도는 69.9%에서 78.9%로 상승한다.
대규모 언어 모델(LLM)은 범용 프로그래밍 언어의 코드 완성에서 강력한 성능을 달성했지만, 기존의 저장소 수준 벤치마크는 거의 전적으로 소프트웨어 코드에 초점을 맞추고 하드웨어 기술 언어(HDL)는 대체로 간과해 왔다. 본 논문은 MHRC-Bench-Train과 MHRC-Bench-Eval로 구성된 \textbf{MHRC-Bench}를 제시하며, 이는 기능 평가를 갖춘 저장소 수준 다국어 하드웨어 코드 완성의 최초 벤치마크이다. MHRC-Bench는 세 가지 주요 하드웨어 설계 코딩 스타일을 포괄하며, 구체 구문 트리(CST) 분석에서 도출한 코드 구조 수준 및 하드웨어 지향 의미 레이블을 각 완성 대상에 주석으로 부여한다. 10억 규모의 코드 LLM을 MHRC-Bench-Train으로 사후학습하면, 동일한 문맥 창 조건에서 더 작은 오픈 웨이트 모델이 훨씬 큰 범용 모델을 능가할 수 있다. 전체 정확도를 넘어, 본 분석은 하드웨어와 소프트웨어 코드 완성을 구분 짓는 네 가지 발견을 드러낸다. \emph{(i)}~성능은 HDL마다 크게 다르며, 기능 통과율, 정확 일치(EM), 편집 유사도(ES) 전반에서 대부분의 설정에서 고수준 합성(HLS)이 가장 쉽고 VHDL이 가장 어렵다. \emph{(ii)}~하드웨어 정확도는 코드 구조 깊이에 대해 비단조적이며, 이는 소프트웨어에서 알려진 단조적인 깊이-정확도 곡선과 대조된다. \emph{(iii)}~입력 문맥이 2{,}048 토큰을 넘으면 정확도가 정체되는 반면, 소프트웨어 코드 완성은 더 긴 문맥에서 계속 이득을 본다. \emph{(iv)}~소프트웨어에 맞춰 조정된 일부 저장소 수준 검색기는 구조 및 의존성 가정이 하드웨어 코드에서 성립하지 않기 때문에 HDL 저장소에서 검색 없는 베이스라인보다 성능이 낮다.
MPC 기반 ML은 안전한 다자간 연산(MPC)을 사용하여 어느 참여자도 자신의 비공개 데이터나 모델 매개변수를 공개하지 않고 여러 참여자에 걸쳐 머신러닝(ML) 워크로드를 실행한다. 본 특성 분석 연구에 따르면 최신 MPC 프레임워크의 성능은 흔히 연산자 근사 전략에 의해 좌우되며, 이는 MPC가 기본적으로 지원하지 않는 ML 연산자를 반복적 방법이나 다항식으로 대체하는 방식이다. 이러한 근사는 대개 각 프레임워크가 휴리스틱하게 선택하여 전역적으로 적용한다. 그 결과 어떤 경우에는 불필요하게 비용이 크고, 다른 경우에는 정확도가 불충분할 수 있다. 최적의 근사 선택은 문맥, 대상 프레임워크, 응용에 따라 달라지므로, 하나의 전역 고정 근사는 근본적으로 최적이 아님을 확인하였다. 이 문제를 해결하기 위해 여러 MPC 프레임워크를 백엔드로 지원하는 MPC 기반 ML용 다단계 컴파일러 CrypTorch를 설계하였다. CrypTorch의 핵심은 자동 튜닝 단계로, 대상 MPC 백엔드에서 비용 추정치를, 대리 PyTorch 실행에서 품질 추정치를 추출하고, 이를 이용해 주어진 품질 제약을 만족하면서 성능을 최대화하는 근사 집합을 자동으로 선택한다. CrypTorch의 자동 튜너는 정확도 저하 없이 여러 MPC 백엔드에서 성능을 1.14--1.60배 향상시키고, 정확도 저하가 3% 미만인 조건에서는 1.17--1.92배 향상시킴을 보였다. 또한 CrypTorch의 통합 설계는 여러 백엔드가 다른 공통 컴파일러 기능과 최적화를 공유하도록 하여 프로그래밍 용이성과 사용성도 개선한다. 나아가 이 자동 튜너가 관련된 완전 동형 암호(FHE) 백엔드로도 확장되어 부트스트래핑 연산 횟수를 1.31--1.65배 줄임을 보였다.
대규모 언어 모델(LLM)이 리버스 엔지니어링 과업에 점점 더 많이 적용되고 있으며, 최근 위협 인텔리전스 보고는 LLM이 실제 공격적 보안 워크플로 안에서 활용되고 있음을 보여준다. 그러나 이들의 능력에 대한 주장은 이를 측정하는 우리의 역량을 앞지르고 있다. LLM 지원 바이너리 분석을 위한 기존 벤치마크는 함수 수준 정답 데이터의 구축을 이미 해결된 전처리 단계로 취급하며, 신뢰성 있게 평가 가능했던 함수가 몇 개인지 공개하지 않은 채 정확도를 보고한다. 본 논문은 공정한 평가의 주된 장애물이 모델 능력이 아니라 컴파일러 최적화 하에서 바이너리-소스 정렬의 신뢰성이라고 주장한다. 본 논문은 C 소스로부터 컴파일, DWARF 및 구문 추출, 정렬, 디컴파일을 거쳐 함수 수준 정답 데이터를 구축하고, 정렬 불확실성을 3단계 층화를 갖춘 8개 게이트의 신뢰도 깔때기로 구체화하는 출처 추적 파이프라인인 Reforge를 제시한다. 통제된 마이크로 벤치마크에서 고신뢰 산출률은 최적화 수준에 따라 87.2%에서 65.9%로 하락하며, 쌍을 이루지 않은 비교는 생존 편향으로 인해 최적화로 인한 성능 저하를 과대평가한다. 함수 이름 예측에 대한 7개의 최신 LLM의 개념 증명 평가는 이 개념의 타당성을 입증하며, 전반적으로 불확실성을 고려한 벤치마킹 관행의 필요성을 뒷받침한다.
형식 검증의 도입은 오랫동안 수동 명세 작성의 비용 때문에 저해되어 왔다. 상위 수준의 속성을 증명하려면 이를 뒷받침하는 함수들에 대한 계약도 작성해야 하며, 그중 다수는 기계적이고 저수준이다. 명세 추론은 프로그램으로부터 이러한 계약을 자동으로 도출한다. 본 논문은 스마트 컨트랙트 언어인 Move를 위해, 그 검증기인 Move Prover에 통합된 기계적 추론과 에이전트 기반 추론의 하이브리드 방식을 제시한다. 대규모 언어 모델(LLM) 에이전트가 Move Prover를 호출하고 최약 전제조건(WP) 분석으로 코드에서 명세를 도출하는 도구를 통해 추론과 검증을 주도한다. 본 접근법을 26개 대상에서 평가하며, 이 중 24개는 명세가 없는 Aptos 프레임워크의 공개 Move 함수에서 추출한 것이다. 평가에는 같은 계열의 최첨단 모델과 중간 등급 모델(Sol 5.6 및 Terra 5.6)을 사용한다. WP 사용 여부와 관계없이 에이전트는 실행의 90% 이상을 완료하므로, 에이전트 기반 추론은 단독으로도 효과적이다. WP를 추가하면 전체적으로 비용이 11-21% 감소하고, 루프가 없는 대상에서는 40-64% 감소한다.
대화형 정리 증명(ITP)은 프로그램 검증과 형식화된 수학의 기반이 되지만, 수작업으로 인한 노력이 확장성을 제한한다. 대규모 언어 모델(LLM) 기반 증명 에이전트는 이러한 노력을 줄여줄 것을 기대하게 하지만, 높은 토큰 소비와 API 비용이 여전히 큰 장애물로 남아 있다. 우리는 이 비용의 공통 원인을 다음과 같이 추적한다. 현재 에이전트는 직렬화된 구체 구문(concrete syntax) 위에서 동작하며, 증명을 소스 텍스트로 출력하고 별도의 줄 번호 기반 쿼리를 통해 증명 상태를 복구하므로, 편집이 있을 때마다 이후 줄이 밀리고 오류와 상태의 반복적 재위치를 강제한다. 구체 구문에 대한 동일한 의존은 Minilang의 도입도 막는다. Minilang은 LLM 기반 증명에서 SOTA를 달성한 최근의 증명 언어이지만 LLM 학습 말뭉치에는 너무 새로운 언어이다. 우리는 에이전트를 소스 텍스트에서 추상 구문 트리(AST)로 끌어올림으로써 두 문제를 모두 해결한다. 모델은 Minilang AST의 JSON 표현(도구 호출 LLM에 자연스러운 형식)으로 증명을 제공하고, 증명 연산과 상태를 하나의 증명 트리로 융합하는 트리 편집 모델을 통해 prover를 구동하므로, 각 연산이 자체 하위 목표의 상태를 담고 트리에서 직접 읽을 수 있다. 우리는 이 설계를 Agent over AST(AoA)로 구현한다. miniF2F 및 NTP4VC-Pearl 공통 성공 집합에서 Amazon의 Isabelle Agent와 비교했을 때, AoA는 API 비용을 2.3~4.7배(정규화된 입력 캐시 회계 기준) 절감하고, 토큰을 2.9~6.9배, 도구 호출을 3.9~8.9배 더 적게 사용하며, 1.4~2.0배 더 빠르게 완료한다. 동시에 더 어려운 검증 벤치마크에서 훨씬 더 많은 문제를 해결한다.
Dafny를 이용한 형식 검증은 강력한 정확성 보장을 제공하지만, 검증 실패 시 사용자는 보조 단언문이 필요한 위치를 판단하고 검증 성공에 필요한 단언문을 직접 작성해야 하는 경우가 많다. 이러한 증명 엔지니어링 부담은 어렵고 시간이 많이 들며 검증 인식 언어의 도입을 가로막는 장벽이다. 본 논문은 Dafny에서 결함 유도 단언문 추론을 수행하는 도구인 DAISY(Dafny Assertion Inference SYstem)를 제시한다. DAISY는 Dafny 프로그램과 대상 메서드가 주어지면 검증기 진단, LLM 기반 위치 추정, 또는 이들의 조합을 이용하여 단언문이 필요할 가능성이 높은 위치를 찾는다. 이어서 프로그램에 단언문 자리표시자를 주석으로 삽입하고, 관련 있는 인컨텍스트 예제를 검색하며, LLM으로 후보 단언문을 생성하고, Dafny 검증기를 실행하여 후보를 검증한다. DAISY를 평가하기 위해 검증된 프로그램에서 보조 단언문을 제거하여 검증에 실패하는 변형을 만들어 DafnyBench를 확장하였다. 그 결과 벤치마크는 단언문이 하나 누락된 프로그램, 두 개 누락된 프로그램, 모든 단언문이 제거된 프로그램을 구분하므로, 점점 어려워지는 증명 실패에 대해 DAISY를 평가할 수 있다. 이 벤치마크에서 DAISY는 단언문이 하나 누락된 프로그램의 86%, 두 개 누락된 프로그램의 36%를 검증하였다. 이러한 결과는 결함 유도 LLM 단언문 추론이 많은 Dafny 검증 실패를 복구할 수 있음을 보여준다. 또한 성공적인 복구가 원래의 단언문과 다른 경우가 많으며, 원래 증명을 재구성하지 않고도 증명 엔지니어링 노력을 줄일 수 있음을 보여준다.
AI 에이전트는 편집으로 인해 근거가 무효화된 후에도 성공한 검사를 컨텍스트에 유지할 수 있다. 우리는 시스템이 메시지에 의존하고 그에 따라 행동해도 되는 때를 명세하기 위한 의미론을 제시한다. 신뢰성(reliability)은 주장된 명제를 선택된 컨텍스트의 승인된 도메인 지식, 출처, 메시지와 대조하여 검사한다. 정당화된 신뢰(justified reliance)는 여기에 더해 현재의 증거, 권한, 제안된 세계 변경을 검사한다. 관계적 구성요소 의미론과 이벤트 트레이스는 비결정적 출력, 반복, 외부 변경을 표현한다. 우리는 주장들을 병합해도 도출 가능한 결론 클래스가 보존되는 조건을 규명한 뒤, 규칙이 지정된 구체적 주장들의 정확한 상태를 보존하는 가장 거친 허용 몫(quotient)을 구성한다. 구성은 단항 규칙에 대해서는 다항 시간이며, 비순환 이항 규칙에서는 허용되는 병합 하나를 판정하는 것조차 coNP-완전이다. 이는 완전성 및 강한 보존 방법을 몫 규칙의 실행에 적용한 것이다. 또한 전이 안전장치를 런타임 강제와 연관 짓는다. 주어진 가능 세계 집합에 대해, 건전한 가드는 일치하는 모든 세계가 검사를 통과할 때에만 관측을 수락한다. 정확한 수락에는 반대 결정을 내리는 세계들을 구별하는 관측이 필요하며, 충분한 서비스를 선택하는 문제는 명시적 유한 표에서 NP-완전이다. 완전한 유한 여권 갱신 사례, Lean 정리 인코딩, Z3 인스턴스 검사, OCaml 하네스가 이 의미론을 검증한다. 도메인 지식, 해석, 출처 라이선스, 정책은 응용에서 제공해야 하는 입력으로 남는다.
트랜스포머 추론은 점점 더 특수한 컴파일러 및 런타임 지원에 의존하고 있으며, 최근의 LLM은 비자명한 CUDA 커널을 생성할 수 있다. 그러나 제약 없는 생성은 정확성도 성능도 보장하지 않는다. 우리는 LLM의 두 가지 상호 보완적 활용을 결합한 LLM 기반 CUDA 추론 컴파일러 \textsc{AgentCompile}을 제시한다. 첫째, LLM은 컴파일러가 도출한 영역 요약과 제한된 후보 공간을 위한 조언적 메타데이터를 제공한다. 그러면 컴파일러는 템플릿 기반 CUDA 후보를 인스턴스화하고, 정확성을 검증하며, 측정된 지연 시간에 따라 구현을 선택하고, 특수화가 지원되지 않거나 이득이 없을 때는 대체 경로로 되돌아간다. 둘째, 컴파일러가 정의한 계약 하에서 LLM은 증류된 최적화 원칙을 프롬프트로 받아 추론을 가속하기 위한 디코드 핵심 커널 다섯 종류를 직접 생성한다. \textsc{AgentCompile}은 이 커널들을 페이지드 KV 캐시, 연속 배칭, 선점, 청크 프리필, 버킷화된 전체 스텝 CUDA Graph 재생을 갖춘 서빙 런타임에 통합한다. 평가한 여섯 모델 계열 전반에서 \textsc{AgentCompile}은 단일 요청 생성에서 PyTorch eager 대비 \textbf{2.23--6.98$\times$}의 속도 향상을, 단일 요청 생성과 다중 요청 서빙 모두에서 vLLM 대비 \textbf{1.04--1.16$\times$}의 속도 향상을 달성한다. 코드는 https://github.com/veneno1213822/AgentCompile 에서 공개되어 있다.
본 논문은 프로그래밍 언어와 언어 기반 보안의 기법을 에이전트 제어 문제에 도입하는 에이전트 응용을 위한 새로운 프로그래밍 모델인 언어 기반 에이전트 제어(language-based agent control, LBAC)를 소개한다. 기존 프로그래밍에서는 정적 타입 검사와 실행 시점 강제를 결합하여, 타입이 올바른 프로그램이 접근 제어, 정보 흐름, 데이터 출처 등을 포함해 사용자가 지정한 정책을 만족함을 보장해 왔다. LBAC의 핵심 아이디어는 에이전트가 주변 스캐폴딩 코드의 맥락에서 그 자체로 타입이 올바른 프로그램을 생성하도록 요구함으로써 이러한 보장을 에이전트 응용으로 확장하는 것이다. 안전하지 않은 프로그램은 실행 전에 타입 검사기에 의해 거부되므로, 에이전트가 생성한 동작과 개발자가 작성한 스캐폴딩을 모두 포함한 응용 전체에 정책이 일관되게 적용될 수 있다. 동시에 LBAC는 상당한 표현력을 유지한다. 에이전트는 부수 효과가 없는 임의의 계산을 수행할 수 있으며, 동일하거나 더 제한적일 수 있는 정책 하에서 도구 접근 권한을 온전히 보유하는 하위 에이전트를 재귀적으로 호출할 수 있다. 우리는 파일 시스템 capability를 통한 I/O 샌드박싱, 데이터 출처, 정보 흐름 제어라는 세 가지 사례 연구로 LBAC를 시연한다.
우리는 개방형 커리큘럼 자기 대국으로의 패러다임 전환을 제안한다. 고정된 프롬프트 집합에 대해 답하는 법을 학습하는 대신, 통합 정책이 질문하는 법을 학습하여 검증 가능한 문제를 생성하고, 이를 풀며, 검증기 피드백을 자기 개선으로 전환한다. 우리는 새로운 명세를 합성하는 Proposer와 검증된 해를 산출하는 Solver를 정책이 번갈아 수행하는 ANCORA를 소개하며, 이는 세 가지 메커니즘으로 고정된다. 첫째, 명세에 걸친 Proposer 이득과 해 시도에 걸친 Solver 이득을 결합하는 2단계 그룹 상대 갱신, 둘째, RL 이전에 기반 모델을 유효 출력 다양체로 사영하는 반복적 자기 증류 SFT, 셋째, 자기 합성 하에서 정책이 유도하는 문제 집합이 증명 가능하게 확장될 수 있는 UCB 기반 커리큘럼 DAG이다. 이러한 안정화 장치가 없으면 MLRL과 정렬된 보상 하에서도 희소한 검증기 피드백이 Proposer 붕괴를 초래하며, 이를 갖추면 ANCORA는 선별된 시드로부터 검증 가능한 커리큘럼을 부트스트랩한다. Verus에서 구현한 ANCORA는 테스트 시점 학습(TTT, 0-shot)에서 Dafny2Verus pass@1을 SFT 기준선의 26.6%에서 81.5%로 끌어올려 PSV 자기 대국(1-shot)을 15.8포인트 앞서며, 전이 설정에서 Dafny2Verus 시드로 학습하면 MBPP와 HumanEval에서 각각 36.2%와 17.2%의 pass@1을 얻는다.
가속기를 위한 고성능 커스텀 커널(kernel)을 설계하고 작성하는 것은 깊이 있는 하드웨어 수준의 전문 지식을 요구하는 복잡한 작업입니다. 실시간 컴파일러 피드백과 함께 대규모 언어 모델(LLM)을 활용하면 커널 생성을 위한 에이전트 기반 시스템을 구축할 수 있습니다. 본 연구에서는 TPU 커널 개발을 위한 세 가지 뚜렷한 패러다임을 구현하는 다중 에이전트 시스템인 MaxKernel을 제시합니다: (1) 협력적인 단계별 설계를 위한 인간 참여형(Human-in-the-Loop, HITL) 에이전트, (2) 지표/트레이스 기반의 완전 자동화된 최적화 루프를 실행하는 자율(Auto) 에이전트, (3) 설계 공간의 전역적 탐험을 위해 Auto 에이전트를 확장하는 그래프 기반 자율 탐색. 세 가지 패러다임 모두 계획, 구현, 자체 디버깅, 테스팅, 하드웨어 프로파일링을 처리하기 위해 전문화된 서브 에이전트들의 공유 풀을 활용합니다. 저자들은 최첨단 오픈소스 모델의 복잡한 실제 워크로드와 더불어 TPU를 위한 50개의 다양한 커널 작업으로 구성된 포괄적인 스위트인 JaxBench에서 MaxKernel을 평가합니다. MaxKernel이 전문가가 수작업으로 튜닝한 베이스라인과 대등한 수준을 달성하고 벤치마크 전반에 걸쳐 상당한 성능을 제공하며 고도로 최적화된 구현을 일관되게 생성함을 입증합니다. 본 연구의 에이전트는 오픈소스로 공개되어 https://github.com/AI-Hypercomputer/accelerator-agents/tree/main/MaxKernel 에서 확인할 수 있습니다.
언어 모델(LM)의 전례 없는 성공과 함께, 프롬프트 엔지니어링은 복잡한 작업을 기술하고 LM의 능력을 활용하기 위해 프롬프트를 프로그래밍 가능한 제어 표면으로 취급하는 프롬프트 프로그래밍이라는 강력한 개념으로 발전해 왔다. 그러나 기존 프롬프트 프로그래밍 프레임워크는 다양한 복잡성과 미적 결함으로 인해 실무에서 작업을 효과적으로 기술하기 어렵다. 우리는 프롬프트 프로그래밍의 연구와 실천을 위한 새로운 언어 프레임워크인 Imprompt를 제안한다. 우리는 프롬프트 프로그래밍에 대한 기초적 조사를 수행하고, 프롬프트 프로그램은 작업 설명만을 포함해야 하며 하위 수준의 '실행(execution)' 세부사항과 분리되어야 한다고 주장한다. 우리는 구조화된 프롬프팅(structured prompting)을 프롬프트 프로그래밍과 프롬프트 프로그램 '컴파일(compilation)'의 결합으로 설명함으로써 이 입장을 더 발전시킨다. 우리는 Imprompt 프로그램에 대한 두 컴파일러를 공식적으로 정의함으로써 이 관점을 예시한다. 이어서 프롬프트 프로그램의 타입(type) 개념을 탐구하고, 타입 검사(type checking)와 제약 디코딩(constrained decoding) 사이의 대응 관계를 제시한다. 마지막으로, 우리는 컴파일러와 타입 검사기를 구현하고 다양한 사례 연구에서 이를 평가한다. 본 연구는 새롭게 부상하는 프롬프트 프로그래밍 분야에 대한 프로그래밍 언어적 기초를 제공한다고 생각한다.
Modern artificial intelligence models are deployed on inference engines to optimize runtime efficiency and resource allocation, particularly for transformer-based large language models. The vLLM project is a major open-source library to support model serving and inference. However, the current implementation of vLLM limits programmability of the internal states of deployed models. This prevents the use of popular test-time model alignment and enhancement methods. For example, it prevents the detection of adversarial prompts based on attention patterns or the adjustment of model responses based on activation steering. To bridge this critical gap, we present vLLM Hook, an opensource plug-in to enable the programming of internal states for vLLM models. Based on a configuration file specifying which internal states to capture, vLLM Hook provides seamless integration to vLLM and supports two essential features: passive programming and active programming. For passive programming, vLLM Hook probes the selected internal states for subsequent analysis, while keeping the model generation intact. For active programming, vLLM Hook enables efficient intervention of model generation by altering the selected internal states. In version 1 (named vLLM Hook MIA), the plugin runs on vLLM's V2 model runner and preserves the engine's CUDA graphs, so that capturing and steering internal states incurs only a small decoding overhead. It supports both offline use and serving through vllm serve. In addition to presenting the core functions of vLLM Hook, we demonstrate use cases including prompt injection detection, attention-based re-ranking for retrieval-augmented generation, activation steering, hidden-state probing, hallucination detection, schema linking for text-to-SQL, and tool-call risk assessment. Finally, we welcome the community's contribution to improve vLLM Hook via https://github.com/IBM/vLLM-Hook.
분할 정책은 각 바이트 문자열에 최대 하나의 토큰 분할을 할당한다. 표시된 문자열, 즉 바이트와 경계 비트의 쌍에 대한 유한 오토마톤이 해당 정책 자신의 분할만을 정확히 받아들일 때, 이를 유한 검증 가능하다고 한다. 이 오토마톤은 제안된 분할을 판정하며 분할을 계산할 필요는 없다. 본 논문은 주어진 검증기로부터 네 가지 질문, 즉 윈도가 토큰 경계를 보증하는가, 경계 간격이 유계인가, 마스크가 생성이 막다른 길에 이르는 것을 막을 수 있는가, 두 정책이 동치인가에 대한 구성적 결정 절차를 제시한다. 뒤의 세 가지는 각각 한정성(limitedness), 공접근성(co-accessibility), 단일값 변환기의 동치성을 특수화한 것이다. 첫째는 부호 이론의 동기화 절단을 정제한 것이며, 나머지 둘은 보증된 절단 또는 목록의 절단이 각 조각을 독립적으로 스캔할 수 있게 하는지를 묻는다. 이 클래스는 온라인 스캔 가능 정책과 정규 정의역을 갖는 정책 사이에 엄밀히 위치하며, 온라인 스캔 가능성은 Choffrut의 정리를 통해 다항 시간에 결정 가능하다. 표시는 길이를 보존하므로 이 클래스는 정확히 유리적(rational) 분할 정책이며, 이는 제한이 아니라 정규형이다. 이 클래스는 레이블이 있는 단계에 대한 합성, 정규 스키마로의 제한, 문자 클래스 변화 지점에서의 분할, 리터럴 정책의 바이트 폴백 합집합이라는 네 가지 파이프라인 연산에 대해 닫혀 있다. 각 합성물은 여섯 가지 결정 절차를 상속하며, 증명서는 네 가지 법칙에 따라 단계 사이에서 전달된다. 유리적, 단일 방향(unifilar), 거의 확실하게 정지하는 유한 상태 소스 하에서 가중 절의 각 질량은 정확한 유리수이며, 기대 길이가 양수인 경우 각 비율도 그러하다. 최대 길이 일치(maximal-munch) 어휘 분석, 정준 바이트 쌍 인코딩, 2모드 WordPiece가 이 인터페이스를 구현하며, munch 라이브러리는 여섯 가지 결정 절차를 모두 구현한다. 모든 정리에는 실행 가능한 검사가 딸려 있고, 보고된 모든 통계는 프로그램 자체의 출력이다.
조직은 운영 절차를 다단계 에이전트 스킬, 여기서는 에이전트 운영 절차(AOP)라 부르는 형태로 점점 더 많이 부호화하며, 규제 분야에서 요구하듯 이는 추적 가능하고, 감사 가능하며, 재현 가능하고, 접근 제어되며, 시간과 비용이 제한되어야 한다. 그러나 AOP는 대개 조잡한 단위의 파일로 유지되어, 단계가 여러 행동을 묶고, 복사된 절차는 서로 어긋나며, 어떤 단계든 어떤 도구에도 접근할 수 있고, 리팩터링은 검증되지 않는다. 우리는 AI 에이전트 워크플로에 데이터베이스 수준의 규율을 도입하는 형식 이론인 함수형 에이전트 운영 절차(FAOP)를 제시한다. FAOP는 각 워크플로를 범위가 지정된 상태에 대한 타입이 있는 함수로 재정의하고, 전체 라이브러리를 네 가지 점진적 정규형에 따르게 한다. 분해형(FNF-1)은 워크플로를 원자적 단계로 나누고, 타입형(FNF-2)은 데이터 흐름을 명시적으로 만들어 타입 검사를 수행하며, 분리형(FNF-3)은 각 공유 하위 워크플로에 단일한 표준 정의를 부여하여 변경이 어긋나지 않고 전파되게 하고, 범위형(FNF-4)은 각 FAOP가 자신의 행동과 호출하는 FAOP가 사용하는 자원을 나열하는지 검사하며, 그 FAOP와 이를 호출하는 FAOP가 선언한 가드레일은 각각의 출처에 계속 결부된다. 증명 가능하게 건전한 등식으로 이루어진 FAOP 대수는 리팩터링과 병렬화를 컴파일러 재작성으로 바꾸며, 직교하는 확장으로 최적화(+O), 시간 및 비용 한도가 있는 제한적 완료(+B), 도달 가능성 검사(+R)를 추가하고, 아키텍처 수준 분류기(0-3)는 워크플로가 애초에 AI를 필요로 하는지 판단한다. 이를 통해 무결성, 격리, 타입 지정, 중단 한도, 비용, 최적화가 런타임의 기대가 아니라 전체 라이브러리에 걸친 컴파일 시점의 문제가 된다. 우리는 이 이론을 AOP 관리 시스템인 SkillBase(PostgreSQL이 데이터에 대한 것이라면 SkillBase는 AOP에 대한 것이다)와, SkillBase에서 FAOP를 불러와 실행 시점에 이러한 보장을 강제하는 별도의 실행기로 구현한다. 금융 워크플로 사례를 통해 접근법을 처음부터 끝까지 보여 준다.
에이전트 시스템은 최근 형식 수학의 자동 정리 증명에서 최첨단 접근법으로 부상하였다. 이러한 역량이 프로그램 검증으로 어디까지 확장되는지, 그리고 기존 벤치마크가 이를 얼마나 신뢰성 있게 측정할 수 있는지를 평가하기 위해, Claude Opus 4.6, GPT-5.4, Kimi K2.5에 기반한 세 개의 독립적인 에이전트 스택을 사용하여 검증 가능한 코드 생성을 위한 Lean 4 벤치마크인 CLEVER를 감사한다. 감사 결과 벤치마크 저자들이 모두 승인한 161개 항목 중 80개에서 오류가 있다고 볼 만한 참조 명세를 발견하였고, 벤치마크 오류의 분류 체계를 도출하였으며, 생성된 명세와 참조 명세가 서로 다르지만 정당화될 수 있는 해석을 형식화할 때 신호가 무너지는 동형성 기반 채점의 구조적 한계를 드러낸다. 그 과정에서 이 스택들은 최대 98.8%의 항목에 대해 타당하다고 볼 만한 명세를 생성하고, 최대 92.3%에 대해 건전한 참조 명세에 대한 구현을 인증하며, 건전한 전제를 가진 항목에서 최대 96.2%의 종단 간 성공률에 도달한다. 이는 CLEVER가 설계 의도만큼 현대의 에이전트 증명기를 더 이상 압박하지 못함을 시사한다. 앞으로를 위해 본 연구의 발견을 향후 연구를 위한 권고 사항으로 정리하며, 오류 분석은 CLEVER의 수정 목록이자 차세대 벤치마크를 위한 휴리스틱 체크리스트의 역할을 겸한다.