트랜스포머 추론은 점점 더 특수한 컴파일러 및 런타임 지원에 의존하고 있으며, 최근의 LLM은 비자명한 CUDA 커널을 생성할 수 있다. 그러나 제약 없는 생성은 정확성도 성능도 보장하지 않는다. 우리는 LLM의 두 가지 상호 보완적 활용을 결합한 LLM 기반 CUDA 추론 컴파일러 \textsc{AgentCompile}을 제시한다. 첫째, LLM은 컴파일러가 도출한 영역 요약과 제한된 후보 공간을 위한 조언적 메타데이터를 제공한다. 그러면 컴파일러는 템플릿 기반 CUDA 후보를 인스턴스화하고, 정확성을 검증하며, 측정된 지연 시간에 따라 구현을 선택하고, 특수화가 지원되지 않거나 이득이 없을 때는 대체 경로로 되돌아간다. 둘째, 컴파일러가 정의한 계약 하에서 LLM은 증류된 최적화 원칙을 프롬프트로 받아 추론을 가속하기 위한 디코드 핵심 커널 다섯 종류를 직접 생성한다. \textsc{AgentCompile}은 이 커널들을 페이지드 KV 캐시, 연속 배칭, 선점, 청크 프리필, 버킷화된 전체 스텝 CUDA Graph 재생을 갖춘 서빙 런타임에 통합한다. 평가한 여섯 모델 계열 전반에서 \textsc{AgentCompile}은 단일 요청 생성에서 PyTorch eager 대비 \textbf{2.23--6.98$\times$}의 속도 향상을, 단일 요청 생성과 다중 요청 서빙 모두에서 vLLM 대비 \textbf{1.04--1.16$\times$}의 속도 향상을 달성한다. 코드는 https://github.com/veneno1213822/AgentCompile 에서 공개되어 있다.
에이전트는 과제를 완수할 때와 합성 학습 데이터를 걸러낼 때 모두 자신의 출력을 검증할 신뢰할 만한 방법이 필요하다. 우리는 검증기 생성을 연구한다. 즉, 에이전트가 과제를 푸는 데 주어지는 지시와 환경으로부터, 모든 유효한 해를 받아들이고 유효하지 않은 해를 거부해야 하는 실행 가능한 검증기를 작성한다. 우리는 도구 호출, 상태 기반, 코드 검증에 걸친 여섯 개 에이전트 벤치마크의 222개 과제와, 대체 유효 해와 공격을 포함하는 4,993개의 숨겨진 테스트 케이스로 구성된 VerifierBench를 제안하며, 여섯 가지 점검으로 이루어진 감사인 Verifier4Verifier(V4V)가 그 원천 검증기와 테스트 스위트를 선별한다. 공통 에이전트 하네스에서 19개 모델에 걸쳐 정규화된 균형 정확도는 10.6에서 62.1까지이며, 생성된 검증기는 유효한 해를 받아들이는 것보다 유효하지 않은 해를 일관되게 더 안정적으로 거부한다. 이러한 외견상의 강점은 지나치게 제한적인 검증을 가릴 수 있다. 분석된 기록에서 대부분의 잘못된 거부는 해당 과제에 대해 테스트된 어떤 해도 받아들이지 않는 검증기에서 나온다. 사례 연구는 해의 형식, 도구 사용, 코드 변경에 관한 근거 없는 가정이 유효한 해를 배제함을 보여 준다. 이러한 오류는 에이전트가 검증기와 동일한 잘못된 가정을 공유하는 해를 테스트하거나, 어떤 올바른 해가 통과하는지 확인하지 않고 검증기를 제출하기 때문에 자체 테스트에서 살아남는다. 이러한 결과는 검증기가 올바른 해를 받아들이는지뿐 아니라 과제가 허용하는 다른 해도 받아들이는지를 함께 테스트해야 함을 시사한다. 프로젝트 페이지와 데이터셋은 공개되어 있다.
Large language models (LLMs) are increasingly used for optimization modeling and solver-code generation, yet practical operations research and optimization problems often require a harder capability: designing scalable algorithms that exploit problem structure and outperform direct formulation-and-solve baselines. Existing benchmarks are limited to small or simplified examples far below real-world scale and complexity. We introduce FrontierOR, the first literature-grounded benchmark targeting LLM-generated algorithm efficiency on realistic large-scale optimization problems. FrontierOR includes 180 diverse tasks, each derived from a paper published in a top-tier operations research venue, with standardized instances and a hidden, expert-verified evaluation suite. We evaluate recent LLMs' one-shot algorithm generation and improvements achieved through several self-evolving frameworks. The results show that current models still struggle to move from executable formulations to efficient optimization algorithms. Even the strongest LLM succeeds on only 39% of Full-set task instances, where success is defined as returning a feasible solution with an objective gap of at most 1% relative to Gurobi within its runtime. On the Hard subset, test-time evolution raises this proportion from 51% for the strongest one-shot model to 78%. FrontierOR provides a continuously maintained testbed for evaluating LLM-designed optimization algorithms under a shared protocol and controlled computational settings. Code and data are publicly released at https://github.com/Minw913/FrontierOR.
대규모 언어 모델(LLM)을 이용해 자연어로부터 최적화 모델링을 자동화하는 것은 두 가지 핵심 과제에 직면한다. 첫째, 학습 코퍼스는 구조적 다양성이 부족하다. 둘째, 데이터 생성 파이프라인은 정적이며 모델 학습과 분리되어 있다. 이러한 과제를 해결하기 위해, 우리는 모델의 약점에 의해 주도되어 데이터와 모델이 공진화하는 새로운 프레임워크인 EvoOptiGraph를 제안한다. EvoOptiGraph는 각 혼합정수 선형 계획(MILP)을 속성 이분 그래프(attributed bipartite graph)로 표현하고, 유효성을 보존하는 진화 연산자를 적용하여 구조적으로 다양한 인스턴스를 생성한다. 진화된 그래프는 결정적 컴파일을 통해 솔버 코드와 자연어로 변환되며, 검증된 역번역(back-translation)을 거친다. 학습은 두 단계로 진행된다: 초기 데이터셋에 대한 지도 미세조정(SFT)에 이어, 그래프에서 파생된 약점 신호가 모델의 실패를 겨냥한 새로운 인스턴스 생성을 안내하는 검증 가능 보상 강화학습(RLVR)이 수행된다. 이는 학습 분포를 지속적으로 갱신하는 폐쇄 루프를 형성한다. 6개의 공개 데이터셋에 대한 실험 결과, EvoOptiGraph는 정확도, 실행 가능성, 일반화 측면에서 더 큰 범용 모델, 에이전트 기반 방법, 특화 베이스라인을 크게 능가함을 보여준다. 이러한 결과는 표적화된 데이터-모델 공진화가 최적화 모델링 과제에서 LLM을 개선하는 효과적인 전략임을 보여준다.
확산 대규모 언어 모델(dLLM)은 특히 병렬 디코딩이 가능하다는 본질적 능력 덕분에 텍스트 생성에서 이점을 보여 왔다. 그러나 품질과 속도 간의 상충 관계에 제약을 받아, 기존 추론 방법은 보수적인 병렬 전략을 채택하여 상당한 효율성 잠재력을 충분히 활용하지 못하고 있다. 핵심 과제는 병렬 디코딩이 각 위치를 독립적으로 채울 수 있다고 가정하지만, 토큰은 종종 의미적으로 결합되어 있다는 점이다. 따라서 한 위치에서의 올바른 선택은 다른 위치에서의 유효한 선택을 제약한다. 이러한 위치 간 의존성을 모델링하지 않으면 병렬 전략은 품질이 저하된 출력을 생성한다. 이러한 통찰에 착안하여, 우리는 빠른 dLLM 추론을 위한 학습이 필요 없는 의존성 인식 디코딩 방법인 DAWN을 제안한다. DAWN은 의존 관계를 추출하고 두 가지 핵심 관찰을 활용한다. (1) 마스크 해제된 확실한 위치에 의존하는 마스크 위치는 더 신뢰할 수 있게 된다. (2) 결합된 마스크 위치들은 서로의 예측에 강하게 영향을 미친다. 이러한 발견을 바탕으로 DAWN은 의존성 그래프를 활용하여 각 반복에서 더 신뢰할 수 있는 마스크 해제 위치를 선택하며, 생성 품질의 손실을 무시할 수 있는 수준으로 유지하면서 높은 병렬성을 달성한다. 여러 모델과 데이터셋에 걸친 폭넓은 실험을 통해 DAWN이 생성 품질을 유지하면서 기준 방법 대비 추론을 1.80–8.06배 가속함을 보인다. 코드는 https://github.com/lizhuo-luo/DAWN 에서 공개되어 있다.
다국적 기업은 매일 수천 건의 거래를 처리하며, 각 거래는 관할권마다 다르고 미묘한 경우가 많은 세법을 준수해야 한다. HSN이나 SAC와 같은 제품 및 서비스 세금 코드의 결정은 세무 컴플라이언스의 주요 사용 사례이다. 이러한 코드를 정확히 결정하는 것은 세금 관련 벌칙을 피하기 위해 필수적이다. 본 논문은 제품 및 서비스 세금 코드의 예측을 향상하기 위해 인코더-디코더 구조를 갖는 도메인 적응형 소형 언어 모델(SLM)을 제안한다. 이 접근법에서는 비정형 제품 및 서비스 데이터를 이용해 계층적 세금 코드 시퀀스를 예측하는 문제를 다룬다. 인코더-디코더 구조 기반의 SLM을 사용하는 이유는 세금 코드에 내재한 계층적 의존성을 포착하도록 세금 코드를 순차적으로 생성할 수 있기 때문이다. 실험을 통해 인코더-디코더 SLM이 현재 NLP 연구에서 상대적으로 탐구되지 않은 영역인 구조화된 세금 코드의 순차 예측에 성공적으로 적용될 수 있음을 보인다. 본 논문에서는 통일 상품명 및 부호 체계(HSN)에 적용했을 때 도메인 적응형 인코더-디코더 SLM이 평면 분류기보다 우수한 성능을 보이며, 구조화된 시퀀스 생성 과업에서 디코더 전용 및 인코더 전용 구조보다도 우수한 결과를 달성함을 입증한다. 이 접근법은 유엔 표준 제품 및 서비스 코드(UNSPSC)나 브라질의 Nomenclatura Comum do Mercosul(NCM)과 같은 다른 정부 지정 세금 상품 코드로도 확장될 수 있다.
Recent advances in autoregressive video diffusion have enabled sequential and streaming video generation. However, long-horizon generation requires increasingly large KV caches, making efficient compression without sacrificing quality challenging. Existing methods mostly select historical frames based on attention scores, but their context decisions remain coarse. When multiple frames are generated in the same chunk, these methods often apply a shared history selection to the whole chunk, score historical frames solely by attention, and assign head-wise budgets either uniformly or by attention-pattern heuristics rather than explicit head-importance estimation. We show that frames within the same generated chunk can depend on distinct historical frames, that the same historical frame can receive different attention scores as its relative temporal distance to the current frames changes, and that masking different heads induces unequal generation degradation. Motivated by these findings, we propose Focused Forcing, a training-free KV selection method that focuses cached history along both generated-frame and head dimensions. For each generated frame, Focused Forcing preserves the most relevant and distinctive historical frames by combining attention scores with diversity scores of historical frames, while assigning larger budgets to heads with higher estimated importance. Across multiple autoregressive generation paradigms, Focused Forcing achieves up to 1.48x end-to-end acceleration without training, while improving visual quality and text alignment. Our code is available at https://github.com/caipeiliang2004/Focused-Forcing.
강화학습(RL)은 확산 모델과 플로 모델 같은 대규모 생성 모델을 복잡한 인간 선호와 사용자 지정 과제에 맞추어 미세 조정하는 패러다임으로 부상하였다. 그러나 목적 함수 구성과 최적화 지형이 본질적으로 정책을 디랙 델타 분포로 붕괴시키는 \textit{다양성 붕괴의 저주}라는 근본적 한계가 남아 있다. 이러한 문제를 해결하기 위해 우리는 온-폴리시 미세 조정 과정 전반에서 출력 다양성을 체계적으로 장려하는 혁신적 프레임워크인 \textbf{DRIFT}(\textbf{D}ive\textbf{R}sity-\textbf{I}ncentivized Reinforcement \textbf{F}ine-\textbf{T}uning for Versatile Image Generation)를 제안한다. DRIFT는 강한 과제 정합성과 높은 생성 다양성을 조화시켜 다양한 후보 생성을 요구하는 응용에 필수적인 범용성을 향상시킨다. 우리는 이 문제에 세 가지 대표적 관점에서 접근한다. i) 보상 이상치를 걸러내어 조기 붕괴를 방지하는 보상 집중 부분집합의 \textbf{샘플링}, ii) 조건 공간을 확장하기 위한 확률적 변형을 사용하는 \textbf{프롬프팅}, iii) 포텐셜 기반 보상 형성 메커니즘을 통한 그룹 내 다양성의 \textbf{최적화}이다. 실험 결과 DRIFT는 과제 정합성과 생성 다양성에서 뚜렷한 파레토 우위를 보이며, 정합성이 같을 때 3.88\%$\sim$81.42\% 더 높은 다양성을, 다양성이 같을 때 14.38\%$\sim$56.45\% 더 높은 정합성을 달성한다. 코드는 \textcolor{magenta}{\href{https://github.com/NJU-RL/DRIFT}{https://github.com/NJU-RL/DRIFT}}에서 확인할 수 있다.
자기회귀 대규모 언어 모델(LLM)은 다양한 과제를 이산적인 자연어 토큰 시퀀스로 표현하고 다음 토큰 예측으로 학습함으로써 잘 확장되며, 이는 자기 지도 하에서 이해와 생성을 통합한다. 이 패러다임을 멀티모달 데이터로 확장하려면 모달리티 간에 공유되는 이산 표현이 필요하다. 그러나 대부분의 비전-언어 모델(VLM)은 여전히 이산 텍스트 토큰과 연속적인 비전 트랜스포머(ViT) 특징을 짝지은 혼합 인터페이스에 의존한다. 지도가 주로 텍스트 중심이기 때문에 이러한 모델은 이해 쪽으로 편향되는 경우가 많고, 비텍스트 데이터에 대한 대규모 자기 지도 학습을 충분히 활용하지 못한다. 최근 연구는 완전한 자기회귀 멀티모달 모델링을 가능하게 하는 이산 시각 토큰화를 탐구하여 통합된 이해와 생성을 향한 유망한 진전을 보였다. 그러나 기존의 이산 비전 토큰은 제한된 코드 용량으로 인해 정보를 잃는 경우가 많아, 연속 특징 기반 VLM보다 이해 성능이 눈에 띄게 떨어진다. 우리는 이산 시각 표현과 연속 시각 표현 간의 이해 격차를 해소하는 완전 이산 자기회귀 통합 모델 Kelix를 제시한다.
대중교통 경로 계획은 전통적으로 구조화된 지도 인프라와 복잡한 경로 탐색 엔진에 의존해 왔으며, 이러한 의존성을 우회하도록 모델을 학습시키는 것을 지원하는 기존 데이터셋은 존재하지 않는다. 본 논문은 중국 4개 도시의 120,845개 정류장과 13,666개 노선을 포괄하는 약 1,300만 건의 대중교통 경로 계획 기록으로 구성된 대규모 데이터셋 TransitLM을 제시한다. 이 데이터셋은 지속적 사전학습 코퍼스와, 상호 보완적인 지표를 갖춘 세 가지 평가 과제용 벤치마크 데이터로 공개된다. 실험 결과, TransitLM으로 학습한 LLM은 구조적으로 유효한 경로를 높은 정확도로 생성하며, 명시적인 지도 정보 없이도 임의의 GPS 좌표를 적절한 정류장에 암묵적으로 대응시킨다. 이러한 결과는 대중교통 경로 계획을 전적으로 데이터로부터 학습할 수 있으며, 출발지-목적지 정보만으로 종단간 지도 없는 경로 생성이 가능함을 보여 준다. 데이터셋과 벤치마크는 https://huggingface.co/datasets/GD-ML/TransitLM 에서, 평가 코드는 https://github.com/HotTricker/TransitLM 에서 이용할 수 있다.
Most continuous diffusion language models process one latent position per token at each sampling step, making generation expensive. Two-stage methods lower the cost by reducing the latent length, but they fix the compressed embedding space before training the diffusion model. Embeddings from the fixed space can be difficult to model with diffusion and decode reliably into tokens, which limits generation quality after compression. To address this problem, we introduce JPEG-DLM (Joint-embedding Prediction for Efficient Generation with Diffusion Language Model), which jointly trains a compressor, a flow matching model and a decoding module. With joint-embedding prediction, JPEG-DLM learns compressed embeddings that are more structured, easier to model with diffusion and reliably decodable into tokens.JPEG-DLM achieves the highest throughput among recent diffusion and flow models on LM1B and OWT, with a Gen-PPL lower than most of them. At a compression rate of 0.5 on OWT, it reaches a Gen-PPL of 34.52 and approximately 2.3 times ELF's throughput. These results suggest that jointly learning compressed embeddings offers a promising path toward efficient diffusion language modeling.Code is available at https://github.com/infiniteYuanyl/JPEG-DLM.
Scientific applications still rely heavily on legacy Fortran codebases built for homogeneous, CPU-based systems. As High-Performance Computing (HPC) shifts toward GPU-accelerated architectures, many accelerators lack native Fortran bindings, creating a need to translate and optimize legacy code for portability. Kokkos offers performance portability through a single-source C++ abstraction, but manual porting from Fortran demands significant expertise and time. While large language models (LLMs) show promise in source-to-source code generation, their use in autonomous workflows for translating and optimizing parallel code is largely unexplored. This paper presents an agentic AI workflow in which specialized LLM agents collaborate to translate, validate, compile, run, test, debug, and optimize Fortran kernels into portable Kokkos C++ programs without human intervention, bounded by configurable retry and optimization thresholds. We evaluate the pipeline over five runs per configuration on an NVIDIA A100, characterizing its variability in success rates, token cost, and optimization behavior, on benchmark kernels including a real-world multi-file kernel from a production climate model. Proprietary models such as GPT-5 and o4-mini-high completed the full workflow most reliably, producing optimized code that exceeded the Fortran baselines for only a few U.S. dollars, whereas open-weights models such as gpt-oss-120b and Qwen3.5-397B-A17B handled simpler kernels but struggled with complex Kokkos abstractions such as parallel reductions and hierarchical parallelism. This work demonstrates, at the kernel level, the feasibility of agentic AI for Fortran-to-Kokkos transformation and, more broadly, for structured software-engineering tasks such as automated code modernization and refactoring.
코딩과 계산은 마르코프 연쇄 몬테카를로(MCMC) 워크플로의 주요 병목으로 남아 있으며, 특히 최신 샘플링 알고리즘이 점점 복잡해지고 기존 확률적 프로그래밍 시스템은 모델 지원, 확장성, 조합성 면에서 한계가 있어 더욱 그러하다. 본 논문은 자연어로 된 베이지안 모델 설명을 실행 가능하고 검증된 MCMC 샘플러로 변환하는 확장 가능한 LLM 기반 시스템인 AI4BayesCode를 소개한다. 신뢰성을 높이기 위해 AI4BayesCode는 모델을 모듈식 샘플링 블록으로 분해하고 각 블록을 내장 샘플링 구성 요소에 매핑하는 모듈식 설계를 채택하여 복잡한 샘플링 알고리즘을 처음부터 구현할 필요를 줄인다. 신뢰성은 모델 명세에 대한 생성 전 검증과 생성된 샘플러 코드에 대한 생성 후 검증을 통해 한층 더 향상된다. 또한 AI4BayesCode는 MCMC를 위한 새로운 재귀적 상태 보유 코딩 패러다임을 도입하여, 서로 다른 기여자가 개발했을 수도 있는 모듈식 샘플링 구성 요소를 더 큰 MCMC 절차 안에서 일관되게 조합할 수 있게 한다. AI4BayesCode의 샘플러 생성 성능을 평가하기 위해 벤치마크 모음을 개발하였다. 실험 결과 AI4BayesCode는 자연어 설명만으로 광범위한 베이지안 모델을 구현할 수 있음을 보여 준다. 개방형 시스템으로서, 그 능력은 기반 AI 에이전트의 개선과 새로운 내장 블록의 추가에 따라 계속 확장될 수 있다. 소프트웨어는 https://ai4bayescode.com/ 에서 이용할 수 있다.
오픈소스 LLM은 Text-to-SQL에서 비공개 모델의 유연한 대안이 되지만, 복잡한 질의에서는 여전히 어려움을 겪는다. 사고 연쇄(CoT) 데이터로 미세 조정하면 추론이 향상되지만, 표준 데이터셋에는 CoT 주석이 없어 합성 생성이 필요하다. 기존 합성 방법은 최종 답만 검증하므로 결함 있는 추론 단계가 학습 데이터를 오염시킬 수 있다. 본 논문은 중간 단계가 검증된 CoT 지도와 전용 SQL 검증기를 통해 Text-to-SQL 생성을 향상시키는 프레임워크 VCoT-SQL을 제안하며, 이를 통해 소형 오픈소스 모델이 최첨단 비공개 모델을 능가할 수 있다. VCoT-SQL은 정제된 추론 궤적으로 상호 보완적인 두 모델을 학습한다. 하나는 실행 및 스키마 정렬 검사로 추론 단계를 검증하는 절 단위 CoT 템플릿을 사용하는 SQL 생성기이고, 다른 하나는 구문, 의미, 타입 수준의 오류를 탐지하기 위해 진단용 CoT 템플릿을 사용하는 SQL 검증기이다. 또한 상호 보완적인 검색 전략을 통합하고 정제하여 관련 데이터베이스 요소를 추려내는 계층적 스키마 필터링 파이프라인을 설계한다. VCoT-SQL은 어려운 데이터셋인 BIRD dev에서 실행 정확도 66.82%, Spider test에서 86.8%를 달성하였으며, 기반 7B 모델을 BIRD에서 7% 향상시켰다. 특히 우리의 CoT 합성은 7B 모델에 의존함에도 데이터 생성에 72B 규모 또는 심지어 독점 비공개 교사 모델을 사용하는 방법보다 우수한 성능을 보이며, 엄격한 단계별 검증이 교사 모델 크기를 키우는 것보다 더 효과적일 수 있음을 보여준다. 데이터셋과 코드는 https://github.com/INTREBID/VCoT-SQL 에서 확인할 수 있다.
과학 다이어그램은 연구자가 복잡한 방법과 관계를 전달하도록 돕지만, 이를 만들려면 내용 구성, 레이아웃 설계, 시각적 다듬기에 상당한 노력이 필요하다. 자동 다이어그램 생성은 이러한 작업량을 줄일 수 있다. 참고 예시는 과학적 아이디어가 시각적으로 어떻게 구성되고 제시되는지 보여줌으로써 이 과정을 안내할 수 있다. 채택된 논문의 다이어그램은 이러한 예시의 풍부한 원천이지만, 대규모 참고 자원으로서의 유용성은 아직 충분히 탐구되지 않았다. 우리는 채택된 AI/ML 논문 26,751편에서 추출한 과학 다이어그램 57,100개를 포함하는 다이어그램-텍스트 참고 자원인 DiagramBank를 소개한다. 각 다이어그램은 캡션, 논문 제목, 초록과 짝지어져 있으며, 가능한 경우 이를 인용하는 단락이 포함된다. 다단계 필터링, 자동 검사, 사람의 감수를 결합하였으며, 다이어그램 선택 정밀도는 93.67%로 추정된다. 검색 실험은 인용 단락이 개별 다이어그램에 특화된 정보로 캡션을 보완함을 보여준다. 고정된 생성 파이프라인에서 PaperBanana의 선별된 참고 풀을 DiagramBank로 대체하면 PaperBananaBench에서 전체 PaperBanana 점수가 4.62에서 7.88로 증가한다. 검색된 참고 자료는 BizGenEval 과학 그림에서도 무작위 참고 자료보다 우수하다. 서로 다른 평가자와 렌더러를 사용한 추가 평가와 별도의 블라인드 사람 평가는 자동 다이어그램 생성에 대한 DiagramBank의 유용성을 입증한다. 코드: https://github.com/csml-rpi/DiagramBank.
최근 딥러닝의 발전은 신경망 기반의 계산 소재 발견(CMD) 접근법에 영감을 주었다. 이 분야의 수많은 문제는 목표 특성을 최적화하는 소재를 찾는 것을 포함한다. 그럼에도 점점 널리 쓰이는 생성 모델링 방법은 최대 가능도 학습 때문에 소재 공간의 매력적인 영역을 과감하게 탐색하는 데 효과적이지 않다. 본 연구에서는 목표 소재 특성의 직접 최적화를 생성에 융합하는 오프라인 모델 기반 최적화(MBO)에 기반한 대안적 CMD 기법을 제시한다. 이를 위해 클릭 기반 MBO의 최신 발전을 트랜스포머와 플로우 생성에 통합한 도메인 특화 모델 CliqueFlowmer를 소개한다. 우리는 이 모델의 최적화 능력을 검증하고, 이 모델이 생성한 소재가 생성 기반 베이스라인의 소재를 크게 능가함을 보인다. 특수한 소재 발견 응용과 더 폭넓은 학제 간 연구를 지원하기 위해 코드(https://github.com/znowu/CliqueFlowmer), 모델 가중치(https://huggingface.co/iamkuba/CliqueFlowmer), 인터랙티브 데모(https://cliqueflowmer.znowu.workers.dev)를 공개한다.
확산 모델은 광범위한 생성 과제에서 놀라운 성공을 거두었다. 그러나 이들은 종종 공간적으로 일관되지 않은 생성을 겪는데, 이는 모델이 학습한 과도한 상관관계 때문이라 할 수 있다. 이로 인해 국소적으로는 그럴듯하지만 전역적으로는 일관되지 않은 샘플이 만들어질 수 있다. 우리는 이 문제를 완화하는 원리적인 방법을 제안한다. 우리의 방법인 희소 지도 확산(SSD)은 단 몇 줄의 코드로 구현할 수 있는 간단하면서도 효과적인 마스킹 프레임워크이다. 우리는 SSD가 데이터 공분산의 스펙트럼을 변경함으로써 확산 모델 학습을 근본적으로 바꾸고, 데이터 공분산 행렬의 상관관계를 억제함을 해석적으로 보인다. 실험 결과, 우리의 방법은 기저 모집단 스코어 함수를 더 정확하게 근사하고, 소규모 데이터셋에서의 암기를 줄이며, 생성 중 필수적인 문맥 정보의 활용을 촉진한다. 더욱이 최대 98\%의 픽셀이 마스킹된 경우에도 다양한 데이터셋에서 경쟁력 있는 FID 점수를 달성하며, 중요하게는 소규모 데이터셋에서 흔히 관찰되는 학습 불안정성을 피한다.
마스크 확산 모델(Masked Diffusion Models, MDMs)은 병렬 디코딩을 통한 빠른 텍스트 생성으로 잘 알려져 있다. 그러나 독립적인 병렬 샘플링은 일관되지 않은 예측을 확정할 수 있으며, 이러한 초기 토큰 확정을 선택적으로 수정하는 방법에 대해서는 알려진 바가 적다. 본 연구에서는 병렬 생성과 선택적 토큰 수정을 매끄럽게 통합하는 학습 기반 프레임워크인 MDM용 계획된 마스크 해제 및 수정 공동 학습($\underline{\mathrm{P}}$lanned $\underline{\mathrm{U}}$nmasking-and-$\underline{\mathrm{R}}$evision Joint $\underline{\mathrm{L}}$earning, PURL)을 제안한다. 우리는 가능도가 편집 선택, 마스크 해제 선택, 토큰 예측으로 분해되는 정규화된 결합 전이를 유도한다. 이 구성 요소들은 모델 자신의 마스크 해제 정책에 따라 구성된 부분 마스킹 시퀀스에서 함께 학습된다. 추론 시에는 세 가지 결정이 모두 단일 공유 순전파로 지원되어, 모델이 마스크된 토큰을 디코딩하고 잡음이 섞인 토큰을 수정할 수 있다. 논리 퍼즐, 수학적 추론, 코드 생성 전반에서 PURL은 동일한 마스크 해제 예산에서 정확도를 향상시켰으며, 상대적으로 최대 47.4%의 정확도 향상과 예정된 디코딩 라운드의 최대 $8\times$ 감소를 달성했다. 이러한 성과를 넘어, 우리의 분석은 수정 가능한 디코딩의 일반 원리를 추가로 밝힌다. 즉 문맥이 쌓일수록 토큰 편집이 더 효과적이 되며, 초기 편집은 완성되지 않은 궤적을 조정할 수 있는 반면 후기 편집은 국소적으로 머무는 경향이 있고, 따라서 효과적인 편집은 언제 개입할지를 보정하는 것과 어디를 어떻게 수정할지를 학습하는 것 모두에 달려 있다. 종합하면, 효과적인 병렬 생성은 더 많은 토큰을 수정하는 데 달려 있는 것이 아니라 올바른 결정을 올바른 시점에 수정 가능하게 만드는 데 달려 있음을 시사한다.
분리 인코더 방식의 통합 멀티모달 모델(UMM)의 발전은 조밀한 시각 토큰 처리로 인해 추론 비용이 급격히 증가하는 문제를 수반한다. 본 논문은 분리 인코더 UMM의 효율을 높이기 위한 이해 측 시각 토큰 축소에 초점을 맞춘다. 이 주제는 MLLM에서는 널리 연구되었으나, 기존 방법은 대개 어텐션 점수, 텍스트-이미지 유사도 등에 의존하며 최종 목표가 판별적 추론이라고 암묵적으로 가정한다. 이러한 가정은 이해 측 시각 토큰이 이미지 편집 능력도 보존해야 하는 UMM에는 성립하지 않는다. 본 논문은 분리 인코더 UMM을 위한 생성 유도 시각 토큰 축소 프레임워크인 G$^2$TR을 제안한다. 핵심 통찰은 생성 분기가 의미적으로 관련될 뿐만 아니라 잠재 공간 이미지 재구성과 생성에도 중요한 이해 측 시각 토큰을 식별하기 위한 과제 비종속적 신호를 제공한다는 점이다. G$^2$TR은 VAE 잠재 변수와의 일관성으로부터 토큰 중요도를 추정하고, 균형 잡힌 토큰 선택을 수행하며, 정보 손실을 줄이기 위해 중복 토큰을 유지되는 대표 토큰에 병합한다. 이 방법은 학습이 필요 없고 플러그 앤 플레이 방식이며 이해 인코딩 단계 이후에만 적용되므로 기존 UMM 추론 파이프라인과 호환된다. 이미지 이해 및 편집 벤치마크 실험에서 G$^2$TR은 추론 정확도와 편집 품질을 모두 유지하면서 시각 토큰과 프리필 연산을 1.94배 줄이고, 거의 모든 벤치마크에서 베이스라인을 능가한다. 코드는 https://github.com/lijunxian111/G2TR 에서 확인할 수 있다.
현대의 ML 커널은 새로운 최적화와 하드웨어 기능과 함께 빠르게 진화한다. ML 컴파일러 추상화는 최고 성능에 필요한 제어력을 유지하면서도 더 풍부한 메모리 계층, 더 다양한 형태의 스레드 협력, 점점 더 이질적인 백엔드를 수용해야 한다. 본 논문은 이러한 요소를 명시적 인터페이스로 드러내는 GPU 및 AI 가속기용 ML 컴파일러인 TIRx를 제시한다. TIRx는 여러 세분화 수준에서 참여하는 하드웨어 팀을 포착하는 명시적 실행 범위(execution-scope) 추상화를 도입한다. 또한 텐서 레이아웃을 사용하여 이름 있는 축과 shard/replica/offset 의미론을 통해 논리 텐서를 이기종 하드웨어 공간에 매핑한다. 마지막으로, 범위, 레이아웃, 백엔드에 따라 고수준 연산을 효율적인 구현으로 낮추는 타일 프리미티브 디스패치를 도입한다. 이러한 설계는 네이티브 수준의 제어력을 보존하면서 반복적인 주소 계산, 피연산자 준비, 명령어 루프 생성을 자동화한다. 평가 결과 최신 GPU와 AI 가속기 전반에서 벤더 수준의 성능을 보였으며, 네이티브 코드 사례 연구에서는 저수준 구현 코드가 크게 감소함을 확인하였다.