비디오 추론은 대규모 멀티모달 모델(LMM)이 밀도 높은 증거에 기반을 유지하도록 요구하지만, 기존 시스템은 대부분 "한 번 읽고, 다량 생성"하는 패러다임을 채택하여 생성 과정에서 시각적 그라운딩이 약화된다. 이 현상은 널리 관찰되어 왔으며 시각적 앵커링 감쇠(Visual Anchoring Decay)로 알려져 있다. 이 간극을 메우기 위해 우리는 잠재 비디오 캐시(Latent Video Cache, Latent-VC)를 제안한다. 이는 디코더에 삽입되는 순환 잠재 시각 캐시로, 추론 전반에 걸쳐 압축된 시각 기억을 보존한다. 이 캐시는 지도 대조 캐시 정렬(supervised contrastive cache alignment)과 잠재 그라운딩 보상을 활용한 비전 기반 GRPO로 학습되며, 디코더의 네이티브 은닉 상태를 통해 학습-추론 간 엄격한 정렬을 유지한다. Qwen3.5-9B 기반으로 구축된 Latent-VC는 6개의 비디오 벤치마크에서 강력한 사고의 연쇄(CoT) 및 SFT+GRPO 기준 모델을 일관되게 능가하며, 특히 그라운딩 집약적 과제와 장편 비디오 과제에서 명확한 성능 향상을 보인다. 또한 실질적으로 더 짧은 응답으로 더 높은 정확도를 달성하며, 이는 잠재 시각 캐싱이 더 긴 텍스트 연쇄에 의존하는 대신 시각적 증거를 보존함으로써 비디오 추론을 개선함을 시사한다.
이슬람 기하 패턴은 정확한 회전 대칭과 엄격한 작도 규칙에 의해 지배된다. 본 논문은 이러한 규칙을 형식적 기하 지식으로 간주하고, 이를 데이터로부터 통계적으로 학습하는 대신 신경망 완성 프레임워크에 내장한다. 희박한 제어 기하와 목표 대칭 차수가 주어지면, 시스템은 순환군 하의 회전 궤도(rotational orbit)로 구성된 에지를 가진 후보 격자(lattice) 위에서 에지와 유계 곡선의 정제를 예측함으로써 패턴을 벡터 그래프로 완성한다. 대칭은 예측을 이 궤도 내로 제한하거나 추론 시 궤도에 투영함으로써 강제된다. 궤도 연동(orbit-tied) 변형은 구성적 보장을 제공한다: 임의의 입력과 임의의 궤도 수준 선택 규칙에 대해 정확한 N겹 대칭을 생성하고, 앵커 포인트를 보존하며, 모든 정제를 규정된 범위 내에 유지한다. 이러한 속성들은 수치적으로 검증된다. 본 연구는 회전 대칭에 초점을 맞추며, 모든 정량적 결과는 역사적 코퍼스가 아닌 이슬람 기하 디자인에서 영감을 받아 절차적으로 생성된 그래프로부터 도출된다. 깨끗한 입력에서 정확한 유효성을 강제해도 충실도에 측정 가능한 손실이 발생하지 않는다. 제어 기하가 누락된 경우, 비구조적 디코더는 충실도가 저하되고 대칭이 깨지며, 손상된 입력으로 재학습하면 충실도는 상당 부분 회복되지만 정확한 유효성은 회복되지 않는다. 반면 대칭 구조 추론은 위반을 전반에 걸쳐 0으로 유지한다. 결과는 증강(augmentation)과 대칭 구조가 서로 다른 실패 모드를 해결함을 보여준다: 증강은 손상 하에서의 충실도를 개선하고, 대칭 구조는 유효성을 보장한다. 따라서 이 프레임워크는 정확한 기하 구조에 유효성이 의존하는 확장 가능한 벡터 장식물에 대한 신경망 완성의 지식 제약적이고 보장이 뒷받침된 접근법을 제공한다.
추측적 디코딩(Speculative decoding)은 초안 생성과 목표 검증을 분리함으로써 대규모 언어 모델(LLM) 추론을 가속화한다. 최근의 병렬 초안 생성기는 단일 순전파(forward pass)로 긴 토큰 시퀀스를 효율적으로 제안하지만, 토큰 간 의존성 부재로 인해 수락률이 급격히 감소하는 문제를 겪는다. 또한, 이러한 확장된 블록을 무차별적으로 검증하면 거부 위험이 높은 토큰에 중요한 배치 용량이 낭비되어 고동시성 서빙 시스템의 처리량이 심각하게 저하된다. 우리는 고처리량 병렬 생성과 적응적·부하 인식 검증을 통합하는 추측적 디코딩 프레임워크인 DSpark를 소개한다. 초안 품질을 유지하기 위해 DSpark는 반자기회귀(semi-autoregressive) 아키텍처를 활용하여 병렬 백본과 경량 순차 모듈을 결합함으로써 블록 내 의존성 모델링을 도입하고 후위 감소(suffix decay)를 완화한다. 시스템 효율성을 최적화하기 위해 DSpark는 신뢰도 기반 스케줄링 검증(confidence-scheduled verification)을 채용하여, 추정된 접두 문맥 생존 확률과 엔진별 처리량 프로파일에 기반해 각 요청의 검증 길이를 동적으로 조정한다. 다양한 도메인에 걸친 오프라인 벤치마크에서 DSpark는 최신 자기회귀 및 병렬 초안 생성기 대비 수락 길이를 대폭 향상시킨다. 실시간 사용자 트래픽 하에 DeepSeek-V4 서빙 시스템에 배포했을 때, DSpark는 검증 낭비를 성공적으로 완화한다. 확립된 생산 기준선(MTP-1)과 비교하여, DSpark는 동일 처리량 수준에서 사용자별 생성 속도를 60~85% 가속화한다. 더 중요하게는, 엄격한 상호작용 제약 조건 하에서 심각한 처리량 저하를 방지함으로써 이전에는 달성 불가능했던 성능 수준을 가능하게 하여, 서빙 시스템의 파레토 프런티어를 이동시킨다.
우리는 대규모 언어 모델(LLM) 서빙에서의 온라인 라우팅 문제를 연구한다. 이 문제에서 요청들은 순차적으로 도착하며, 엄격한 배치 크기 및 KV-캐시 제약 하에 병렬 디코드 워커들에게 배분되어야 한다. 명시적인 서비스 수준 목표(SLO)와 연계되지 않고 지연 시간-처리량 트레이드오프에 대한 제한적인 제어만을 제공하는 기존의 라우팅 휴리스틱과 달리, 우리는 라우팅을 해석 가능한 의사결정 보상을 갖는 온라인 선형 프로그래밍으로 공식화하는 다목적 최적화 프레임워크를 제안한다. 우리는 온라인 선형 프로그래밍에 기반한 효율적인 입찰가 제어(bid-price control) 정책을 적용하여, 요청의 SLO 가중 이익이 쉐도우 가격(shadow price)을 초과할 때 해당 요청을 승인한다. 밀리초 수준의 의사결정 요구사항을 충족하기 위해, 예측 가능한 런타임으로 온라인에서 변화하는 이중 쉐도우 가격을 추적하는 웜스타트 방식의 투영된 1차 업데이트를 개발한다. 우리의 라우터를 Vidur 시뮬레이터에 통합하고, 종단 간 지연 시간, 첫 토큰 생성 시간(time-to-first-token), 처리량, 테일 성능 등 다양한 SLO 체계에서 표준 베이스라인 대비 상당한 성능 향상을 입증한다. 우리 결과의 큰 그림: 과학에 기반한 접근법이 휴리스틱에 기반한 접근법들을 능가한다.
SiamixFormer: a fully-transformer Siamese network with temporal Fusion for accurate building detection and change detection in bi-temporal remote sensing images
원격 탐사 이미지를 이용한 건물 탐지 및 변화 탐지는 도시 계획과 구조 계획에 도움을 줄 수 있으며, 자연재해 이후 건물 피해 평가에도 활용될 수 있다. 현재 건물 탐지를 위한 기존 모델 대부분은 단일 이미지(재난 전 이미지)만을 사용하여 건물을 탐지한다. 이는 재난 후 이미지가 붕괴된 건물의 존재로 인해 모델의 성능을 저하시킨다는 관점에 기반한다. 본 논문에서는 재난 전·후 이미지를 입력으로 사용하는 샴(siamese) 모델인 SiamixFormer를 제안한다. 제안 모델은 두 개의 인코더를 가지며 계층적 트랜스포머 아키텍처를 채택한다. 두 인코더의 각 단계 출력은 시간적 트랜스포머(temporal transformer)에 입력되어 특징 융합을 수행하는데, 쿼리(query)는 재난 전 이미지에서, 키(key)와 값(value)은 재난 후 이미지에서 생성된다. 이를 통해 특징 융합 시 시간적 특징도 함께 고려된다. 시간적 트랜스포머를 특징 융합에 활용하는 또 다른 장점은 CNN에 비해 트랜스포머 인코더가 생성하는 대규모 수용 영역(receptive field)을 더 잘 유지할 수 있다는 점이다. 최종적으로 시간적 트랜스포머의 출력은 각 단계에서 단순한 MLP 디코더에 입력된다. SiamixFormer 모델은 건물 탐지를 위해 xBD 및 WHU 데이터셋에서, 변화 탐지를 위해 LEVIR-CD 및 CDD 데이터셋에서 평가되었으며, 최신 기법(state-of-the-art)을 능가하는 성능을 달성하였다.
Several SLOG test categories explicitly involve directional distinctions (modifier position shifts, argument extraction positions), yet AM-Parser, the previous SOTA, uses an AM algebra whose operations do not encode direction. We redesign the symbolic backend around CCG directed types (deterministic CKY + single linear decoder, 30K learnable parameters). Under the same BERT-base encoder, the system achieves 75.9$\pm$6.4% LF exact match, surpassing AM-Parser (70.8$\pm$4.3%). Per SLOG's own category groupings, gains are highly directional: the CCG system outperforms AM-Parser on all 5 position-shift categories (+29.9pp), while AM-Parser outperforms on all 6 recursive-depth categories. Replacing the encoder with DeBERTa-v3-large yields 90.7$\pm$4.9%, with the largest encoder gains in recursive-depth categories, complementary to directionality's gains. Directional representations shift the bottleneck from the symbolic layer (AM-Parser's 0% category ceiling) to the neural layer, which improves with encoder upgrades.
디코더 전용 대규모 언어 모델(LLM)의 인과적 어텐션(causal attention)은 초기 토큰에 대한 문맥 정보가 부족한 비대칭 정보 흐름 문제를 유발하며, 이를 해결하기 위한 프롬프트 반복(prompt repetition) 기법은 KV 캐시 및 연산 비용이 두 배 이상 증가하는 한계가 있다. PartRep은 토큰별 negative log-likelihood(NLL)를 중요도 신호로 활용하여 가장 정보 밀도가 높은 토큰만 선택적으로 반복하고, 경량 게이팅 모듈로 조기 종료(early exit)를 통해 토큰을 선별함으로써 MMLU, GSM8K, RULER 등 8개 벤치마크에서 전체 반복의 성능을 유지하면서 KV 캐시를 59.4%, prefill FLOPs를 79.0% 수준으로 절감한다.
TokenScope는 디코더 기반 대규모 언어 모델(LLM)의 코드 생성 과정에서 토큰(token)별 신뢰도, 엔트로피(entropy), 어텐션(attention) 패턴 등 디코딩 시점의 세밀한 신호를 실시간으로 노출하는 인터랙티브 해석 가능성(interpretability) 도구다. 추상 구문 트리(AST) 기반의 코드 구조 분석과 반사실적(counterfactual) 분기 생성을 통합하여, 연구자와 실무자가 LLM의 코드 생성 동작을 체계적으로 진단하고 탐색할 수 있도록 한다.
Transformers have dominated empirical machine learning models of natural language processing. In this paper, we introduce basic concepts of Transformers and present key techniques that form the recent advances of these models. This includes a description of the standard Transformer architecture, a series of model refinements, and common applications. Given that Transformers and related deep learning techniques might be evolving in ways we have never seen, we cannot dive into all the model details or cover all the technical areas. Instead, we focus on just those concepts that are helpful for gaining a good understanding of Transformers and their variants. We also summarize the key ideas that impact this field, thereby yielding some insights into the strengths and limitations of these models.
DETRPose는 GroupPose 디코더를 개선하고 키포인트 유사도(KS) 기반의 새로운 디노이징 기법과 Keypoint Similarity VariFocal 손실을 도입하여, 트랜스포머 기반 다중 인물 포즈 추정에서 처음으로 실시간 엔드투엔드 추론을 실현한 모델이다. COCO 데이터셋에서 DETRPose-S는 YOLOv8-Pose-X 대비 파라미터 81% 감소·속도 52% 향상을 달성하면서도 동등한 AP를 보였으며, OCHuman 분포 외 데이터셋에서도 기존 모든 모델을 능가하는 강건성을 입증했다.
Discrete diffusion models have steadily improved in quality relative to autoregressive (AR) models. However, these models are normally constrained to fixed-length generation and do not support key-value (KV) caching. Block diffusion partially bridges diffusion and AR by generating token blocks left-to-right, but its fixed-size sequential blocks limit decoding flexibility and parallelism. Here, we present a new class of language models, set diffusion, comprised of (i) a likelihood parameterization that factorizes over flexible-position, flexible-length token sets and (ii) a set-causal diffusion architecture that supports KV cache updates after every inference step. By factorizing over token sets instead of fixed-size blocks, tokens can be decoded in arbitrarily-ordered sets, including sliding-window sets, enabling faster inference and support for any-order decoding. Set diffusion achieves better speed-quality tradeoffs on mathematical reasoning, summarization, and unconditional generation compared to prior diffusion language models while offering stronger infilling performance than block diffusion. We provide the code, along with the model weights and blog post on the project page: https://m-arriola.com/setdlms/
디코더 설계의 한계로 인한 의료 이미지 분할 정확도 저하 문제를 해결하기 위해, MedCAGD는 경량 멀티스케일 채널 재조정, 공간 경쟁 기반 게이티드 스킵 융합(SCA-Gate), 전역 문맥 집계를 통합한 문맥 인식 게이티드 디코더를 제안한다. ECCV 2026에 채택된 이 방법은 11개 의료 이미지 분할 벤치마크에서 CNN, Transformer, Mamba, SAM 기반 강력한 베이스라인을 일관되게 능가하면서도 30.60M 파라미터, 5.0 GFLOPs의 실용적인 계산 복잡도를 유지한다.
대규모 오디오-언어 모델(LALM)의 환각 문제를 해결하기 위해, 기존의 단순한 마스킹이나 노이즈 대신 시간, 스펙트럼, 주파수, 진폭 영역에 걸친 105개 변환으로 구성된 체계적인 퍼터베이션(perturbation) 라이브러리를 구축하고 대조적 디코딩(contrastive decoding)에 적용하였다. 최적 변환이 태스크별로 상이함을 실험적으로 확인하였으며, 모델의 히든 스테이트(hidden state)로 학습된 경량 선택기를 통해 예시별로 최적 네거티브 브랜치를 동적으로 라우팅하여 AH Existence 태스크에서 추가 +4.3% 성능 향상을 달성하였다.
LLM 에이전트의 스킬 라이브러리가 커질수록 어떤 스킬을 몇 개, 어떤 순서로 조합할지 결정하는 문제가 핵심 병목으로 떠오르는데, SkillComposer는 이를 태스크 조건부 스킬 시퀀스 예측으로 형식화하여 제약된 자기회귀 디코더로 서브셋 선택·개수·순서를 단일 디코딩 패스에서 동시에 예측한다. GPT-5.2-Codex와 Gemini-3-Pro-Preview에서 SkillsBench 통과율을 각각 +23.1, +18.2pp 향상시켜 상위 3개 검색 방식을 능가하고 더 낮은 프롬프트 토큰 비용으로 골드 스킬 검색 상한선에 근접했다.
디퓨전 기반 추측적 디코딩(speculative decoding)에서 기존의 고정 블록 크기 전략이 샘플마다 최적 블록 크기가 다르기 때문에 차선임을 분석하고, 최적 블록 크기가 학습 시 블록 크기 근방의 좁은 구간에 집중되는 지역적 구조를 활용해 경량 정책 학습기인 BlockPilot을 제안한다. BlockPilot은 프리필링(prefilling) 단계의 표현으로부터 블록 크기를 한 번만 예측하는 인스턴스 적응형 방식으로, Qwen3-4B에서 허용 길이 5.92, 4.20× 속도 향상을 달성했다.
블록 확산 언어 모델(BD-LM)을 멀티 블록 확산(MultiBD) 추론으로 확장할 때 발생하는 학습-추론 불일치를 해소하기 위해, 유한 크기의 노이즈 그룹과 무작위화된 노이즈 스케줄러를 활용하는 멀티 블록 교사 강제(MultiTF) 사후학습 기법과 Block Buffer 기반 최적화 디코딩 엔진을 제안한다. MBD-LLaDA2-Mini는 순전파당 평균 토큰 수(TPF)를 3.47에서 6.19로 높이고 정확도도 향상시켰으며, DMax와 결합 시 수학·코드 벤치마크에서 1.02%p의 정확도 하락만으로 TPF 9.34를 달성했다.
Deterministic few-step generation succeeds on continuous image latents but collapses to incoherent text on continuous text latents, and we show the cause is geometric rather than a training or scaling deficiency: a smooth, regularity-limited deterministic map cannot resolve a discrete branch choice before a sharp categorical readout, so few-step failure is governed by decoder sharpness, not transport accuracy. In the overlapping regime of real text autoencoders, we prove (Theorem 3) that the posterior-mean terminal step flips tokens at the rate of the latent mass in an $O(s(t))$ tube around decision boundaries. Two diagnostics, DABI (readout sharpness) and CCI (categorical commitment), measured on published checkpoints show that four independently built continuous-text decoders amplify a boundary-aligned perturbation far beyond a norm-matched isotropic one (DABI from $5\times10^{2}$ to $>10^{5}$), while image decoders have DABI $\approx 1$. Two mechanisms escape the continuous bound: categorical commitment (autoregressive decoders succeed despite sharper readouts) and stochastic re-injection (deterministic ODE at $K=4$ gives PPL 294 versus SDE 50 on the same model). In the idealized separated regime we prove matching sharp transport laws, including a dimension phase diagram: the deterministic stiffness needed to separate $M$ modes grows as $Θ(\sqrt{\log M})$ once the latent dimension is $Ω(\log M)$ (and as $M^{1/n}$ in fixed dimension), with a depth-$B$ hierarchy giving a $\sqrt{B}$-smaller per-step peak (Theorems 5-7); a coarea identity links these to the overlapping tube (Theorem 17). The result is an accuracy-depth-stiffness tradeoff: within the deterministic-continuous class the cost is irreducible, and both escapes step outside it.
동적 희소 어텐션(DSA)의 선택-어텐션 직렬 의존성으로 인한 디코딩 지연 문제를 해결하기 위해, PRR은 EMA 기반 예측기로 KV 블록을 사전 추측하고 선택과 병렬로 어텐션을 수행한 뒤 누락된 블록만 온라인 소프트맥스 기반 FlashAttention 커널로 점진적으로 수정한다. LongBench, RULER 등 장문 컨텍스트 벤치마크에서 Quest 대비 1.42×, InfLLM-v2 대비 1.56× 속도 향상을 달성하면서도 다운스트림 태스크 정확도를 유지했다.
투기적 디코딩(speculative decoding)에서 탐욕적 디코딩, 완화된 수용 기준, 트리 기반 후보 집합 등 실용적 설정에 대한 수용 이론을 개발하여, 기각 영역이 목표 분포의 하위 수준 집합으로 특성화되는 수용 기준에 대해 KL 발산 기반의 정확한 인증서와 마진 경계를 도출한다. Qwen3 모델을 대상으로 한 실험에서 완화된 기준과 트리 기반 기준이 인증된 수용 영역을 크게 확장함을 보이며, 특히 목표 모델 분포 마진이 낮은 디코딩 단계에서 효과가 두드러짐을 확인한다.