PyTorchKR Papers

최신 논문

총 6,647편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.02050v3cs.LG

선형 동적 시스템의 온라인 학습을 위한 메모리 효율적 통합 알고리즘

A Memory Efficient Unified Algorithm for Online Learning of Linear Dynamical Systems

관측으로부터 일반적인 미지의 선형 동적 시스템(LDS)을 안정화하는 문제에 동기를 얻어, 본 연구는 그 자연스러운 선결 과제인 온라인 예측을 다룬다. 우리의 목표는 전체 은닉 상태 차원이 아니라 동역학의 내재적 복잡도에 적응하는 메모리 사용량으로 준선형(sublinear) 후회(regret)를 달성하는 것이다. 우리는 불안정성 복잡도가 낮은 시스템, 즉 실수 안정 구간 밖에 있으면서 빠르게 감쇠하지 않는 고유값과 비준단순(non-semisimple) 모드를, 잠재적으로 훨씬 더 고차원인 안정한 실수 스펙트럼 안에 포함한 시스템이라는 실용적으로 핵심적인 영역에 초점을 맞추며, 이 개수를 $k$로 표기한다. 이 영역은 안정화가 가능해 보이는 주된 설정이다. 실제로 불안정성 복잡도가 높은 많은 시스템은 지수적으로 큰 제어 입력 없이는 안정화할 수 없음을 보인다. 따라서 예측은 불안정성 복잡도가 작을 때에 한하여 안정화에 의미가 있다. 이 영역 안에서 우리는 학습 가능한 매개변수 수가 $\widetilde{O}(k)$이면서 모든 LDS(복소 모드 또는 발산 모드를 갖는 대각화 불가능 시스템 포함)를 다루는 통합 온라인 알고리즘을 제안한다. 마지막으로 $k$가 타당한 복잡도 척도임을 보이는 하한을 증명하는데, 임의의 필터 기반 예측기는 최소 $k$개의 필터가 필요하다. 실험은 우리의 이론을 뒷받침한다. 고차원 시스템에서 동일한 매개변수 예산 하에 우리의 예측기는 기존 방법보다 뚜렷하게 우수한 성능을 보인다.

arXiv:2606.28065v2cs.LG

OperatorSHAP: 신경 연산자를 위한 빠르고 정확한 Shapley 값 추정

OperatorSHAP: Fast and Accurate Shapley Value Estimation for Neural Operators

모델 예측을 이해하는 것은 구조물 하중 평가, 기상 경보, 임상 진단과 같이 출력이 안전이 중요한 결정에 활용되는 물리 응용 분야에서 필수적이다. 섀플리 값은 귀속 방법으로서 많은 바람직한 성질을 만족하지만, 추론 시 계산 비용이 실용적 사용을 가로막는다. FastSHAP과 같은 기존의 상각(amortized) 설명기는 균질한 입력에 한정되어, 데이터가 불규칙한 격자와 형상에서 오는 경우가 많은 물리 응용에는 문제가 된다. 우리는 신경 연산자를 위한 FastSHAP 유형의 설명기를 학습할 수 있게 하는, 격자에 무관한 귀속 방법인 OperatorSHAP을 제안한다. 우리는 Aumann-Shapley 값과 연결되는, 함수 공간에서의 귀속에 대한 이론적 틀을 정립한다. 나아가 OperatorSHAP의 설명이 여러 해상도에서 최신 이산 섀플리 값과 일치하며, 재학습 없이 격자 크기 간에 전이됨을 보인다.

arXiv:2606.17241v2cs.CV

벤치마크를 넘어서: 임베디드 차량 하드웨어에서의 교통 표지 인식을 위한 연속 엣지 추론

Beyond Benchmarks: Continuous Edge Inference for Traffic Sign Recognition on Embedded Vehicular Hardware

임베디드 차량 하드웨어에 배치된 교통 표지 인식(TSR) 시스템은 스트리밍 비디오에서의 프레임 간 예측 불안정성과 지속 운용 시 부하에 따른 처리량 등, 이미지 기반 벤치마크 평가가 포착하지 못하는 배치 효과에 직면한다. 우리는 희소 검출, 다중 객체 추적, 영역 수준 세분류, 그리고 샘플링된 프레임당 0.07~ms만 추가하는 경량 트랙 인식 시간적 안정화 메커니즘을 결합한, NVIDIA Jetson Orin Nano 기반 TSR용 연속 엣지 추론 시스템 Edge-TSR을 제안한다. INTSD 벤치마크의 원본 비디오로 평가한 결과, 최신 TSR 모델은 이미지 기반 평가에서 스트리밍 평가로 옮겨갈 때 mAP@50이 20-30 퍼센트 포인트 하락함을 확인했다. Edge-TSR은 평가된 모든 기준선 중 최고의 스트리밍 분류 성능을 달성하며, 시간적 안정화는 프레임별 추론 대비 정확도를 10.58 퍼센트 포인트 향상시킨다. 우리는 샘플링 간격과 네 가지 주행 조건에 걸쳐 지연 시간, 처리량, 열 특성을 분석하여, 처리량이 부하에 비례하며(분류 영역당 20 ms) 매 프레임 추론이 열 스로틀링이 아니라 처리량에 의해 제한됨을 보인다. 55분, 26 km의 차량 배치 실험은 클라우드 오프로딩 없이 안전한 열 한계 내에서 16.18 FPS의 지속적인 온라인 운용이 가능함을 보여 준다. 또한 주석이 달린 50,732 프레임의 스트리밍 평가 데이터셋과 전체 구현을 공개한다.

arXiv:2607.10456v2stat.ML

확장 가능한 인과 발견을 위한 배경 지식 통합

Integrating Background Knowledge for Scalable Causal Discovery

전문가 배경 지식은 인과 발견(causal discovery)의 실제 응용에서 종종 활용 가능하다. 실제 인과 그래프에 대한 이러한 제약 조건은 인과 효과의 식별 가능성과 학습된 구조의 정확도 측면에서 인과 발견에 도움이 될 뿐만 아니라, 후보 인과 그래프의 탐색 공간을 줄이는 데에도 기여한다. 인과 발견은 변수의 수가 많아질수록 계산 비용이 크게 증가할 수 있으므로, 인과 발견 과정에서 배경 지식을 효과적으로 활용하는 것이 중요하다. 그러나 현재 대부분의 방법들은 학습된 그래프를 정제하기 위해 인과 발견 이후의 후처리 단계에서만 배경 지식을 활용한다. 본 연구에서는 인과 발견 과정에서 배경 지식을 활용하는 프레임워크를 개발하며, 특히 전체 그래프의 일부만을 복원하는 확장 가능한 인과 발견 방법에 초점을 맞춘다. 우리는 여러 알고리즘에 대해 이 프레임워크를 구현하고, 배경 지식 활용이 계산 요구량을 줄이고 학습된 구조의 품질을 향상시킬 수 있음을 실험적으로 보인다.

arXiv:2607.09153v2cs.AI

KV-PRM: 멀티 에이전트 테스트-타임 스케일링을 위한 KV-캐시 전달 기반 효율적인 프로세스 보상 모델링

KV-PRM: Efficient Process Reward Modeling via KV-Cache Transfer for Multi-Agent Test-Time Scaling

프로세스 보상 모델(PRM)은 테스트-타임 스케일링(TTS) 방법을 안내하는 데 매우 효과적임이 입증되어, 대규모 언어 모델(LLM) 기반 멀티 에이전트 시스템의 역량을 크게 향상시킨다. 그러나 기존 PRM은 텍스트 기반으로, 전체 궤적 텍스트를 처음부터 다시 인코딩한다. 긴 멀티 에이전트 롤아웃에서는 시퀀스 길이 L에 대해 이차적으로 증가하는 채점 비용이 심각한 계산 병목을 야기하여, 긴 컨텍스트 시나리오에서 PRM의 적용을 크게 제한한다. 이를 해결하기 위해 우리는 KV-PRM을 제안한다. KV-PRM은 LLM의 생성 단계에서 자연스럽게 생성되는 KV 캐시를 직접 읽음으로써 무거운 텍스트 재인코딩을 제거하는 고효율 프로세스 보상 모델이다. 기존 KV 캐시에 대해 단일 "검증 토큰"만을 처리함으로써, KV-PRM은 채점 비용을 O(L²)에서 O(L)로 줄인다. 우리는 KV 캐시가 텍스트보다 엄밀하게 더 큰 정보 용량을 포함하며, 하위 보상 모델링에 더 효율적임을 형식적으로 증명한다. 실험적으로, MATH, GSM8K, AIME 벤치마크 전반에 걸쳐 KV-PRM은 빔 서치(Beam Search), MCTS, 가중 투표(Weighted Voting)와 같은 다양한 TTS 방법 하에서 텍스트 기반 PRM과 동등하거나 이를 엄밀하게 능가하며, 텍스트 기반 PRM 대비 채점 FLOPs에서 최대 5,000배, 지연 시간에서 37배, 시퀀스당 메모리 사용량에서 34배 감소를 달성한다.

arXiv:2607.03012v2cs.CV

HyperVAttention: 비디오 디퓨전을 위한 시공간 클러스터링 기반 효율적인 희소 어텐션

HyperVAttention: Efficient Sparse Attention with Spatio-Temporal Clustering for Video Diffusion

비디오 확산 트랜스포머(VDiT)는 고충실도 비디오 생성에서 상당한 능력을 보여 왔다. 그러나 장시간 비디오를 생성하는 능력은 셀프 어텐션 메커니즘의 이차 복잡도에 의해 근본적으로 제약된다. 최근의 클러스터링 기반 희소 어텐션 방법은 의미적으로 유사한 토큰을 묶어 품질과 속도 간 절충을 개선하지만, 실제 효율은 상당한 클러스터링 오버헤드와 불규칙한 클러스터 유도 블록으로 인한 낮은 CTA 활용률이라는 두 가지 병목으로 인해 제한된다. 우리는 이 두 병목을 함께 해결하는 학습 불필요 희소 어텐션 프레임워크인 HyperVAttention(HVA)을 제안한다. 클러스터링 오버헤드를 줄이기 위해, 비디오 토큰의 시공간 지역성을 활용하여 중심점 탐색을 고정된 국소 이웃으로 제한하는 3D 국소 윈도우 클러스터링을 도입하고, 효율적인 실행을 위해 맞춤형 Triton 커널로 구현한다. 또한 노이즈 제거 단계 전반에서 클러스터 할당의 시간적 안정성을 활용하여 앵커 단계에서만 전체 클러스터링을 수행하고 중간 단계에서는 일부 토큰만 갱신하는 하이브리드 클러스터링 전략을 제안한다. CTA 활용률을 높이기 위해, 병렬 병합형 군집화를 통해 CTA 정렬 실행 비용을 최소화하는 하드웨어 인식 클러스터 병합을 제시하며, 유휴 타일 용량을 활용하여 블록 밀도와 근사 충실도를 개선한다. 이러한 구성 요소는 함께 클러스터링 오버헤드를 줄이고 중복 갱신을 피하며 희소 어텐션을 최신 GPU 커널의 고정 타일 구조에 더 잘 맞춘다. 비디오 생성 실험에서 HVA는 학습 불필요 희소 어텐션의 파레토 프런티어를 개선하여, 비슷한 지연 시간에서 SVG2보다 높은 충실도를 달성하고 HunyuanVideo에서 전체 어텐션 대비 $2.13\times$ 속도 향상을, 더 빠른 변형인 HVA-Flash로는 $2.23\times$ 속도 향상을 달성한다.

arXiv:2607.01164v2cs.LG

정형 및 비정형 볼륨의 빠르고 메시가 필요 없는 압축을 위한 명시적 3D 가우시안 모델

Explicit 3D Gaussian Models for Fast, Mesh-Free Compression of Structured and Unstructured Volumes

최근 연구는 암시적 신경 표현(INR)이 정형 및 비정형 볼륨 데이터를 효과적으로 압축하도록 학습될 수 있으며, 줄어든 메모리 사용량으로 데이터를 직접 질의할 수 있음을 보였다. 그러나 비정형 볼륨에 대한 기존 INR은 기하 정보를 인코딩하지 않으므로 이후 샘플링을 위해 일부 메시를 저장해야 하며, 이는 달성 가능한 압축을 제한한다. 한편 새로운 시점 합성 방법은 3D 가우시안의 명시적 집합으로 볼륨 데이터를 정확하게 시각화할 수 있음을 보였다. 본 연구에서는 3D 가우시안 프리미티브에 기반한 볼륨 데이터 압축용 명시적 모델을 소개한다. 우리는 3D 가우시안 집합을 볼륨 스칼라 장의 명시적 표현으로 재해석하고, 교차하는 가우시안의 가중 집계를 통해 공간 위치에서 스칼라 값을 복원하는 샘플링 전략을 사용한다. 또한 정형 및 비정형 모델 샘플링을 위한 최적화된 CUDA 가속 파이프라인, 모델의 정확한 영역 커버리지를 유도하는 손실 함수, 샘플링 오차 기반의 새로운 밀도화 전략을 개발한다. 우리의 명시적 정식화는 영역 기하를 자연스럽게 인코딩하여 비정형 볼륨에서 메시 저장의 필요를 없애고 훨씬 높은 압축 가능성을 제공한다. 기존 INR과 비교하여, 우리의 명시적 모델은 정형 및 비정형 볼륨 모두에서 학습 속도와 복원 품질을 크게 개선하며, 비정형 볼륨에서는 기존 연구보다 훨씬 높은 압축률을 가능하게 함을 보인다.

arXiv:2606.31145v2cs.CL

SeKV: 장문 컨텍스트 대규모 언어 모델 추론을 위한 계층적 시맨틱 메모리 기반 해상도 적응형 KV 캐시

SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference

대규모 언어 모델은 점점 더 긴 문맥에서 동작하며, 이때 KV 캐시는 시퀀스 길이에 따라 선형으로 증가하여 디코딩 중 메모리를 지배한다. 토큰 제거는 항목을 영구적으로 버리고, 의미 압축은 프리필 시점에 각 단위의 해상도를 고정하므로 나중에 관련성이 생기는 세부 정보를 복구할 수 없다. 우리는 어떤 압축된 구간을 토큰 해상도로 복원할지를 디코딩 시점에 결정하는 학습된 줌인 메커니즘을 중심으로 구축한 해상도 적응형 KV 캐시인 SeKV를 제안한다. SeKV는 높은 서프라이절 위치에서 문맥을 분할하고, 앵커 토큰과 구간 요약을 GPU에 유지하며, 각 구간의 키와 값의 저랭크 인자를 CPU로 오프로드한다. 경량의 헤드별 라우터가 질의와 관련된 구간을 선택하고, 이 구간들은 학습된 구간별 랭크로 재구성된다. 이 캐시는 손실이 있지만 제거하지 않는다. 모든 구간이 거칠게든 재구성되든 어텐션에 남아 있다. 기반 LLM은 고정된 상태로 유지되며 라우터가 추가하는 파라미터는 0.1% 미만이다. GPU에 상주하는 KV 예산이 10%인 조건에서 5개 백본과 4개 벤치마크 전반에 걸쳐, SeKV는 프리필 시점에 해상도를 고정하는 모든 방법을 능가하며 가장 강력한 의미 기반 베이스라인보다 2.9포인트(상대 5.5%) 향상된다. LongBench와 InfiniteBench에서는 정확 회상 오프로딩 캐시와 대등하고 합성 정확 검색에서는 뒤처지지만, 디코딩 단계당 전송 데이터량은 ShadowKV보다 3배 적고 우리가 프로파일링한 방법 중 총 메모리를 가장 적게 사용한다. 128K 문맥에서 최대 GPU 메모리를 절반으로 줄이고 전체 KV 캐싱 대비 총 메모리를 3분의 1 줄인다.

arXiv:2605.24011v4cs.CV

ActQuant: 비전-언어-행동 모델을 위한 4비트 미만 행동 유도 백본 가중치 전용 양자화

ActQuant: Sub-4-bit Action-Guided Backbone Weight-Only Quantization for Vision-Language-Action Models

비전-언어-행동(VLA) 모델은 임바디드 지능을 위한 뛰어난 행동 생성 능력을 보이지만, 막대한 연산량 때문에 엣지 플랫폼에 배포하기 어렵다. 공격적인 4비트 미만 가중치 양자화가 자연스러운 해결책이지만, 기존 사후 학습 양자화(PTQ) 방법은 이 영역에서 심각한 성능 저하를 겪는다. 이를 해결하기 위해 두 단계로 동작하는 행동 유도 혼합 정밀도 PTQ 프레임워크인 ActQuant를 제안한다. (1) 텐서 간 비트 할당기는 각 가중치 행렬이 에이전트의 행동 예측에 기여하는 정도에 따라 행렬마다 단일 비트 폭을 할당한다. (2) 텐서 내 스케일 최적화기는 행동 인지 곡률을 사용하여 블록별 양자화 스케일을 조정함으로써, 제어에 가장 큰 영향을 미치는 가중치에 동적 범위가 집중되도록 한다. 공격적 양자화의 온디바이스 이점을 제공하기 위해, 아키텍처를 효율적인 저비트 커널을 갖춘 네이티브 C/C++ 런타임으로 이식하는 에이전트형 변환 파이프라인인 OmniModel.cpp도 추가로 도입한다. 모든 모델을 OmniModel.cpp로 배포하여 시뮬레이션과 실제 6자유도 UR3 로봇 팔에서 ActQuant를 평가한다. LIBERO 벤치마크에서 ActQuant는 가중치당 3비트 이하에서 동작하는 유일한 방법이며, OpenVLA-OFT에서 95.0%, $\pi_{0.5}$에서 94.8%를 유지한다. 더 밀어붙이면 ActQuant는 OpenVLA-OFT에서 2.5 bpw로 90.1%에 도달하며 백본을 14.3 GB에서 2.7 GB로(5.3$\times$) 압축한다. 실제 UR3 로봇 팔에서 ActQuant로 양자화한 $\pi_{0.5}$는 기준 모델의 성공률을 유지하면서 메모리 사용량을 2.5$\times$ 줄인다.

arXiv:2609.24894v2cs.CV

SLICEChat: 전슬라이드 병리 언어 모델을 위한 점진적 인코더 내 토큰 가지치기

SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models

전슬라이드 병리 이미지(WSI)는 기가픽셀 규모의 시각 정보를 담고 있어, 슬라이드 수준 멀티모달 대규모 언어 모델(MLLM)의 확장성에 큰 난제를 만든다. 기존 접근은 수천 개의 패치 토큰을 처리하고, 보통 슬라이드 인코딩 이후에만 압축을 적용하여 멀티모달 어텐션이 계산적으로 비싸게 남는다. 우리는 하이브리드 Mamba–트랜스포머 슬라이드 인코더 안에 점진적 토큰 가지치기를 통합한 슬라이드 수준 MLLM인 SLICEChat을 제안한다. Mamba 레이어는 효율적인 장거리 전파를 가능하게 하고, 트랜스포머 레이어는 시퀀스가 점진적으로 짧아지는 동안 전역 상호작용을 유지한다. 단계 사이에서는 언어 지도 하의 영역 인식 가지치기가 제어된 유지율(keep-rate) 스케줄 하에서 공간적으로 일관된 저유용 영역을 제거하여, 멀티모달 융합 전에 압축된 슬라이드 표현을 만든다. SlideBench VQA에서 SLICEChat은 TCGA에서 79.84%, BCNB 코호트에서 59.09% 정확도를 달성해 기존 슬라이드 수준 병리 MLLM을 능가했으며, WSI-Bench 전체 지표에서도 최고 성능을 기록했다. 또한 평가된 모델 중 경쟁력 있는 메모리 사용량과 추론 지연 시간을 보였다. 이 결과는 기가픽셀 WSI에 대한 정확하고 계산적으로 효율적인 멀티모달 추론을 보여 준다.

arXiv:2607.13686v2cs.LG

일반 함수 근사 하에서의 최적·효율적 문맥적 조합 세미-밴딧

Optimal and Efficient Contextual Combinatorial Semi-bandits with General Function Approximation

본 논문은 맥락적 조합 세미밴딧(CCSB) 문제를 연구한다. 이 문제에서 학습자는 매 라운드마다 맥락을 관측하고, 기본 팔들의 부분집합으로 이루어진 조합 행동을 선택하며, 선택된 각 팔의 보상을 받는다. 목표는 시간에 따른 누적 보상을 최대화하는 것이다. 기존의 많은 연구가 선형 보상 함수 근사를 갖는 CCSB 문제에 초점을 맞춘 반면, 일반 보상 함수 근사를 갖는 CCSB 문제에 대한 효율적인 알고리즘 설계는 제한적이다. 본 연구에서는 학습자가 참 보상 함수를 포함하는 보상 함수 클래스 $\mathcal{F}$에 접근할 수 있는 실현 가능(realizable) 설정을 연구하고 $\mathrm{SquareCB{.}Comb}$ 알고리즘을 제안한다. $\mathrm{SquareCB{.}Comb}$가 $O(\sqrt{m A T \log |\mathcal{F}|})$의 미니맥스 최적 후회 한계를 달성함을 증명한다. 여기서 $A$는 팔의 수, $m$은 조합 행동에 포함되는 팔의 최대 개수, $T$는 시간 지평이다. 또한 맥락이 주어졌을 때 모든 팔의 보상을 효율적으로 예측할 수 있는 온라인 회귀 오라클이 있고, 조합 행동 집합이 효율적인 선형 최적화 또는 팔에 대한 임의의 목표 주변 확률이 주어졌을 때의 효율적인 샘플링 중 하나를 허용하면 $\mathrm{SquareCB{.}Comb}$는 계산적으로 효율적이다. 웹페이지 추천과 맥락적 최단 경로 문제에서 알고리즘의 효과를 실험적으로 검증한다.

arXiv:2606.26421v2cs.LG

Otter Weather: 숙련되고 계산 효율적인 중기 기상 예측

Otter Weather: Skillful and Computationally Efficient Medium-Range Weather Forecasting

최첨단 중기 AI 기상 모델은 기존의 수치 기상 예측(NWP)을 능가할 수 있으나 막대한 학습 예산을 필요로 한다. 이는 자원이 부족한 집단의 사용을 제한하고 빠른 모델 반복을 심각하게 저해한다. 여기서 우리는 AI를 통한 고성능 기상 예측을 대중화하도록 설계된 고효율 시공간 예측 모델인 Otter Weather를 개발한다. 표준 WeatherBench 프로토콜을 사용하여 1.5° 해상도의 ERA5 재분석 데이터로 평가한 결과, Otter 계열은 성능-연산 파레토 경계를 크게 진전시킨다. 결정론적 버전은 24시간 예보 시차에서 최고의 NWP 기준선을 9.6% 능가하면서 학습에 3.5 A100-일 미만이 필요하다. 이는 경량 AI 모델 대비 2배의 효율 향상을, 자원 집약적인 최첨단 아키텍처 대비 100배의 연산 감소를 제공한다. 우리는 연속 순위 확률 점수(CRPS)를 통한 학습으로 이러한 효율 향상을 확률 예측으로 확장한다. 더 큰 아키텍처로 확장한 Otter-XL은 IFS ENS 기준선 대비 9.7%의 CRPS 개선을 달성한다. 이는 유사한 연산 예산에서 비교 가능한 경량 모델 대비 예측 성능이 거의 두 배 증가함을 의미한다. Otter-XL은 또한 GenCast와 같은 최첨단 아키텍처를 2% 이상 능가하면서 연산은 한 자릿수 적게 사용한다. 마지막으로 Otter를 복잡한 음향 산란 PDE 과제에 그대로 적용하면 최첨단 파운데이션 모델링 접근법을 능가하며, 이는 여기서 이룬 진전이 다양한 과학 분야에 적용될 수 있음을 시사한다.

arXiv:2606.18439v2cs.CV

RegimeVGGT: Visual Geometry Grounded Transformer를 위한 층별 공간 보존 중복 제거

RegimeVGGT: Layer-Wise Spatially Preserving Redundancy Removal for Visual Geometry Grounded Transformer

Visual Geometry Grounded Transformer(VGGT)는 다중 시점 이미지로부터 한 번의 순전파로 조밀한 3D 장면 구조를 복원하지만, 프레임 간 어텐션의 이차 복잡도로 인해 확장성이 제한된다. 기존의 학습이 필요 없는 가속 기법은 토큰, 프레임, 또는 어텐션의 중복성을 활용하는데, 본 연구는 계층별 기능적 역할이 압축을 어떻게 안내할 수 있는지를 조사한다. 스펙트럼, 프로빙, 인과 분석을 통해 세 가지 영역(regime)을 확인하였다. 얕은 계층은 시점 간 구조가 부족하고, 중간 계층은 시점 간 정렬을 주도하며, 깊은 계층은 조밀한 기하에는 중복적이지만 프레임 간 어텐션은 자세 추정에 여전히 필수적이다. RegimeVGGT는 두 축을 따라 계층별 U자형 압축을 적용한다. Saliency-Guided Banded Merging은 기하 및 에지 현저성이 높은 토큰을 보호하며, Selectively Protected K/V Downsampling은 위상 이동된 공간 격자, 기준 프레임 앵커, 압축하지 않은 카메라/레지스터 토큰을 통해 프레임 간 공간 커버리지와 자세에 핵심적인 경로를 보존한다. RegimeVGGT는 별도의 학습 없이 재구성 품질을 동일하게 유지하면서 메모리 최적화된 VGGT* 대비 6.7배의 속도 향상을 달성한다. 프로젝트 페이지: https://tracyou07.github.io/regimevggt/

arXiv:2606.11552v3cs.CL

확산 모델에게 좌측에서 우측으로의 추측을 가르치기

Teaching Diffusion to Speculate Left-to-Right

대규모 언어 모델(LLM)은 다양한 작업에서 놀라운 성능을 달성하지만, 본질적으로 순차적인 토큰 생성으로 인해 자기회귀 디코딩 과정에서 상당한 추론 비용이 발생합니다. 사양 디코딩은 가벼운 드래프트 모델을 사용하여 여러 미래 토큰을 제안하고, 이를 더 큰 타겟 모델이 병렬로 검증하는 방식으로 이 병목 현상을 해결합니다. 최근 연구에서는 확산 언어 모델이 드래프트 토큰의 전체 블록을 병렬로 생성할 수 있어 자기회귀 드래프팅의 순차적 제약을 완화할 수 있으므로 이 설정에 매우 적합하다는 것이 입증되었습니다. 이 체계의 미묘한 점은 블록 확산 드래프터가 블록 내에서 토큰을 양방향으로 생성하는 반면, 검증은 토큰을 엄격하게 좌측에서 우측으로 평가하는 자기회귀 타겟 모델에 의해 수행된다는 것입니다. 이로 인해 대칭적인 학습 시간 목적 함수와 비대칭적인 검증 시간 보상 사이에 격차가 발생합니다. 본 연구에서는 이러한 격차를 좁히는 세 가지 학습 시간 개입에 대한 실증적 분석을 제공합니다: 토큰 위치 가중치, 각 블록 내에서 수락된 접두 문맥을 깨뜨리는 위치를 타겟팅하는 첫 번째 오류 포컬 손실, 그리고 기대 수락 길이에 대한 미분 가능한 대리 함수를 대체하는 체인 손실 항입니다. 이 세 가지 개입은 서로 직교하는 축(위치, 블록 조건부 첫 번째 오류, 결합 접두 문맥)을 따라 작동하며 가산적으로 결합됩니다. 또한 이들은 다중 드래프트 자기 선택과 같은 테스트 시간 정렬 메커니즘과도 직교하므로 원칙적으로 결합할 수 있습니다. 4개의 타겟 모델과 6개의 추론, 코드, 대화 벤치마크에서 이 세 가지 개입은 추가적인 순방향 패스를 추가하거나 추론 파이프라인 및 거부 샘플링 정확성 계약을 변경하지 않고, 위치 균일 기준선 대비 벤치마크당 수락된 드래프트 길이를 21-76% 증가시켰습니다.

arXiv:2411.16119v2eess.IV

종단간 신경 이미지 압축을 위한 최적 격자 벡터 양자화기 학습

Learning Optimal Lattice Vector Quantizers for End-to-end Neural Image Compression

종단간 최적화된 신경 이미지 압축 방법에서는 더 강력한 벡터 양자화의 높은 복잡도 때문에 이를 사용하는 대신 균일 스칼라 양자화를 적용하는 것이 관례이다. 반면 격자 벡터 양자화(LVQ)는 스칼라 양자화와 거의 같은 계산 효율성을 유지하면서 특징 간 의존성을 더 효과적으로 활용할 수 있는 매력적인 대안이다. 그러나 전통적인 LVQ 구조는 균일한 소스 분포를 기준으로 설계·최적화되어 있어, 신경 이미지 압축 과제의 잠재 코드 공간에 대한 실제 소스 분포에는 적응적이지 않고 최적이 아니다. 본 논문에서는 압축 대상 잠재 특징의 표본 통계에 맞추어 율-왜곡 최적 격자 벡터 양자화(OLVQ) 코드북을 설계함으로써 이러한 약점을 극복하는 새로운 학습 방법을 제안한다. 제안하는 OLVQ 방법은 주어진 임의의 잠재 표본 분포에 LVQ 구조를 더 잘 맞출 수 있어, 균일 스칼라 양자화의 다루기 쉬운 특성을 유지하면서 신경 이미지 압축에서 기존 양자화 방식의 율-왜곡 성능을 크게 향상시킨다. 코드는 https://github.com/xzhang9308/OLVQ 에서 확인할 수 있다.

arXiv:2606.29110v2cs.LG

확장 가능한 가능도 흐름 맵을 통한 소수 단계 볼츠만 생성기

Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps

흐름 기반 생성 모델에서 가능도(likelihood) 추정 시 발생하는 높은 분산 문제를 해결하기 위해, 허친슨 추정기(Hutchinson's trace estimator) 없이 벡터화된 형태로 학습 가능한 가능도 증류(distillation) 목적 함수 SCALLOP을 제안한다. SCALLOP은 F2D2 대비 학습 분산을 최대 100배 줄이고 수렴 속도를 높이며, 분자 과학의 볼츠만 생성기(Boltzmann generator) 및 이미지 도메인에서 최신 기준선 대비 최대 10배의 추론 속도 향상을 달성한다.

arXiv:2606.18209v2cs.LG

분류를 위한 데이터셋 증류 재고: 증류 세트가 코어셋보다 우수한가?

Rethinking Dataset Distillation for Classification: Do Distilled Sets Outperform Coresets?

데이터셋 증류(DD)는 대규모 데이터셋의 정보를 소수의 합성 샘플로 압축하여 효율적인 학습을 위한 간결한 학습 세트를 합성하는 것을 목표로 하는, 데이터 중심 머신러닝의 주요 접근법으로 부상했다. 그러나 DD 방법은 표준 ERM부터 단일/다중 교사 지도에 이르기까지 일관되지 않은 평가 프로토콜 하에서 평가되는 경우가 많아, 증류된 데이터 자체의 효과를 평가 방식과 분리하여 파악하기 어렵다. 또한 많은 기존 방법은 압축된 데이터셋을 실제 샘플의 부분집합으로 제한하면 표현력이 근본적으로 제한된다는 가정에 기반하여, DD가 코어셋 선택(CS)과 같은 데이터 가지치기 접근법보다 우수하다고 주장한다. 본 연구에서는 표준화된 데이터셋과 평가 프로토콜을 사용한 대규모 실험을 통해 DD 방법의 본질적 효과를 비판적으로 평가한다. 우리는 ImageNet-1K, ImageNet100, ImageNette에서 널리 채택된 세 가지 학습 프로토콜을 사용하여 일곱 가지 최신(SOTA) DD 방법을 네 가지 CS 전략과 비교 평가한다. 실험 결과, 일부 DD 방법은 단순한 무작위 부분집합조차 능가하지 못하며, SOTA DD 접근법도 대규모 데이터셋에서 코어셋과 비슷하거나 더 나쁜 성능을 보이면서 구축 비용은 상당히 더 높은 것으로 나타났다. 정확도 외에도 압축된 세트의 대표성, 다양성, 품질을 평가한 결과, 코어셋이 원본 데이터 분포를 일관되게 더 잘 포괄하는 것을 확인했다. 이러한 결과는 현재 DD 방법의 실용적 이점이 제한적임을 보여 주며, 코어셋이 여전히 경쟁력이 있고 데이터 중심 학습에서 계산적으로 더 효율적인 대안인 경우가 많음을 시사한다.

arXiv:2609.23790v1cs.AI

에이전시 총비용: 멀티 에이전트 LLM 워크플로에서 메모리 주입 비용의 정확한 귀속

Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows

멀티 에이전트 대규모 언어 모델(LLM) 워크플로의 모든 노드는 메모리에서 컨텍스트를 검색하여 프롬프트에 주입하며, 주입된 토큰은 시스템 프롬프트와 사용자 쿼리와 동일한 토큰당 단가로 입력 토큰으로 청구된다. 프로덕션 관측(observability) 도구는 총 토큰 비용을 보고하지만 노드가 생성하는 토큰과 전달받은 토큰을 구분하지 않으므로, 청구서의 이 항목은 비용을 지불하는 팀에게는 보이지 않는다. 우리는 멀티 에이전트 워크플로 비용을 기본 프롬프트, 추론, 메모리 주입, 미스 페널티, 컨텍스트 누적 구성요소로 분해한 Total Cost of Agency(TCA)와, 단어 수 프록시로 추정하지 않고 주입 토큰을 직접 측정하는 2-pass 비청구 토큰 카운트 기반의 정확한 귀속 방법을 제안한다. 실제 모델 API에 대해 실행한 200개 태스크 기업 벤치마크에서 메모리 주입은 컴파일 타임 옵티마이저가 개입할 수 있는 가변 비용의 13.6%, 전체 청구 비용의 약 12%를 차지하며, 워크플로 깊이 1에서의 구조적 0에서 깊이 6에서 27.6%까지 그 비중이 증가한다. 측정 구간(깊이 2~6)에서 주입 토큰은 깊이에 대해 선형적으로 증가한다(R^2 = 0.9974); 2차 피팅의 leading coefficient가 음수이므로, 해당 깊이에서 데이터는 볼록(convex) 성장을 보이지 않는다. 고정된 모델 tier에서 이 구성요소가 제어 가능함을 보인다: 검색 윈도우 용량을 32개 항목에서 2개로 줄이면 주입 토큰이 28.7% 감소하고 정확도 변화는 시드(seed) 수준 변동 범위 내이다. 그래프 재작성(graph-rewriting) 변환이 단독으로는 대체로 비용 중립적임을, 다섯 분해 항 중 두 항이 이 하네스(harness)에서 구조적으로 0임을, 총 워크플로 비용이 모델 tier 할당에 의해 지배되며 이를 고정하고 선행 연구로 취급함을 전면 보고한다. 프롬프트 캐싱(prompt caching)은 평가하지 않았으며 모든 수치는 캐시 미사용(uncached) 경우에 대한 것이다.

arXiv:2609.04820v3cs.CR

Cost-Aware Hierarchical Multi-Agent Ransomware Detection and Family Attribution

Sandbox execution and memory forensics are among the most resources intensive stages of malware triage. Static analysis can scale to millions of files while dynamic and memory analysis require minutes per sample. Because multimodal ransomware detectors often apply every modality to every sample, costs and latency rise even when static evidence suffice.We proposea cost aware Hierarchical Multi Agent System (HMAS) that frames evidence acquisition as a budgeted sequential decision problem enabling timely ransomware detection. Specialist agents generate schema validated risk signals for each modality while domain controllers aggregate evidence and coordinate analysis. The orchestrator starts with static evidence and escalates only if confidence is low or signals disagree. A locally hosted language model provides a limited, accoutable review without replacing the deterministic pipeline. Experiments on 16 ransomware families show 94.12% binary accuracy (F1 0.9376, ROC-AUC 0.9989). For multi class family attribution, it achieves 98.90% accuracy (macro-F1 0.9748). The system resolves 57.95% of the samples using static analysis alone whhile only 6.21% require the full pipeline. Compared with exhaustive cost of 12.0 units,the proposed system reduces te average cost to 6.724 units, representing approximately 44% saving. Zero day experiments further examine generalization to unseen ransomware families. Additional evaluations examine cost sensitivity and component level contribution. LLM-assisted review provides only marginal improvement in F1 while introducing additional computational overhead. Overall, the results show the potential of adaptive hierarchical multi agent orchestration to balance ransomware detection performance, family attribution analysis cost and decision latency.

arXiv:2607.23811v3cs.SD

분리된 시간-깊이 확산 트랜스포머 기반 메모리 효율적 오디오 합성

Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers

Siri Expressive Voices는 Apple의 가장 강력한 온디바이스 파운데이션 모델인 AFM 3 Core Advanced를 기반으로, 풍부하고 설정 가능한 음성을 실시간으로 전적으로 기기 내에서 합성한다. 본 연구는 이 기능의 기반이 되는 메모리 효율적 오디오 합성 아키텍처를 제시한다. 이는 파운데이션 모델이 내보내는 의미적 오디오 토큰을 Scalable Matrix Extension(SME)의 빠듯한 연산 및 메모리 예산 내에서 고충실도 오디오로 변환하는 디토크나이저이다. 우리는 시간 처리와 깊이 처리를 체계적으로 분리하는 스트리밍 인코더, 시간 디코더, 깊이 디코더의 세 구성 요소 설계로 의미적 오디오 토큰을 잔차 벡터 양자화(RVQ) 표현으로 변환한다. Diffusion Transformer(DiT) 방식의 단계 조건화를 갖춘 단일 재사용 가능 깊이 디코더가 모든 RVQ 수준을 자기회귀적으로 생성하여 기존 다중 디코더 아키텍처의 수준별 전용 디코더를 대체하며, 고정 윈도 키-값 캐싱을 사용하는 인과적 슬라이딩 윈도 어텐션은 시퀀스 길이와 무관한 일정한 메모리 복잡도를 제공한다. AMX에 배포된 디토크나이저는 생성 단계당 약 10 ms를 유지하여 실시간보다 약 16배 빠르며, 최대 런타임 메모리는 21 MB, 온디바이스 자산은 329 MB에 불과하여 20–320초 분량의 오디오를 연속 스트리밍 합성할 수 있다. 이러한 일정하고 작은 점유량은 기존 트랜스포머 및 GAN 기반 접근법의 선형 및 이차 메모리 증가를 대체한다. 절제 연구는 핵심 아키텍처 구성 요소를 검증하며, 오디오 품질 평가는 이 아키텍처가 기존 방법 대비 효율 향상을 달성하면서도 합성 충실도를 유지함을 확인한다. AFM 3 Core Advanced 내에서 10억 파라미터 활성화 크기로 동작하여, 이전 온디바이스 텍스트 음성 변환 시스템 대비 평균 의견 점수(MOS)를 전체적으로 +0.28(4.15 대 3.87), 대화체 음성에서 +0.42(4.24 대 3.82) 향상시킨다.