PyTorchKR Papers

최신 논문

총 6,647편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22639v2cs.AI

TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼

TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs

파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.

arXiv:2606.24969v2cs.LG

주파수 영역 리저버 컴퓨팅

Frequency Domain Reservoir Computing

트랜스포머의 시퀀스 길이에 대한 이차 병목이 순환 모델의 재부상을 이끌고 있지만, 복잡한 동역학을 효과적으로 포착하려면 효율적인 학습과 표현력이 높은 잠재 상태를 균형 있게 갖춘 구조가 필요하다. 에코 스테이트 네트워크(ESN)는 고정된 순환 가중치를 활용하여 시간 역전파를 피하고 닫힌 형태의 학습 해를 가능하게 하는 매력적인 접근법이다. 그러나 복잡한 과제에 필요한 표현력을 얻으려면 큰 리저버가 요구되어 $\mathcal{O}(N^2)$의 상태 갱신 병목이 드러나며, 이로 인해 ESN은 현대 순환 모델의 규모에 미치지 못한다. 이 한계를 해결하기 위해 본 논문은 전적으로 주파수 영역에서 동작하며 영역 전환 오버헤드를 피하여, 구조화된 순환(circulant) 재귀를 통해 밀집 비선형 갱신에 $\mathcal{O}(N)$ 복잡도를 달성하는 ESN 구조인 주파수 영역 리저버 컴퓨팅(Frequency Domain Reservoir Computing, FRESCO)을 소개한다. FRESCO는 새로운 차원 제로 패딩 입력 임베딩, 패킹된 주파수 영역 리드아웃, 그리고 주파수 영역에서 직접 적용되는 비선형성을 사용하여 학습과 추론의 계산 비용과 에너지 소비를 크게 줄인다. 나아가 FRESCO는 메모리 벤치마크, 순차 분류, 다변량 장기 예측에서 경쟁력 있는 예측 성능을 달성하여, 밀집 순환 구조를 위한 확장 가능하고 에너지 효율적인 방향을 제시한다.

arXiv:2509.25136v4cs.LG

BALF: 미세 조정이 필요 없는 모델 압축을 위한 예산 제약 활성화 인식 저랭크 분해

BALF: Budgeted Activation-Aware Low-Rank Factorization for Fine-Tuning-Free Model Compression

활성화 인식 저랭크 분해 기법은 강력한 압축 성능을 내지만 일반적으로 선형 계층에 국한되며, 기존의 화이트닝 기반 이론은 대개 계층 활성화에 대해 암묵적인 풀랭크 가정을 둔다. 본 연구는 표준 및 그룹 합성곱을 포함하여 선형 계층을 넘어 저랭크 분해를 이해하고 확장할 수 있게 하는 계층 표현 프레임워크를 도입한다. 이 프레임워크 내에서 랭크 부족 활성화를 자연스럽게 포괄하는 화이트닝 기반 활성화 인식 분해의 더 폭넓은 특성화를 제공하고, 그 결과 얻어지는 사영이 계층 출력 왜곡 측면에서 최적임을 보인다. 이어서 출력 왜곡을 대리 지표로 사용하여, 할당 문제의 라그랑주 완화를 통해 무시할 만한 오버헤드로 명시적인 FLOP 또는 파라미터 수 예산 하에서 계층별 랭크를 할당한다. 이러한 구성 요소가 합쳐져 모델 압축을 위한 종단간 미세 조정 불필요 파이프라인인 BALF를 이룬다. CIFAR-10과 ImageNet-1K의 CNN 및 비전 트랜스포머 전반에서, BALF는 동일한 FLOP 또는 파라미터 수 목표에서 일반적으로 SVD 기반 분해 기준선보다 높은 정확도를 달성하며, 다른 미세 조정 불필요 압축 기법과도 경쟁력을 유지한다.

arXiv:2609.28870v3cs.DC

정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고

When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse

장시간 실행되는 LLM 애플리케이션과 자율 에이전트는 점점 늘어나는 컨텍스트를 반복적으로 전송하므로, 프리픽스 캐싱은 프리필 비용을 줄이는 데 매우 중요하다. 이는 수십 년간의 전통적인 캐시 관리 기법이 에이전트형 및 대화형 LLM 서빙에 그대로 적용되는가라는 근본적인 질문을 제기한다. 우리는 200억 개가 넘는 처리 토큰으로 구성된 실제 서비스 트레이스를 분석하고, 용량이 제한된 HBM 환경과 대규모 메모리 풀 환경에서 14가지 축출 알고리즘을 평가한다. 그 결과, 단순한 LRU(Least Recently Used)가 놀라울 정도로 견고하여 정교한 전통적 정책과 대등한 성능을 보이지만, 벨라디(Belady)의 최적 해와는 여전히 상당한 격차가 남아 있음을 확인한다. 그 이유는 구조적이다. 프리픽스 재사용은 활성 세션의 꾸준한 진행 속도에 의해 좌우되므로, 최근 사용 여부가 축출에 대해 이례적으로 강한 예측 변수가 된다. 그럼에도 프리픽스 캐싱은 최근성이 무시하는 측면에서 전통적 워크로드와 다르며, 특히 단일 턴 요청의 만연, 극단적인 세션 크기 편중, 어텐션 연산이 토큰 깊이에 따라 증가하기 때문에 발생하는 매우 불균일한 미스 비용이 그러하다. 최적과의 격차를 줄이기 위해, 우리는 프리픽스 캐시 관리를 위한 몇 가지 설계 원칙을 제시한다. 즉, 최근성을 기준선으로 유지하면서 일회성 프롬프트를 걸러내기 위한 신속한 강등, 비용이 큰 미스를 우선시하는 연산 인지형 축출, 용량 적응형 축출 단위를 함께 도입하는 것이다. 우리의 트레이스와 시뮬레이터는 공개되어 있다.

arXiv:2609.26249v2cs.CL

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

arXiv:2607.22595v2cs.AI

OrigaMI: An LLM Serving System with First-Class Interpretability Apps

Mechanistic interpretability (MI) enables monitoring and steering LLMs by operating on their internal state during inference. MI applications remain difficult to develop, expensive to execute, and challenging to manage at runtime. We present OrigaMI, a system that integrates MI applications as first-class components of LLM serving, enabling simplified development, efficient execution, and flexible deployment. Guided by a comprehensive analysis of modern MI applications, OrigaMI streamlines the MI applications development via a simple Python-based Domain Specific Language (DSL) for accessing intra- and inter-layer runtime model state at well-defined trigger points during inference. OrigaMI enables efficient access to ephemeral attention scores via a novel FlashInspect kernel that retains the performance benefits of FlashAttention. OrigaMI's compiler integrates multiple MI applications into the performance-optimized inference execution flow while ensuring conflict-free coexistence. OrigaMI's runtime supports dynamic, per-request activation and deactivation of MI applications without service interruption or performance degradation when inactive, leveraging OrigaMI's dynamic memory management and CUDA graph-compatible execution. We integrate OrigaMI with vLLM and evaluate ten MI applications, including sparse autoencoders, steering, and jailbreak detection, across four state-of-the-art LLMs. OrigaMI incurs negligible execution overhead, up to two orders of magnitude lower than existing frameworks, while enabling per-request activation and deactivation up to 1,000 times faster than alternatives. These results demonstrate that OrigaMI makes MI applications practical for deployment in production LLM serving systems.

arXiv:2607.13298v2cs.CV

FOLIO: 스트리밍 비디오 이해를 위한 집중 의미 기억

FOLIO: Focused Semantic Memory for Streaming Video Understanding

온라인 스트리밍 비디오 이해에서는 비디오 스트림이 계속 도착하고 질의가 언제든지 발생할 수 있다. 스트리밍 프레임이 무한히 증가하기 때문에, 시스템은 미래 프레임과 미래 질의가 알려지지 않은 상태에서 관측된 비디오 접두 문맥의 정보를 지속적으로 압축하고 보존해야 한다. 핵심 과제는 어떤 정보를 보존하고 유지된 이력을 어떻게 구성할지 결정하는 것이다. 스트림에 따라 이력이 커질수록 메모리 비용이 증가하고 많은 중복 시각적 세부 사항이 보존되는 반면, 이후 질의는 종종 특정 개체, 행동 및 그들의 시간적 변화에 의존한다. 이 과제를 해결하기 위해, 우리는 스트림의 중요한 부분을 더 높은 상세도로 기록하면서 주변 컨텍스트는 압축적으로 유지하는 학습 불필요 집중 의미 기억 시스템인 FOLIO를 제안한다. 스트림이 도착함에 따라 FOLIO는 동적 초점 상태에 의해 안내되어 세그먼트 수준에서 메모리를 갱신하며, 단기 시각 버퍼와 관측된 개체를 중심으로 구성되고 시각적 증거 캐시에 연결된 장기 의미 기억을 결합한다. 질의 시점에는 경량 하이브리드 검색이 구조화된 메모리에 대한 직접 매칭과 의미적 질의 확장을 결합한다. FOLIO는 최첨단 성능을 달성하며, Qwen3-VL-8B로 OVO-Bench에서 인식/역방향 정확도 82.0/69.1을 기록하고 StreamingBench에서 전체 정확도 74.5를 달성하는 동시에, 초점 개체에 대해서만 상세 기록을 예약하고 주변 컨텍스트를 압축적으로 저장함으로써 스트리밍 메모리 유지 비용을 크게 줄인다.

arXiv:2607.11976v5cs.LG

LiteTopK: 장문맥 희소 어텐션용 통합 Indexer-TopK 커널을 위한 차원의 저주 활용

LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention

Indexer-TopK, which computes scores and selects the top-$k$ candidates, is a key primitive in long-context sparse attention for large language models, vector retrieval for recommendation systems, and vector databases. However, existing GPU-based Indexer-TopK kernels like DeepSeek Sparse Attention (DSA) typically separate scoring from selection and materialize the full score matrix in high-bandwidth memory. This strategy is inefficient for large score matrices, such as those encountered in long-context sparse attention, due to excessive global-memory traffic, costly synchronization, and prohibitive memory overhead. In this study, motivated by the curse of dimensionality, we observe that sparse attention scores exhibit a score concentration phenomenon, with scores falling within a narrow range. Based on this observation, we propose LiteTopK, a sample-filter-select framework that estimates query-data score ranges from a small subset of the data. It uses these estimates to filter scores as they are computed, materializes only the candidates that pass the filter, and selects from the surviving candidates. In particular, we develop two implementations of LiteTopK. The first uses a conservative threshold estimate, while the second pairs a predicted threshold with a fallback strategy. Building on LiteTopK, we further propose LiteDSA, which reuses overlapping key/value entries across neighboring queries to accelerate attention computation. We integrate LiteTopK into vLLM, SGLang, and Megatron-LM. Our evaluation on eight B200 GPUs demonstrates prefill speedups of up to 1.49$\times$ across GLM-5.2, DeepSeek-V4-Flash, and Hy-4-Preview at a context length of 1M tokens, without compromising model capabilities.

arXiv:2607.02512v2cs.LG

Program-as-Weights: 퍼지 함수를 위한 프로그래밍 패러다임

Program-as-Weights: A Programming Paradigm for Fuzzy Functions

중요한 로그 줄에 대한 경고, 잘못된 형식의 JSON 복구, 의도에 따른 검색 결과 순위화와 같이 규칙 기반의 깔끔한 구현이 어려운 일상적 프로그래밍 과제가 많으며, 이러한 과제는 지역성, 재현성, 비용을 희생하면서 대규모 언어 모델 API에 점점 더 많이 위탁되고 있다. 우리는 자연어 명세로부터 이러한 함수를 간결하고 로컬에서 실행 가능한 신경망 산출물로 컴파일하는 퍼지 함수 프로그래밍을 제안한다. 우리는 이 패러다임을 Program-as-Weights(PAW)로 구현하며, 여기서 우리가 공개하는 1천만 예제 데이터셋인 FuzzyBench로 학습된 4B 컴파일러가 고정된 경량 인터프리터를 위한 파라미터 효율적 어댑터를 생성한다. PAW 프로그램을 실행하는 0.6B Qwen3 인터프리터는 Qwen3-32B를 직접 프롬프팅한 성능과 대등하면서도 추론 메모리를 대략 50분의 1만 사용하고 MacBook M3에서 초당 30토큰으로 동작한다. PAW는 파운데이션 모델을 입력별 문제 해결자에서 도구 제작자로 재정의한다. 함수 정의당 한 번 호출되어, 이후 함수 적용마다의 호출이 저렴하고 오프라인으로 가능한 작고 재사용 가능한 산출물을 생성한다.

arXiv:2606.27895v2physics.comp-ph

Mosaic: 미분 가능 물리 솔버를 위한 벤치마크 스위트

Mosaic: A Benchmark Suite for Differentiable Physics Solvers

미분 가능 편미분방정식(PDE) 솔버는 솔버-인-더-루프 ML 학습, 기울기 기반 최적 제어, 역문제의 기반이 되지만, 주어진 문제에서 주어진 솔버로부터 올바르고 사용 가능한 기울기를 얻는 데 드는 실질적 비용은 거의 문서화되어 있지 않다. 통합 노력, 계산 비용, 메모리, 기울기 정확도, 수치적 안정성은 솔버마다 크게 다르며 시행착오를 통해서만 알 수 있다. 우리는 솔버 기울기에 대한 접근을 표준화하는 미분 가능 PDE 솔버용 확장 가능한 벤치마킹 프레임워크 Mosaic을 소개한다. 각 솔버는 언어나 자동 미분(AD) 전략과 무관하게 균일한 기울기 API를 노출하는 컨테이너화된 구성 요소(Tesseract)로 패키징되며, 이를 통해 연구자들은 자명하지 않은 물리 솔버를 평가, 비교하고 그 위에 구축할 수 있다. 유체 역학, 구조 역학, 열전달에 걸친 14개 솔버에 대한 평가는 이 벤치마크가 실질적으로 의미 있는 차이를 드러냄을 보여 준다. 계산 비용과 메모리에서 자릿수 단위의 차이가 나타나며, 특정 과제에서 솔버를 배제하게 만드는 설정 비호환성과 불안정성도 드러난다. 이러한 차이에도 불구하고 기울기를 생성하는 모든 솔버는 우리의 과제에서 유사한 최적해로 수렴하며, 이는 실질적 장벽이 기울기 정확도만이 아니라 메모리 한계, 수치적 안정성, 설정 호환성임을 시사한다. Mosaic은 오픈 소스이며 github.com/pasteurlabs/mosaic 에서 이용할 수 있다.

arXiv:2606.26631v2cs.CV

효율적인 다중 턴 반복 멀티모달 추론을 위한 적응형 시각 KV 캐시 재사용

Adaptive Visual KV Cache Reuse for Efficient Multi-Turn Iterative Multimodal Reasoning

다중 턴 시각 추론은 반복적인 크롭과 국소 검사를 통해 증거를 확보하지만, 관측 영역이 겹치면 시각 인코딩과 프리필이 중복된다. 본 논문은 추가적인 이미지 세부 정보에 대한 접근을 유지하면서 반복 처리를 줄이는 적응형 시각 KV 캐시 재사용 프레임워크를 제안한다. 핵심적인 어려움은 시각 프리필을 생략하면 새로운 관측과 현재 추론 사이의 상호작용도 함께 사라진다는 점이다. 과거의 키는 이전 위치에 묶여 있고, 과거의 값에는 크롭 사이에서 형성된 의도가 반영되어 있지 않다. 본 프레임워크는 먼저 크롭 크기와 캐시 가용성에 따라 전체 재인코딩과 영역 재사용 중 하나를 선택한다. 재사용 경로에서는 위치 키 재결합(Positional Key Rebinding, PKR)이 새로운 위치에서의 어텐션 매칭을 보정하고, 의도 유도 값 강화(Intent-guided Value Enhancement, IVE)가 크롭 이전의 추론 어텐션을 이용해 현재 목표와 관련된 내용을 강화한다. 전체 재인코딩된 크롭의 소스 상태는 이후의 검색과 재사용을 위해 보존된다. 본 프레임워크는 재사용이 적중한 경우 추가 학습이 필요하지 않으며, 선택된 시각 토큰에 대해 시각 인코더와 프리필을 건너뛴 뒤 일반적인 텍스트 추론을 재개한다. 실험 결과, 제안한 방법은 중간 크롭 이미지에 의존하는 다중 턴 시각 추론의 전체 정확도를 유지하면서 추론 시간을 줄인다.

arXiv:2606.21023v2cs.LG

LLM 추론의 수치적 불안정성 규명: HEAL을 통한 미션 크리티컬 태스크의 재현 가능한 추론 달성

Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL

대규모 언어 모델(LLM)이 금융, 의료, 법률과 같은 미션 크리티컬 영역에 배포되면서 출력 재현성은 엄격한 시스템 요구사항이 되었다. 실무자들은 알고리즘적 확률성을 제거하기 위해 탐욕적 디코딩을 사용하지만, 16비트 정밀도를 사용하는 실제 배포 환경에서는 이기종 GPU 간에 치명적인 출력 불일치가 여전히 나타난다. SASS 수준 프로파일링을 통해 이러한 불일치가 근본적으로 커널 경계에서 다운캐스팅 중 발생하는 절단 오차에 의해 유발됨을 밝힌다. 그러나 전역 FP32 파이프라인으로 재현성을 확보하면 과도한 시스템 비용이 발생한다. 16비트 하드웨어 가속기를 우회하면 연산 효율이 떨어지고, KV 캐시를 상향 캐스팅하면 메모리 오버헤드가 두 배가 된다. 이러한 간극을 메우기 위해 FP32 정밀도를 근사하면서 두 가지 표적 메커니즘으로 하드웨어 제약을 해결하는 표적 개입 기법인 하이브리드 오차 완화(Hybrid Error ALleviation, HEAL)를 제안한다. 첫째, 부동소수점 형식이 Q, K, V 텐서에 대해 비트 폭을 충분히 활용하지 못한다는 점에 착안하여, HEAL은 KV 캐시 점유량을 늘리지 않으면서 수치 안정성을 보존하는 INT16 양자화를 적용한다. 둘째, HEAL은 대수적 오차 보상 전략을 통해 고정밀 행렬 곱셈을 합성하며, 이를 전적으로 고처리량 16비트 텐서 코어에서 실행한다. 접근법을 실용적으로 평가하기 위해 미션 크리티컬 작업의 재현성을 겨냥한 벤치마크인 MCR-Bench를 소개한다. HEAL은 다운스트림 작업에서 FP32 기준선과 동일한 수준의 재현성을 달성하면서 성능 오버헤드를 최대 6.0$\times$까지 줄인다.

arXiv:2606.20820v3cs.LG

CELEUS: E-Process 기반 인증 가능하고 효율적인 LLM 평가

CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

평가 점수가 LLM의 실제 성능을 포착한다고 신뢰할 수 있는가? 인증 가능한 평가는 LLM의 참 성능을 높은 확률(예: 95%)로 포함하는 신뢰구간(CI)을 제공함으로써 이 질문에 답한다. 특히 기존 방법은 고정된 풀에서 평가 샘플을 순차적으로 선택하며, CI 폭이 목표 정밀도에 도달하는 등 특정 조건이 충족될 때까지 CI를 계속 갱신한다. 그러나 기존 방법은 일반적으로 언제든 유효(anytime-valid)하지 않다. CI를 반복적으로 갱신하고 중단 시점을 결정하는 데 사용하면 주장된 포괄 확률(예: 95%)이 성립하지 않을 수 있어, 이론적 엄밀성과 실제 사이에 간극이 남는다. 본 논문은 E-프로세스를 활용하여 언제든 유효한 CI를 구성하는, 효율적인 LLM 평가를 위한 인증 가능 프레임워크 CELEUS를 제안함으로써 이 간극을 메운다. 구체적으로 두 가지 요소를 결합한 새로운 신호를 제안한다. (i) 평가에 정보량이 많은 샘플을 선택하는 불확실성 유도 샘플링과, (ii) 평가되지 않은 샘플에 대한 대리 모델 지원 근사이다. 이 새로운 신호가 과거를 조건으로 할 때 평가 점수에 대해 불편성을 유지함을 증명하며, 이는 통계적으로 근거 있는 언제든 유효한 e-프로세스 CI를 가능하게 한다. 더 중요한 것은, 두 요소가 추정 분산을 줄이고 더 적은 수의 평가 샘플로 목표 정밀도에 도달하도록 돕는다는 점이다. 또한 CELEUS가 얻은 CI가 로그 인자를 제외하면 근모수적 속도로 수축할 수 있음을 증명하고, 경험적 불확실성 유도 방식의 동기가 되는 오라클 분산 최적 샘플링 규칙을 분석한다. 실험 결과 CELEUS는 언제든 유효한 포괄 확률을 유지하면서 기준 방법보다 54-62% 적은 평가 샘플로 목표 정밀도에 도달한다. 코드는 https://github.com/zyecs/celeus 에서 확인할 수 있다.

arXiv:2606.18634v2cs.RO

EffiNav: 효율적인 객체 목표 내비게이션을 위한 깊이와 비전-언어 융합

EffiNav: Fusing Depth and Vision-Language for Efficient Object Goal Navigation

미지 환경에서 대상 객체를 효율적으로 찾기 위해 EffiNav는 깊이(depth) 기반 후보 영역 생성과 오픈소스 VLM의 ego-centric·top-down 이중 검증, 탐험 이력 기반 중복 탐색 억제를 결합한 비학습 ObjNav 프레임워크를 제안한다. HM3D·OVON·GOAT-BENCH 및 실제 로봇 평가에서 성공률(SR)과 경로 길이 가중 성공(SPL) 기준으로 최근 베이스라인과 대등하거나 이를 능가해 효율성과 일반화 가능성을 입증했다.

arXiv:2606.15912v3cs.LG

다중 턴 에이전트를 위한 커리큘럼 턴 단위 지도를 활용한 온-정책 증류

On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents

계획을 수립하고 도구를 호출하며 환경과 상호작용하는 다중 턴(multi-turn) 에이전트(agent)는 복잡한 작업을 해결하기 위한 유망한 패러다임을 제공하지만, 이들의 역량은 일반적으로 실제 사용 시 추론(inference) 비용 부담이 매우 큰 대규모 모델에 의존합니다. 온-정책 증류(On-Policy Distillation, OPD)는 이러한 역량을 더 작은 학생 모델로 이전하기 위한 자연스러운 방법이지만, 본 연구에서는 이 설정에서 전형적인 실패 모드가 발생함을 발견했습니다. 즉, 작은 학생 모델의 오류가 여러 턴에 걸쳐 누적되면서 궤적(trajectory)이 교사 모델에 익숙한 상태 분포를 벗어나게 되고, 그 결과 학생 모델이 가장 필요로 하는 바로 그 지점에서 교사 모델의 지도(supervision)가 가장 신뢰할 수 없게 됩니다. 우리는 각 롤아웃(rollout) 내에서 교사 모델과 학생 모델이 생성한 턴을 혼합하고 교사 모델의 개입 확률을 0으로 감소하는 커리큘럼에 따라 조절하는 단순하면서도 효과적인 알고리즘인 지도형 온-정책 증류(Guided On-Policy Distillation, Guided-OPD)를 제안합니다. 초기에는 강력한 지도를 통해 궤적을 교사 모델의 분포에 가깝게 유지한 다음, 점진적으로 지도를 거두어 추론 시 사용되는 순수 온-정책 환경을 회복합니다. ALFWorld, ScienceWorld, WebShop에서 Qwen3-30B-A3B 교사 모델로부터 Qwen3 학생 모델들을 증류한 결과, Guided-OPD는 바닐라 OPD 대비 점수(Score)에서 평균 21.1%, 성공률(Success Rate)에서 25.5%의 상대적 향상을 달성했으며, 더 작은 학생 모델일수록 더 큰 향상을 보였습니다.

arXiv:2606.13898v4cs.CV

HiLo-Token: 효율적인 이미지 편집 모델 서빙을 위한 입력 적응형 고주파-저주파 토큰 압축

HiLo-Token: Input-Adaptive High-Low Frequency Token Compression for Efficient Image Editing Model Serving

Adobe Photoshop의 Remove 및 Generative Fill 버튼과 같은 창의적 이미지 편집 도구는 일상적인 고객 사용의 중심이며 트래픽의 상당 부분을 차지한다. 그러나 현재의 생성형 AI 모델은 상당한 지연 시간 문제에 직면해 있으며, 이 분야가 합성곱 기반 U-Net에서 Diffusion Transformer(DiT)로 전환되면서 그 문제는 더욱 두드러진다. 다양한 마스크 비율에 걸친 수백 개의 대표적인 이미지 편집 샘플에 대한 평가에서, DiT 모듈은 50 타임스텝에서 8 타임스텝으로 증류한 후에도 전체 모델 지연 시간의 평균 73%를 차지한다. 이 문제를 해결하기 위해 고주파이며 문맥이 풍부한 영역에 더 큰 토큰 예산을 할당하고 저주파 영역에는 더 적은 토큰을 할당하는 입력 적응형 토큰 압축 프레임워크인 $\textbf{HiLo-Token}$을 제안한다. 구체적으로, 사용자 마스크로 지정된 편집 영역에서는 강한 지역성과 문맥적 관련성을 보존하기 위해 팽창된 마스크 내의 모든 토큰을 유지한다. 편집 영역 밖에서는 중요한 국소 세부 정보를 포착하기 위해 공간 주파수에 기반한 단순하지만 효과적인 고주파 토큰 선택 전략을 도입하고, 크게 다운샘플링된 이미지의 토큰으로 저주파 성분을 표현하여 대략적인 전역 구조를 보존한다. 실제 서비스 수준의 평가 데이터에 대한 광범위한 실험은 제안 방법의 효과를 입증하며, 평균 비율이 각각 6.38%, 15.92%, 35.36%인 작은, 중간, 큰 마스크 비율 범주의 이미지 편집 작업에서 A100-80GB 기준 DiT 속도를 각각 3.13$\times$, 2.59$\times$, 1.67$\times$ 향상시키면서 생성 품질의 저하는 없다. 편집 파이프라인이 분리되어 독립적으로 오토스케일링되는 GPU 워커로 서빙되는 실제 서비스 환경에서, 이러한 요청당 절감은 모델 서빙에 필요한 GPU의 33% 감소로 이어진다.

arXiv:2606.13194v2cs.LG

HARENA: 자원 제약 엣지 기기에서의 센서 기반 인간 행동 인식을 위한 살아 있는 벤치마크

HARENA: A Living Benchmark for Sensor-Based Human Activity Recognition on Resource-Constrained Edge Devices

센서 기반 인간 행동 인식은 엣지 기기에서 실행되며, 성능과 지연 시간, 메모리, 에너지 사이의 균형을 맞춰야 한다. 그러나 새로운 아키텍처는 보통 소수의, 종종 오래된 기준선과 소수의 데이터셋에서 연구별로 다른 데이터 준비와 하드웨어로 비교되어, 어떤 아키텍처가 어떤 비용에서 가장 우수한지는 불분명하다. 본 논문은 새로운 아키텍처와 데이터셋을 하나의 프로토콜 아래 추가할 수 있는 공개 리더보드를 갖춘 살아 있는 벤치마크 HARENA를 제시한다. 초기 구성은 16개의 신경망 아키텍처와 3개의 고전적 기준선을 29개 데이터셋에서 평가하며, 보지 못한 피험자에 대한 성능과 스마트폰, 스마트워치, 마이크로컨트롤러에서의 배포 비용을 측정한다. 구성에서 가장 오래된 딥러닝 아키텍처인 CNN-HAR가 전반적으로 선두이지만, 8개 아키텍처가 그 평균 테스트 macro-F1의 2.5점 이내에 있는 반면 비용은 수 자릿수씩 차이 난다. 마이크로컨트롤러에서는 Random Forest가 지연 시간과 최대 RAM에서, LITEWAY-Light가 플래시에서 선두이며, TinyHAR가 실시간 예산 내에서 가장 정확하다. 순위는 데이터셋과 채널 수에 따라 바뀌므로 일반적인 주장에는 많은 데이터셋이 필요하며, 성장하는 벤치마크가 이를 제공할 수 있다. 벤치마크 과적합의 징후는 발견되지 않았으나, 보지 못한 피험자에서 성능이 중앙값 15.0점 하락하며 이는 아키텍처 간 전형적 편차의 약 세 배로, 일반화와 적응이 가장 유망한 향후 방향이다.

arXiv:2606.13355v2cs.RO

자기회귀 정책을 활용한 실시간 실행

Real-Time Execution with Autoregressive Policies

대규모 비전-언어-행동 모델에서 자기회귀 정책의 실시간 실행을 위해 토큰화 수평 조정과 제한된 디코딩을 적용하여 엄격한 지연 시간 경계를 보장한다. 이 방식은 시뮬레이션과 실제 환경에서 동기식 추론 대비 작업 완료 속도를 획기적으로 개선하며 동급의 흐름 일치 정책보다 우수한 성능을 보여준다.

arXiv:2610.10854v2cs.LG

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2607.13460v2cs.CV

LPM: 산업 규모 생성형 비디오 복원

LPM: Industrial-Scale Generative Video Restoration

본 논문은 복잡한 실환경(in-the-wild) 열화 하에서 사실적인(photorealistic) 비디오 복원을 위한 확산 기반 생성 프레임워크인 Large Processing Model(LPM)을 제안한다. 우리가 아는 한, LPM은 산업 규모로 배포된 최초의 생성형 비디오 복원 모델이다. LPM은 대규모 데이터 엔지니어링, 파운데이션 모델 학습, 효율적인 추론을 아우르는 통합 시스템을 통해 사용자 생성 콘텐츠(UGC)의 다양한 열화를 해결한다. 향상된 아키텍처, 점진적 학습 전략, 시간 피라미드(temporal-pyramid) 추론 메커니즘이 공동으로 UGC 플랫폼에서 접하는 넓은 콘텐츠 분포 전반에 걸쳐 임의 길이의 비디오에 대한 고충실도·시간적으로 일관된 복원을 가능하게 한다. LPM은 Kuaishou에 프로덕션으로 배포되었으며, 모델이 처리한 비디오는 전체 시청 시간의 약 45%를 차지하고 주요 체감 품질(quality-of-experience) 지표 전반에서 일관된 개선을 제공한다. 지각적 향상을 넘어 LPM은 상당한 시스템 수준의 이점도 제공한다. 동등한 지각 품질에서 Kuaishou 자체 코덱 대비 비트레이트를 20% 줄여, 연간 대역폭 비용을 수억 규모로 절감한다. 낮은 서빙 비용은 Kling과 같은 제품으로의 통합도 가능하게 하며, 생성형 복원이 대규모 비디오 처리에 실용적이고 확장 가능하며 비용 효율적일 수 있음을 보여준다.