PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28064v1cs.AI

SlackDrive: 적응형 주행 추론을 위한 런타임 슬랙 회수

SlackDrive: Reclaiming Runtime Slack for Adaptive Driving Inference

주행 world-action 모델은 다중모달 추론과 미래 예측을 결합해 계획(planning)을 개선하지만, 커지는 추론 비용은 차량 제어의 실시간 지연(latency) 요구와 점점 더 충돌한다. 기존 가속 방법은 배포 전에 선택된 정책으로 토큰, 레이어, 또는 샘플링 단계를 줄이지만, 공유 온보드 컴퓨트에서 오프라인 프로파일링과 정적 스케줄링 이후 잔여 런타임 변동은 대부분 활용하지 못한다. 우리는 허용 가능한 최대 컴퓨트 예산이 잔여 런타임 상태에 따라 체계적으로 달라지며, 최근 실현 지연(latency)이 가용 컴퓨트 슬랙(slack)에 대한 직접적인 신호를 제공함을 관찰한다. 이 관찰에 기반해, 우리는 실현 지연을 재사용하여 모델 실행 전 각 제어 단계의 컴퓨트 예산을 고르는 추론 전(pre-inference) 컴퓨트 할당기 SlackDrive를 제안한다. SlackDrive는 작은 이산 예산 집합에 대한 지연과 계획(planning) 유틸리티를 한 번 프로파일링하고, 완료된 forward로부터 온라인 컴퓨트 상태를 추정하며, 허용 가능한 지연(latency) envelope 안에 남을 것으로 예측되는 최고 유틸리티 예산을 선택해 주행 백본과 그 컴퓨트 액추에이터는 유지한 채 기존 프로파일링 및 리소스 스케줄링을 보완한다. NAVSIM v2에서 DriveDreamer-Policy와 함께 평가할 때 SlackDrive는 엄격한 지연 체제 하에서 최강 기준선 대비 지연 제약 EPDMS를 21.7% 개선했으며, 전체 예산 모델과 사전 구성된 토큰 가지치기 기준선은 런타임 경합 하에서 허용 가능한 지연 envelope를 초과했다.

arXiv:2607.20357v1cs.CV

적게 보고, 빠르게 생각: 멀티모달 LLM의 토큰-연산 공동 적응

Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs

멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)은 최근 비전-언어(vision-language) 태스크 전반에서 우수한 성능을 보여주었다. 그러나 많은 입력 시각 토큰과 대규모 언어 모델(Large Language Model, LLM)의 무거운 연산으로 인한 높은 추론 비용은 실용적 배포의 핵심 장벽으로 남아 있다. 최근 연구는 예를 들어 중복 시각 토큰의 가지치기나 LLM 레이어 및 헤드 건너뛰기처럼 개별 차원을 적응적으로 최적화하여 비용을 줄이려 시도한다. 그럼에도 기존 접근법은 이러한 차원들을 독립적으로 다루는 경우가 많으며, 입력 내용에 따라 가용 연산 자원을 모든 차원에 걸쳐 동적으로 배분해야 한다는 근본적인 결합 관계를 간과한다. 이 간극을 메우기 위해, 우리는 변화하는 입력 내용과 연산 예산에 대응하여 시각 토큰 수와 모델 연산 능력을 공동으로 제어하는 통합 적응형 추론 프레임워크 SmartVL을 제안한다. SmartVL은 정보가 풍부한 시각 토큰을 동적으로 선택하는 비전 측 토큰 컨트롤러와 LLM 연산을 적응적으로 조절하는 LLM 측 연산 컨트롤러를 도입한다. 중요한 점은, 이 컨트롤러들이 서로 협조하도록 학습되어 전체 추론 비용이 목표 예산을 만족하도록 한다는 것이다. 이러한 공동 스케줄링을 가능하게 하기 위해, 공유 예산 인코딩으로 컨트롤러들을 연결하고 미분 가능한 지연(latency) 추정기를 활용하여 end-to-end 학습을 수행한다. 이 설계를 통해 SmartVL은 입력 복잡도와 런타임 연산 제약 모두에 적응하는 단계 간 할당 전략을 학습할 수 있다. 여러 MLLM 벤치마크에 걸친 실험은 공동 스케줄링을 통해 SmartVL이 기존 적응형 방법들을 일관되게 능가하며 더 우수한 정확도-효율 파레토 프론티어를 달성함을 보여준다. 프로젝트 페이지: https://www.schaterji.io/publications/2026/jointtokencompute.

arXiv:2607.02612v1cs.CV

Fusion: 비전 트랜스포머에서의 통합 순차적 토큰 적응 프레임워크

Fusion: A Framework for Unified Sequential Token AdaptatIon in VisiOn TraNsformers

비전 트랜스포머(Vision Transformer)는 높은 이미지 분류 정확도를 달성하지만, 많은 영역이 중복되거나 정보가 없는 경우에도 거의 동일한 연산량으로 모든 이미지 영역을 처리합니다. 최근의 적응형 추론 기법들은 토큰을 선택적으로 압축하거나 추론을 조기에 종료함으로써 이러한 비용을 줄이지만, 두 메커니즘을 결합하면 중간 표현이 불안정해지고 정확도가 저하되는 경우가 많습니다. 우리는 토큰 병합, 조기 종료, 토큰 가지치기를 단순한 단계적 설계를 통해 조율하는 통합 적응형 추론 프레임워크인 Fusion을 제안합니다. 구체적으로, 먼저 토큰을 병합하고, 다음으로 신뢰도를 평가하며, 가지치기는 추론을 계속하는 샘플에만 적용됩니다. 이러한 순서를 통해 세 가지 메커니즘이 경쟁하지 않고 협력적으로 동작합니다. Fusion은 또한 각 입력에 따라 압축 강도를 적응적으로 조절하고, 재학습 없이 추론 시점에 정확도-지연 시간 트레이드오프를 조정할 수 있는 경량 라우팅 모듈을 포함합니다. DeiT-S를 사용한 ImageNet-1k 실험에서 Fusion은 유사한 연산 예산에서 최신 적응형 ViT 기법들과 동등하거나 이를 능가하면서 캘리브레이션 오차를 최대 4배 줄이고 추론 에너지를 48% 감소시킵니다. ImageNet-100, CIFAR-100, ImageNette에서 다양한 ViT 백본으로 수행한 실험은 데이터셋별 튜닝 없이도 일관된 전이 가능성을 보여줍니다.

arXiv:2607.00780v1cs.CV

SpiralFovea: 자원 적응형 추론의 세 번째 레버로서의 입력 적응형 포비에이티드 토큰화

SpiralFovea: Input-Adaptive Foveated Tokenization as a Third Lever of Resource-Adaptive Inference

SpiralFovea는 파운데이션 모델의 적응형 추론에서 기존 아키텍처·어텐션 조정에 이어 세 번째 레버인 입력 토큰 집합 자체를 제어하는 파라미터 없는(parameter-free) 입력 적응형 토크나이저로, 백본 실행 전에 지역 시각적 엔트로피를 기반으로 콘텐츠 중심 핫스팟 주변에 다중 스케일 나선형 링 패치(≤78개)를 배치한다. 네 가지 세밀 분류(fine-grained) 벤치마크에서 표준 196-패치 ViT 대비 입력 토큰 60%, 셀프-어텐션 FLOPs 84% 절감과 함께 정확도 +1.7~2.1 pp 향상 및 처리량 18~29% 개선을 달성하며, 자기지도 학습(self-supervised) 파운데이션 모델에서 효과가 가장 두드러짐을 보인다.

arXiv:2602.01070v5cs.CL

What If We Allocate Test-Time Compute Adaptively?

추론 시간 연산(test-time compute)을 문제별로 적응적으로 배분하기 위해, 과정 보상 모델(PRM)이 단계별 점수를 통해 추론 도구 선택·탐색 전략·궤적 생성을 동적으로 제어하는 검증자 유도 프레임워크를 제안한다. MATH-500, AIME24, AMO-Bench 등의 벤치마크에서 고정된 테스트 타임 스케일링 방식 대비 일관되게 높은 정확도를 달성하면서, 계산 집약도 지표를 통해 불필요한 연산을 줄이고 고효용 추론 경로에 연산을 집중시킴을 실증하였다.

arXiv:2606.27743v1cs.IR

자원 적응형 LLM 추론을 위한 엔드-투-엔드 동적 희소성

End-to-End Dynamic Sparsity for Resource-Adaptive LLM Inference

대규모 언어 모델(LLM) 추론은 일반적으로 정적 자원 가정 하에 배포되며, 모델은 런타임 환경과 관계없이 고정된 계산 그래프를 실행한다. 그러나 실제 클라우드 인프라는 본질적으로 동적이며, 변동하는 가용성(예: 스팟 인스턴스 선점)과 계층화된 서비스 품질(QoS) 요구사항이 특징이다. 이러한 불안정한 환경에서 정적 모델은 유연하지 못하다: 자원 제약 하에서는 실패하거나, 중복 연산에 컴퓨팅을 낭비한다. 이 격차를 메우기 위해, 우리는 자원 적응형 추론을 위한 엔드-투-엔드 프레임워크인 Learning to Allocate(L2A)를 제안한다. 입력 난이도에만 조건을 거는 기존 방법과 달리, 우리는 추론을 입력과 런타임 자원 예산 자체 모두에 조건을 거는 제약 할당 문제로 공식화한다. 우리는 LLM에 통합된 경량의 예산 조건형 및 입력 인지 게이팅 네트워크를 도입한다. 이 게이트는 실제 동적 특성이 나타나는 방식에 맞춘 세 축—메모리 및 깊이 압력을 위한 층 건너뛰기, 처리량 경합을 위한 헤드 가지치기, 지연 시간 제약 강화를 위한 추론 토큰 감소—을 따라 작업 성능, 논리적 일관성, 자원 비용을 공동 최적화하는 통합 목적 함수를 통해 학습된다. 이를 통해 모델은 입력 난이도를 넘어 예산 인지 정책을 학습한다: 실시간 자원 동역학에 맞춰 계산 풋프린트를 적응적으로 구성하며, 자원이 허용할 때 추론 깊이를 최대화하고 예산이 줄어들면 엄격한 절약을 강제한다. 단일 L2A 모델은 Llama-3-8B 및 Qwen-3-4B에서 전체 연산-정확도 파레토 프론티어를 추적한다: 최대 34%의 실현 층 희소성에서 GSM8K에서 밀집 기준선 대비 0.6% 이내를 유지하며, 분포 외(out-of-distribution) 작업에서도 제로샷으로 동일한 격차가 유지되는 한편, 모든 정적 또는 휴리스틱 기준선은 별도로 튜닝된 모델을 필요로 하며 비슷한 추론 시간에서도 5-10% 하락한다.

arXiv:2602.06014v2cs.LG

Optimism Stabilizes Thompson Sampling for Adaptive Inference

톰슨 샘플링(TS)은 확률적 다중 슬롯머신(multi-armed bandit) 문제에 널리 활용되지만, 적응적 데이터 수집 환경에서의 추론 특성은 미묘하다. 표본 평균에 대한 고전적 점근 이론은 각 팔(arm)별 표본 크기가 확률적이며 행동 선택 규칙을 통해 보상과 결합되어 있기 때문에 실패할 수 있다. 본 연구에서는 독립적인 준가우시안(sub-Gaussian) 보상 잡음을 갖는 $K$-팔 확률적 다중 슬롯머신에서 가우시안 무작위 인덱스를 사용하는 톰슨 샘플링의 적응적 추론을 연구하고, 각 팔의 선택 횟수가 결정론적 척도 주변에 집중되는 \emph{안정성}을 회복하는 핵심 메커니즘으로 \emph{낙관주의(optimism)}를 규명한다. 이 안정성은 적응적 샘플링에도 불구하고 점근적으로 유효한 왈드(Wald) 추론을 가능하게 한다. 첫째, 여러 팔이 최적인 도전적인 체제를 포함하여 임의의 $K \ge 2$에 대해 분산 팽창 TS가 안정적임을 증명하며, 최적 팔들에 대한 점근적으로 균일한 할당과 준최적 팔들에 대한 날카로운 로그 선택 횟수 점근론을 도출한다. 이는 새로운 승자 맵(winner-map) 및 리아푸노프 드리프트(Lyapunov-drift) 기법을 활용하여 여러 최적 팔 간의 할당을 제어함으로써 \citet{halder2025stable}이 제기한 $K$-팔 확장 문제를 해결한다. 둘째, 가우시안 인덱스 분산은 유지하되 인덱스 중심에 명시적인 평균 보너스를 추가하는 대안적인 낙관적 수정을 분석하고, 유사한 안정성 결론을 도출한다. 요약하면, 적절하게 구현된 낙관주의는 톰슨 샘플링을 안정화하고 다중 슬롯머신 문제에서 점근적으로 유효한 왈드 추론을 가능하게 하며, 단지 완만한 추가적인 후회(regret) 비용만을 수반한다.