We identify an empirical inference-compute frontier for limit order book prediction on FI-2010. A power law fitted to low- and mid-compute models extrapolates to an excluded MLPLOB-style mixer family whose work is $56$--$2{,}515$ times the largest budget in the corresponding fit. Across nine folds and five horizons, pooled $R^2$ is $0.934$ on the realized target frontier, with 59\% lower RMSE than constant endpoint extrapolation, and $0.731$ on all excluded operating points. Measured latency gives a weaker relationship and reorders model families. We therefore design FastBiNLOB to pack computation into dense temporal and feature mixing. H120 exceeds the published state-of-the-art macro-F1 on two of four horizons in every one of five seeds. Under our CPU/MPS protocol, H96 reduces median latency by 23.6\% relative to the W128 MLPLOB reference, and H120 by 60.2\% relative to a TLOB-inspired dual-axis attention reference.
중간 추론 과정에서 텍스트와 시각적 단계를 함께 생성하는 인터리브드 추론 방식의 통합 멀티모달 모델(UMM)은 시각적 수학적 추론 태스크에서 큰 잠재력을 보여왔다. 그러나 이 패러다임에서 중요한 통찰을 발견하였다: 중간 시각적 추론 단계를 생성하는 것이 항상 유익하지는 않으며, 오히려 해로울 수 있다. 자체 생성된 시각적 단계가 잘못된 시각적 증거를 도입하여 이후 추론을 오도할 수 있기 때문이다. 또한, 추론 중 시각적 단계를 빈번하게 트리거하면 상당한 연산 및 메모리 오버헤드가 발생하여 추론 효율성이 저하된다. 이러한 정확도 및 효율성 문제를 해결하기 위해, 모델의 내부 신호가 전체 시각적 생성이 완료되기 전에 시각적 단계가 추론에 도움이 될지 여부를 나타낼 수 있음을 발견하였다. 구체적으로, 본 연구는 두 가지 내부 신호를 식별한다: 1) 생성 의도(Generation Intent)—모델이 무엇을 그릴지에 대한 구체적인 텍스트 계획을 가지고 있는지 반영하는 신호, 2) 시각적 충실도(Visual Fidelity)—시각적 생성이 원본 입력 이미지에 그라운딩된 상태를 유지하는지 측정하는 신호. 이러한 내부 신호를 활용하여, 통합 멀티모달 추론을 위한 학습 불필요(training-free) 적응형 시각 게이팅 방법인 AdaViG를 제안한다. AdaViG는 트리거된 각 시각적 단계를 초기 시각 생성 단계에서 동적으로 평가하고, 두 신호가 모두 약할 때 해당 단계를 중단함으로써, 오해를 일으키는 시각적 증거가 추론 과정에 유입되는 것을 방지하는 동시에 불필요한 연산을 회피한다. 종합적인 실험을 통해 AdaViG가 정확도를 최대 5.7% 향상시키면서 시각적 생성 FLOPs를 25.0%–91.0%, 실제 지연 시간(wall-clock latency)을 15.4%–45.6% 감소시킴을 입증한다.
대규모 언어 모델(LLM)에서의 효율적인 추론은 모델 품질을 유지하면서 연산을 줄일 수 있는 지점을 결정하는 것을 필요로 한다. 우리는 다층 퍼셉트론(MLP) 활성화 희소화와 토큰 수준의 조건부 라우팅을 통해 이 문제를 연구한다. 먼저, 활성화 백분위수로부터 임계값을 직접 보정하는 대신 지역적 MLP 출력 민감도 프록시를 사용하여 층별 게이트 임계값을 선택하는 임계값 보정 방법인 희소성을 위한 민감도 인식 임계값 설정(SATS)을 제안한다. SATS는 게이트 활성화에 임계값을 적용해 MLP 활성화를 희소화하는 기존 메커니즘을 유지하면서, 백분위수 기반 보정을 민감도 인식 선택 규칙으로 대체한다. 이어서, 수정된 연산을 모든 토큰에 균일하게 적용하는 대신 토큰별로 기본 경로와 수정된 경로를 동적으로 선택하는 경량 토큰 라우팅 프레임워크를 제시한다. 두 방법을 최근의 여러 오픈 가중치 LLM에서 평가한 결과, SATS는 동일한 실제 희소성에서 임계값 기반 희소화 기준선보다 성능이 향상되며, 토큰 라우팅은 정적 활성화 수정 기준선보다 더 유리한 품질-처리량 트레이드오프를 나타냄을 확인하였다. 전반적으로, 본 연구의 결과는 개선된 임계값 보정과 토큰 라우팅이 LLM의 품질-처리량 트레이드오프를 향상시킬 수 있음을 시사한다.
LLM 추론 워크로드의 에너지 소비 최적화를 위해, WattGPU는 하드웨어 프로파일링 없이 공개된 LLM 메타데이터와 GPU 사양만으로 GPU 평균 전력 소비와 토큰 간 지연(ITL)을 예측하는 두 가지 회귀 모델을 제안한다. 42개의 오픈소스 LLM과 8개의 GPU에 대한 교차 검증에서 전력 예측 오차 ≤3.4%(오프라인), 지연 예측 오차 ≤8.5%(서버)를 달성하며 기존 물리 기반 베이스라인 대비 약 4배 향상된 성능을 보였다.
Chain-of-Thought (CoT) reasoning enhances the problem-solving ability of large language models (LLMs) but leads to substantial inference overhead, limiting deployment in resource-constrained settings. This paper investigates efficient CoT transfer across models of different scales and architectures through an adaptive reasoning summarization framework. The proposed method compresses reasoning traces via semantic segmentation with importance scoring, budget-aware dynamic compression, and coherence reconstruction, preserving critical reasoning steps while significantly reducing token usage. Experiments on 7{,}501 medical examination questions across 10 specialties show up to 40% higher accuracy than truncation under the same token budgets. Evaluations on 64 model pairs from eight LLMs (1.5B-32B parameters, including DeepSeek-R1 and Qwen3) confirm strong cross-model transferability. Furthermore, a Gaussian Process-based Bayesian optimization module reduces evaluation cost by 84% and reveals a power-law relationship between model size and cross-domain robustness. These results demonstrate that reasoning summarization provides a practical path toward efficient CoT transfer, enabling advanced reasoning under tight computational constraints. Code will be released upon publication.
대규모 언어 모델(LLM)의 규모가 커지면서 효율적인 추론이 어려워지고 있으며, 이는 주로 자기회귀(autoregressive) Key-Value(KV) 캐시의 메모리 요구 때문이다. 기존의 제거(eviction) 또는 압축(compression) 방법은 비용을 줄이지만, 최근성(recency)이나 과거 어텐션 점수와 같은 휴리스틱에 의존하며, 이는 토큰의 미래 유용성에 대한 간접적인 대리 지표일 뿐이고 계산 오버헤드를 유발한다. 우리는 KV 캐시 제거를 강화학습(RL) 문제로 재정의한다: 미래 디코딩에 대한 예측 유용성에 따라 토큰을 순위화하는 것을 학습하는 것이다. 이를 위해 우리는 KV Policy(KVP)를 제안한다. 이는 key와 value 벡터만을 사용하여 사전 계산된 생성 trace에 대해 학습된 경량 per-head RL 에이전트들의 프레임워크이다. 각 에이전트는 미래 유용성에서 파생된 전체적(holistic) 보상의 안내를 받아, 모든 캐시 예산에 걸친 순위화 품질을 평가하는 특화된 제거 정책을 학습하며, 기본 LLM의 수정이나 추가 추론을 필요로 하지 않는다. KVP는 장문맥 벤치마크 RULER(최대 128K 토큰)와 다중 턴 대화 벤치마크 OASST2-4k에서 두 모델 계열에 걸쳐 평가되었으며, 강력한 baseline들을 크게 능가한다. BoolQ, LongBench passage retrieval, GovReport 등 표준 다운스트림 태스크에 대한 제로샷(zero-shot) 테스트는 KVP가 학습 분포를 넘어 상당히 더 긴 시퀀스 길이로도 일반화됨을 추가로 보여준다. 이 결과들은 미래 토큰 유용성을 예측하는 학습이 적응형 KV 캐시 관리를 위한 강력하고 확장 가능한 패러다임임을 보여준다.
Quantization is widely used to reduce the inference cost of large language models, but its effect on reasoning models is not fully captured by final-answer accuracy or per-token latency. We show that low-bit post-training quantization can introduce a hidden test-time compute cost: quantized reasoning models often generate longer chains of thought even when they still answer correctly. Across mathematical reasoning, code generation, scientific question answering, and agentic tool-use benchmarks, we find that INT4/INT3 quantization can preserve accuracy but increase reasoning-token usage, offsetting the expected per-token speedup. To measure this effect, we introduce the CoT Token Inflation Ratio, which compares reasoning length between quantized and full-precision models averaged across all evaluation benchmarks. We further show that token inflation is accompanied by behavioral changes in the reasoning trace, including more intermediate steps and greater semantic repetition. These changes translate into measurable end-to-end real-world serving penalties. Finally, we evaluate mitigation strategies and find that prompting and decoding-time sampling offer inconsistent accuracy-length trade-offs, while quantization-aware training shows more promise in reducing both accuracy degradation and token inflation. Our results suggest that reasoning-token usage should be reported alongside accuracy when evaluating quantized reasoning models.
접두 문맥(prefix) 캐싱은 정확히 동일한 접두 문맥에서만 prefill을 재사용하므로, 하나의 필드가 바뀌면 그 아래 전체 캐시가 무효화된다. 그러나 해당 필드 자체의 key/value 벡터만 덮어쓰고 나머지를 재사용하면, 모델은 여전히 이전 값에 따라 동작한다. 이유는 네 가지 모델 패밀리에 걸쳐 인과적으로 규명되었다: prefill 단계에서 모델은 이미 필드 조건 결론을 하류 노트에 기록했으며, 해당 필드 자체의 key/value는 결정의 1% 미만만 좌우한다. 메모이제이션된 결론의 노트북으로 읽으면, 두 가지 능력이 뒤따른다. (1) 편집 가능하다. 눈에 띄는 정정(erratum)이 노트를 수정하며, 사고의 연쇄(Chain-of-Thought)와 함께라면 필드만 편집해도 결정을 복구한다(8B에서 1.00, 연산량 ~1%), CoT 없이는 무시된다. (2) 조합 가능하다. 노트는 위치 이식이 가능하므로, 사전 컴파일된 스킬을 RoPE로 재배치하여 임의의 컨텍스트에 이어 붙일 수 있으며, 전체 재계산과 구별되지 않는다(로짓 코사인 0.90–0.999, 12개 모델), time-to-first-token은 O(L²)이 아닌 O(L)이다. 통합 편집+조합 에이전트는 최대 14.9배 낮은 지연 시간으로 재계산과 결정상 동일하게 유지된다. 이 접근법은 토큰별 어텐션 KV cache에 적용 가능하며, 스케일, 양자화, 전문가 혼합(MoE), 멀티모달 캐시에 걸쳐 검증되었고, 소형 어댑터를 통해 여러 어텐션 변형으로 확장된다. 정정은 append-only이므로 프로덕션 접두 문맥 캐싱과 조합된다: 온라인 vLLM 벤치마크에서 접두 문맥 캐시를 정렬 상태로 유지(히트율 98.5%)하며, p90 time-to-first-token을 53–398배 단축한다.