PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12236v1cs.LG

메모리를 활용한 투기 실행: LLM 에이전트의 무손실 가속

Speculate with Memory: Lossless Acceleration for LLM Agents

투기 실행(speculative execution)은 환경이 유휴 상태일 때 더 작고 비용이 적은 모델을 사용해 다음 단계를 예측하고 선행 실행함으로써 LLM 에이전트를 가속한다. 그러나 기존 투기기(speculator)는 상태를 유지하지 않으며 작업 간 모든 정보를 폐기하므로, 경험이 쌓여도 예측 품질이 개선되지 않는다. 우리는 과거 에이전트 궤적에서 학습하는 세 가지 온라인 메모리 시스템을 투기기에 장착한다: 행동 시퀀스 통계를 추적하는 대조 전이 표(contrastive transition table), 문맥적으로 유사한 구간을 검색하는 에피소드 메모리(episodic memory), 반복 오류를 억제하는 혼동 추적기(confusion tracker). 이 접근법을 행동 예측, 관찰 예측, 연쇄 예측의 세 가지 투기 유형을 아우르는 여섯 개의 벤치마크에서 평가한다. 메모리가 증강된 투기는 행동 예측에서 19–39%의 상대적 정확도 향상을 달성하며, 반복적인 행동 공간을 가진 관찰 예측 작업에서는 최대 2.5배의 향상을 보인다. 이러한 이득은 메모리가 축적될수록 지속적으로 커지며, 비용이 다른 다양한 투기기 모델에 걸쳐 일반화된다. 모든 투기는 유휴 시간 동안 실행되어 추가 벽시계(wall-clock) 비용이 0이기 때문에 무손실이며, 액터(actor)의 궤적은 비투기 실행과 동일하다.

arXiv:2606.30389v1cs.LG

예측, 재사용, 수정: 장문 컨텍스트 LLM 디코딩을 위한 동적 희소 어텐션 가속화

Predict, Reuse, and Repair: Accelerating Dynamic Sparse Attention for Long-Context LLM Decoding

동적 희소 어텐션(DSA)의 선택-어텐션 직렬 의존성으로 인한 디코딩 지연 문제를 해결하기 위해, PRR은 EMA 기반 예측기로 KV 블록을 사전 추측하고 선택과 병렬로 어텐션을 수행한 뒤 누락된 블록만 온라인 소프트맥스 기반 FlashAttention 커널로 점진적으로 수정한다. LongBench, RULER 등 장문 컨텍스트 벤치마크에서 Quest 대비 1.42×, InfLLM-v2 대비 1.56× 속도 향상을 달성하면서도 다운스트림 태스크 정확도를 유지했다.