PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02678v1cs.AI

교사 토큰을 필요한 곳에 집중하기: 성공 참조 온-정책 지식 증류

Spend Teacher Tokens Where They Matter: Success-Referenced On-Policy Distillation

온-정책(on-policy) 지식 증류(OPD)는 학생이 생성한 롤아웃(rollout)과 교사의 조밀한 토큰 수준 감독을 결합하지만, 모든 롤아웃에 이러한 감독을 제공하려면 상당한 교사 연산량이 요구됩니다. 본 연구에서는 교사의 감독을 받을 프롬프트(prompt)와 롤아웃을 선별함으로써 이러한 비용을 줄이는 성공 참조 온-정책 지식 증류(SR-OPD)를 소개합니다. 동일한 프롬프트에 대해 학생이 성공한 롤아웃과 실패한 롤아웃을 모두 생성할 때, 성공한 롤아웃은 실패한 롤아웃을 선별하는 자연스러운 기준점이 될 수 있습니다. 따라서 SR-OPD는 이러한 프롬프트에 집중하며, 추정된 교사 입력 비용을 고려하는 동시에 성공적인 참조로부터 은닉 상태 궤적(hidden-state trajectory)의 지속적인 발산(divergence)을 보이는 실패 롤아웃을 우선적으로 선택합니다. 3가지 교사-학생 쌍과 6가지 수학적 추론 벤치마크에 걸쳐, SR-OPD는 원-패스(one-pass) 설정에서 바닐라 OPD(Vanilla OPD)가 필요로 하는 교사 입력 토큰의 3.46~5.02%만을 사용하면서도 대등한 추론 성능을 유지합니다. 바닐라 OPD의 교사 입력 예산 5%에 맞춘 통제된 설정에서의 추가 실험은 성공과 실패 롤아웃을 모두 포함하는 프롬프트에 감독을 집중시키는 것과 성공한 롤아웃을 활용해 실패 선별을 유도하는 것 모두의 핵심 설계 선택을 뒷받침합니다. 이러한 결과는 고정된 교사 입력 예산 하에서 교사의 감독을 할당할 때 학생 자신의 성공적인 행동이 유용한 기준점이 될 수 있음을 보여줍니다.

arXiv:2607.11423v1cs.CL

ToFu: 연구자를 위한 화이트박스, 토큰 효율적 에이전트 하네스

ToFu: A White-Box, Token-Efficient Agent Harness for Researchers

에이전틱 코딩 도구는 연구 워크플로우를 혁신할 새로운 기회를 제공한다. 구축되는 에이전트 시스템의 성능은 대규모 언어 모델(LLM)과 LLM을 둘러싼 하네스, 즉 에이전트의 동작을 결정하는 오케스트레이션 코드 모두에 의존한다. 우리는 코드베이스를 읽고, 파일을 편집하며, 명령을 실행하고, 개발 도구와 통합되는 연구자용 에이전틱 하네스인 ToFu를 제안한다. ToFu는 연구에서 이중적 역할을 수행한다. 연구 보조자로서, 기존 에이전틱 하네스 대비 우수한 토큰 효율성, 낮은 비용, 다국어 지원 능력으로 실용적인 연구 워크플로우를 지원한다. MIT 라이선스 하의 공개는 개인정보 보호가 중요한 사용자를 위한 로컬 배포도 가능하게 한다. 연구 대상으로서, ToFu는 연구자가 오케스트레이션 로직, 도구 사용 동작, 하네스 설계를 검사·수정·평가할 수 있는 화이트박스 에이전틱 하네스를 제공하면서, 강력한 벤치마크 성능과 애플리케이션 수준의 사용자 경험을 유지한다.

arXiv:2607.10825v1cs.CL

토큰 효율적이고 의미 보존적인 의견 요약을 위한 대규모 언어 모델

Large Language Models for Token-Efficient and Semantic-Preserving Opinion Summarization

의견이 담긴 텍스트—제품 리뷰, 호텔 피드백, 소셜 게시물 등—는 사용자 경험, 선호도, 우려 사항에 관한 풍부한 신호를 담고 있다. 그러나 이러한 코퍼스의 규모, 중복성, 불균형으로 인해 의견을 효과적으로 분석하기 어려우며, 특히 표현된 관점의 다양성에 충실한 요약을 생성하는 것이 목표일 때 더욱 그러하다. 본 논문은 토큰(token) 사용량을 최소화하면서 LLM 기반 의견 요약에서 의미론을 보존하는 프레임워크를 제시한다. 우리는 다차원 분류(예: 감성, 주제)와 계층적 샘플링 전략 패밀리를 결합하여, LLM에 프롬프트를 제공하기 전에 간결하면서도 대표성 있는 의견 부분집합을 선택한다. 이후 맞춤형 프롬프트를 통해 의견에서 표현된 주요 측면(예: 제품·호텔의 강점과 약점)을 드러내는 균형 잡힌 요약을 생성한다. Amazon 제품 리뷰, Tripadvisor 호텔 리뷰, X/Twitter 게시물에 대한 실험에서 우리의 방법은 토큰 사용량과 계산 비용을 크게 절감하면서도 콘텐츠 커버리지, 균형성, 의미 보존 측면에서 전통적인 AI 기반 및 표준 LLM 요약 기준선을 일관되게 능가함을 보여준다.

arXiv:2607.09520v1cs.CV

보는 것은 공짜, 말하는 것은 그렇지 않다: 엣지 비전-언어 모델 추론의 진정한 에너지 병목 규명

Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference

비전-언어 모델(VLM)은 구현된 AI의 지각적 근간이지만, 엣지 하드웨어에서의 에너지 소비는 아직 충분히 이해되지 않고 있다. 기존의 효율화 연구들은 주로 시각 토큰 수 감소에 집중하며, 암묵적으로 시각 처리를 주요 에너지 비용으로 간주해 왔다. 본 연구는 온디바이스 VLM 추론에 대한 최초의 체계적 에너지 프로파일링을 통해 이 암묵적 가정을 뒤집는다. 프로파일링은 세 가지 아키텍처 계열에 걸친 다섯 개 모델, 네 가지 입력 해상도, 두 가지 하드웨어 플랫폼(NVIDIA RTX 3070 및 Jetson Orin NX)을 대상으로 수행되었다. 분석을 통해 세 가지 발견을 도출하였다. 첫째, 평균 추론 전력은 모델 고유의 상수로, 입력 해상도·이미지 복잡도·프롬프트 유형에 무관하게 전 조건에서 5% 미만의 변동을 보인다. 이는 입력에 따른 모든 에너지 변동이 전력 소비량의 차이가 아닌 추론 시간의 차이에서 비롯됨을 의미한다. 둘째, 프리필(prefill)과 디코딩(decode) 간의 연산 집약적·메모리 집약적 비대칭성으로 인해 출력 토큰 하나의 벽시계 시간(wall-clock time) 비용이 입력 토큰 하나보다 11배에서 39배 더 높으며, 이로 인해 출력 토큰 수가 지연 시간과 에너지 모두의 주요 결정 요인이 된다. 셋째, 이미지 내 객체 수로 측정한 이미지 복잡도는 동일한 해상도에서 최대 4.1배의 에너지 차이를 유발한다. 이 변동은 시각 처리 비용의 증가가 아닌 출력 길이의 차이에서 발생한다. 이러한 발견들은 시각 토큰 가지치기의 근본적인 한계를 드러낸다. 고정 토큰 모델에서는 모든 시각 토큰을 제거하더라도 총 에너지의 최대 10%만 절감된다. 10억에서 80억 파라미터에 이르는 모델에 걸쳐, 출력 길이를 제어하면 총 에너지의 최대 97%를 절감할 수 있으며, 디코딩의 에너지 지배력은 모델 규모가 커질수록 강해진다. 요컨대, 엣지 VLM 추론에서 진정한 에너지 병목은 모델이 무엇을 보는가가 아니라 얼마나 많이 말하는가에 있다.

arXiv:2607.08434v1cs.CV

DeltaV: 통합 대형 멀티모달 모델에서 시각적 상태 업데이트를 통한 추론

DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models

DeltaV는 기존 통합 대형 멀티모달 모델(ULMM)이 각 추론 단계마다 완전한 이미지를 생성하여 발생하는 시각적 토큰 중복 문제를 해결하기 위해, 이전 시각적 상태를 조건으로 변화 부분만 예측하는 컴팩트한 업데이트 토큰 방식과 변화량에 따라 토큰 예산을 동적으로 조절하는 TSIM Router를 제안한다. 44개 태스크 도메인 105만 샘플로 구성된 StructCoT 데이터셋으로 학습한 DeltaV-2B는 시각적 토큰을 평균 55.6% 절감하면서도 멀티모달 추론 성능에서 유사 규모의 Qwen3-VL-2B 대비 5.9% 향상을 달성했다.

arXiv:2607.05764v1cs.CL

주입할 것인가, 탐색할 것인가? 거래 법률 문서의 LLM 분석을 위한 토큰 효율적 검색

Inject or Navigate? Token-Efficient Retrieval for LLM Analysis of Transactional Legal Documents

거래 법률 문서 집합에 대한 질의응답 시 전체 코퍼스를 LLM 컨텍스트 윈도우에 주입하는 방식 대신, 구조 인식 청킹 기반의 임베딩 검색(NAVEMBED)과 압축 구조화 인덱스 탐색(NAVINDEX) 두 가지 검색 방식을 비교 평가했다. 20개 질문 벤치마크에서 NAVEMBED는 토큰을 최대 29.9배 줄이면서도 주입 방식과 동등한 품질을 유지했고, NAVINDEX는 답변 컨텍스트를 약 56배 압축하고 비용을 25% 절감하면서 전체 18개 문서 관련 질문에서 동률을 기록했다.

arXiv:2606.28361v1cs.IR

ConCise: Training-Free Conclusion-Chain State Compression for Cost-Efficient Multi-Step RAG Services

Multi-step retrieval-augmented generation (RAG) has been widely deployed as LLM-powered web services for complex question answering, where iterative retrieval-reasoning rounds deliver strong multi-hop accuracy. However, this paradigm causes historical documents and reasoning traces to accumulate across rounds, inflating cumulative input tokens approximately as $O(N^2)$ with progressively increasing noise density. In API-based service architectures, such growth directly amplifies per-request billing cost, network payload, and response latency. Existing compression approaches rely on pretrained modules or GPU-level KV cache access, introducing model hosting overhead incompatible with API-native, Serverless, and edge-side deployments. To address this issue, this paper proposes ConCise, a training-free state-layer protocol that restructures cross-round context transmission for multi-step RAG services. Specifically, ConCise replaces raw-text accumulation with an append-only chain of structured conclusions, compressing cumulative context growth from $O(N^2)$ to approximately $O(N)$. Furthermore, a fused generation mechanism is introduced to jointly emit reasoning and conclusions in a single API call, eliminating repeated input billing from serial dual-invocation overhead. Extensive experiments across twelve paired configurations spanning three models, two datasets, and two representative frameworks demonstrate that ConCise achieves 64.63\% average token savings while maintaining acceptable accuracy, providing a plug-and-play, deployment-friendly solution for cost-efficient multi-step RAG service optimization.