PyTorchKR Papers

최신 논문

총 16편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27380v1cs.CL

MORSE: 증거 보존 압축을 위한 역방향 스코어링 기반 다중 컨텍스트 순서 결정

MORSE: Multi-Context Ordering via Reverse Scoring for Evidence-Preserving Compression

가능도(likelihood) 기반 컨텍스트 압축은 순차적 스코어링을 통해 컨텍스트 간 중복을 고려할 수 있지만, 이로 인해 압축 결과가 컨텍스트 순서에 민감해진다. 본 논문은 동일한 컨텍스트 모음의 서로 다른 순열이 압축기를 변경하지 않아도 증거 보존 결과에서 뚜렷한 차이를 만들 수 있음을 보인다. 우리는 이러한 민감성을 정보 선점(information preemption)으로 설명한다. 즉, 부분적으로만 관련된 앞선 컨텍스트가 공유된 정보에 대한 기여도를 흡수하여, 더 강력한 증거를 담고 있는 뒤쪽 컨텍스트의 증분 점수를 억제하고 그 컨텍스트가 제거될 위험을 높인다. 통제된 쌍 교환(pair-swap) 개입 실험은 증거를 앞에 두는 순서가 뒷받침 증거의 생존율을 크게 향상시킴을 보여 이 메커니즘을 직접적으로 뒷받침한다. 이 문제를 해결하기 위해 우리는 증거 보존을 위한 압축 인지형 컨텍스트 순서 결정 방법인 MORSE를 제안한다. MORSE는 개별 컨텍스트와 압축된 후보 출력 모두에 공통의 역방향 쿼리-증거 원리를 적용하여, 전자로는 증거 우선 앵커를 구성하고 후자로는 압축 인지형 순열 선택을 안내한다. 멀티홉 QA 벤치마크, 압축 절차, 예산, 스코어링 모델 전반에서 MORSE는 정적 역순 정렬과 연산량을 맞춘 무작위 탐색보다 일관되게 증거 보존을 향상시켰으며, 이에 상응하여 다운스트림 QA 성능도 전반적으로 개선되었다. 코드는 https://github.com/tbn5pj/MORSE_code 에서 확인할 수 있다.

arXiv:2603.09222v2cs.CL

EnComp: 검색-증강 질의응답을 위한 경량 인코더 전용 컨텍스트 압축

EnComp: Lightweight Encoder-Only Context Compression for Retrieval-Augmented Question Answering

효율적인 컨텍스트 압축은 자원이 제한된 환경의 검색-증강 질의응답에서 매우 중요하다. 이러한 환경에서는 검색된 긴 컨텍스트가 지연 시간, 메모리 사용량, 그리고 LLM 리더(reader)의 비용을 증가시키기 때문이다. 본 논문에서는 질의 기반 문장 가지치기(pruning)를 위한 경량 인코더 전용 프레임워크를 제안하며, 이 프레임워크는 정답에 결정적인 근거는 보존하면서 관련 없는 컨텍스트는 적극적으로 줄인다. 제안 방법은 반사실적(counterfactual) 학습 신호를 사용하여 각 문장의 한계 기여도(marginal contribution) 점수를 학습하고, 핵심 근거와 비핵심 컨텍스트를 분리하는 대조적 순위 목적 함수(contrastive ranking objective)를 최적화한다. 또한 본 접근법은 단일한 전체 컨텍스트 인코딩으로부터 모든 문장의 점수를 계산하므로, 낮은 계산 오버헤드로 빠른 추론이 가능하다. 실험 결과, 제안 방법은 가장 강력한 기준선(baseline)과 비슷한 정확도를 유지하면서도 최대 메모리 사용량은 3.7$\times$ 적게 사용하고 압축 지연 시간은 거의 3$\times$ 낮추어, 자원이 제한된 실제 환경에 배포하기에 효과적인 품질-효율 간 절충을 보여준다.

arXiv:2609.27332v1cs.AI

발산하는 과제 증거와 안정적 기하를 활용한 효율적 장기 에이전트 압축

Stable Geometry with Divergent Task Evidence for Efficient Long-Horizon Agent Compression

장기 에이전트는 상호작용 기록이 누적되면서 컨텍스트와 추론 비용이 커진다. 기하학적 중복만으로는 안전한 압축의 기준이 되기에 불충분함을 확인했다. 에이전트 기록은 강한 저차원 구조를 보이지만, 유사한 전역 기하가 매우 다른 양의 과제 증거(task evidence)를 보존할 수 있다. 동일한 보존 블록 수에서 증거 인식(evidence-aware) 선택은 다음 행동 Top 3 보존률을 0.31에서 0.69로 높이는 반면, centroid 유사도는 0.98로 유지된다. 통제된 대체 실험은 전역 기하 측정치가 거의 변하지 않은 채 행동 관련 정보가 상당히 바뀔 수 있음을 추가로 보여준다. 기하와 증거 사이의 이러한 간극에 착안하여, 과제 및 실행 증거를 먼저 보호한 뒤 기하 잔차로 커버리지를 완성하는 학습 불필요(training-free) 압축기 Geometry Guided Evidence Preserving Memory(GEM)를 제안한다. GEM은 과제당 평균 결합 토큰 사용량을 2.69M에서 2.11M으로 줄여 21.4% 감소시키면서, 유사한 수준의 과제 보상을 유지한다. 결과는 효율적인 에이전트 기록 압축이 기하 커버리지만이 아니라 보존된 과제 증거를 최적화해야 함을 보여준다.

arXiv:2609.27298v1cs.AI

StateComp: 장기 에이전트에서 과거 기록을 언제 압축할지 학습

StateComp: Learning When to Compress History in Long Horizon Agents

장기 에이전트는 과업 수행 중 상호작용 기록을 지속적으로 축적하지만, 에이전트 상태가 변함에 따라 과거 상호작용의 중요도는 달라진다. 기존 컨텍스트 관리 방법은 대부분 고정 윈도우, 주기적 스케줄, 또는 현재 관련성에 따라 기록을 압축하여, 더 근본적인 질문인 ‘과거 상호작용을 안전하게 대체할 수 있는 시점은 언제인가’를 간과한다. 성급한 압축은 미래 행동에 여전히 필요한 정보를 제거할 수 있고, 지나치게 보수적인 보존은 상당한 컨텍스트 오버헤드를 초래한다. 이를 위해 우리는 현재 에이전트 상태에 따라 과거 상호작용을 언제 안전하게 압축할 수 있는지 판단하는 프레임워크인 상태 조건 압축(State Conditioned Compression, StateComp)을 제안한다. StateComp는 2단계 어노테이션 절차로 KEEP 및 READY 지도(supervision)를 구성하고, 동결된 언어 모odel의 은닉 표현 위에서 불균형 인식(imbalance-aware) 라우터를 학습한다. 유계(bounded) 상태 표현은 긴 기록 평가 비용을 더 줄이며, 인접한 READY 상호작용은 연속 구간으로 묶여 실행 중 간결한 요약으로 대체된다. WorkBuddyBench 실험에서 StateComp는 과업 성능을 유지하면서 에이전트 및 요약 토큰 총량을 52.27% 줄였고, 표현 추출에서 12.67배 속도 향상을 달성했다.

arXiv:2609.27286v1cs.AI

장기 호라izon 에이전트에서 행동 전에 형성되는 메모리 제어 신호

Memory Control Signals Emerge Before Action in Long Horizon Agents

장기 호라izon 언어 모델 에이전트는 상호작용 기록을 계속 축적하면서 계산 비용이 커지고, 관련 정보를 보존·재사용하기도 어려워진다. 기존 컨텍스트 관리 방법은 주로 기록을 압축하거나 검색하는 데 초점을 두지만, 메모리 연산이 일어나기 전에 모델 자체가 그 필요성을 이미 내부적으로 표현하는지는 대체로 밝히지 않았다. 우리는 각 에이전트 행동 직전의 은닉 상태를 분석한 결과, 압축과 회상(기억 인출) 필요성이 이미 모델의 내부 표현에 인코딩되어 있음을 보였다. 이러한 신호는 단순한 컨텍스트 길이나 상호작용 진행만으로는 설명되지 않으며, 모델 깊이에 따라 서로 다른 형성 패턴을 보인다. 또한 대부분의 메모리 결정 정보는 압축된 최근 컨텍스트에 남아 있고, 선택적으로 복원한 과거 근거가 최근 컨텍스트가 놓치는 장거리 의존성을 보완함을 보였다. 이에 따라 상태 기반 압축과 외부 근거 검색을 결합한 Preaction Memory with Evidence Retrieval(PaMER)을 제안한다. PaMER+는 현재 과제에 필요한 과거 정보만 되살리기 위한 단계(step) 수준 근거 선택을 추가한다. WorkBuddyBench에서 여러 컨텍스트 관리 베이스라인과 모델 백본에 대한 실험 결과, 본 프레임워크는 과제 성능을 경쟁력 있게 유지하면서 컨텍스트 소비를 크게 줄였다.

arXiv:2606.08151v4cs.AI

의사결정 인식 메모리 카드: 도구 사용 LLM 에이전트를 위한 반사실 영감 컨텍스트 선택 및 압축

Decision-Aware Memory Cards: Counterfactual-Inspired Context Selection and Compression for Tool-Using LLM Agents

현대의 대규모 언어 모델(LLM) 에이전트는 단순히 더 긴 컨텍스트가 필요한 것이 아니라, 행동 시점에 의사결정과 관련된 근거가 필요하다. 우리는 의사결정 인식 컨텍스트 선택을 연구한다. 검색된 파일, 테스트, 트레이스, 규칙, 메모리를 의미적 유사도만이 아니라 에이전트의 다음 행동에 대한 기대 효과로 순위를 매긴다. 우리는 반사실 영감 컨텍스트 층(CICL)을 제안한다. CICL은 인스턴스 컨텍스트 그래프를 구축하고, 후보 단위에 대한 의사결정 지향적 유틸리티를 추정하며, 선택된 근거를 유형화된 메모리 카드로 압축한다. 동일한 스키마는 호스팅 LLM 판사, 로컬 대리 모델, 또는 경량 ranker로 인스턴스화할 수 있어, 모델 선택에 걸쳐 선택 프로토콜을 감사 가능하게 한다. SWE-bench Verified 파일 검색 인스턴스 50건에서 BM25 상위 50 후보에 대한 Qwen3.6-Plus 재순위화는 hit@1을 0.58에서 0.78로, MRR@10을 0.634에서 0.790으로 개선하며, 2,500개 판단 모두 파싱 가능하다. 통제된 진단은 CICL이 행동에 중요한 근거를 식별함을 보여준다. 최고 유틸리티 의미 단위를 제거하면 F1이 0.245에서 0.000으로 감소한다. 선택 후 압축 모드에서 메모리 카드는 선택된 근거를 유지하면서 쿼리당 44.93 토큰을 절약한다. CICL은 도구 사용 에이전트를 위한 의사결정에 중요한 컨텍스트를 측정, 순위화, 압축하는 실용적 층을 제공한다. 코드는 https://github.com/stephen-guan-researcher/CICL 에서 이용 가능하다.

arXiv:2607.14327v1cs.CL

PReM: 컨텍스트 압축을 위해 무엇을 보존하고 언제 갱신할지 학습하기

PReM: Learning What to Preserve and When to Refresh for Context Compression

효율적인 긴 컨텍스트 추론은 메모리 비용을 줄이는 것뿐만 아니라, 생성이 진행되는 동안 유용한 문맥적 증거를 접근 가능하게 유지하는 것에도 관련된다. 그러나 key-value(KV) 캐시 압축과 컨텍스트 압축과 같은 기존의 압축 지향 접근법들은, 종종 어떤 문맥 정보를 유지할지 초기에 결정하거나 외부 압축기에 의존한다. 이러한 설계는 압축된 컨텍스트를 이후 추론 단계에 필요한 증거에 맞게 조정하기 어렵게 만든다. 본 논문은 PReM(Preserve and Refresh Memory)을 제안한다. PReM은 긴 컨텍스트를 모델의 내부 층별 KV 메모리로 유지하고, 무엇을 보존하고 언제 갱신할지를 학습하는 컨텍스트 압축 프레임워크이다. 구체적으로 PReM은 전용 메모리 층을 사용해 메모리 선택을 결정하고, 생성 중 갱신을 트리거하는 특수 메모리 토큰 <m>을 사용한다. 이러한 동작을 학습하기 위해 PReM은 Phase-Separated Refresh Training을 도입하여, 갱신 간 연속성을 유지하면서 메모리 선택을 메모리 조건 생성과 정렬한다. 32K 토큰 컨텍스트에 대한 실험에서 PReM은 16배 및 32배 압축 모두에서 강력한 베이스라인을 능가하면서, 답변 품질과 추론 효율 사이의 유리한 균형을 유지한다.

arXiv:2607.10441v1cs.LG

고유 정보 기반 컨텍스트: 길고 중복된 컨텍스트 스트림을 위한 감사 가능한 디리클레 프로세스 작업 메모리

Context by Distinct Information: An Auditable Dirichlet-Process Working Memory for Long, Redundant Context Streams

컨텍스트 엔지니어링은 모델이 어떤 정보를 이어받을지를 결정하며, 현재의 설계들은 이를 토큰 단위로 계량한다: 과거를 제한된 순환 상태로 압축하거나, 모든 토큰에 대해 키-값 항목을 유지하거나, 윈도우나 축출 규칙을 통해 고정 예산을 부과하는 방식이다. 세 가지 방식 모두 스트림이 중복적이고 태스크가 스트림이 담고 있는 고유 정보에 의존하는 경우에도 토큰을 메모리의 단위로 삼는다. 입력 키가 새로운 경우에만 캐시 슬롯을 열어 메모리가 토큰 수가 아닌 고유 항목 수에 따라 확장되도록 하는 관련 메커니즘 논문을 기반으로, 우리는 해당 신규성 기반 할당(allocate-on-novelty) 캐시를 작업 메모리 구성요소로 발전시키고, 태스크가 과거에 의존하는 방식에 따라 컨텍스트를 구성한다: 회상(recall)으로 전달되는 정보는 내용 주소 지정 방식의 신규성 캐시에, 요약으로 전달되는 정보는 순환 상태에, 지역성으로 전달되는 정보는 최신성 윈도우에 배치된다. 이 주장은 실증적이며 제한적이다. 매칭된 문자 수준 제어 실험에서, 신규성 게이팅 어텐션은 약 절반의 토큰만을 처리하면서 전체 어텐션 수준의 성능에 도달하며, 캐시와 상태공간 요약을 결합하면 해당 절감된 비용으로 전체 어텐션 결합과 동등한 성능을 달성한다; 이 이점은 컨텍스트가 길어질수록 증가하는 반면, 슬라이딩 윈도우는 짧고 지역성이 지배적인 구간에서 더 유리하다. 합성 Medicare 청구 데이터에 대한 다음 코드 예측에서, 결합 구성요소는 천 개 이벤트 수평에서 전체 어텐션 및 모든 고정 예산 축출 정책을 능가하는 반면, 동일 스트림에 대한 비용 예측은 요약으로 전달되어 캐시는 중립적이다. 유지된 메모리는 불투명한 상태가 아니라 템플릿, 코드, 약물 또는 장소의 검사 가능한 테이블이다. 실험은 소규모이며 공개 데이터만을 사용하며, 컨텍스트가 토큰이 아닌 고유 정보에 따라 확장될 수 있고 내용 주소 지정 방식으로 감사 가능한 작업 메모리에서 이를 구현할 수 있다는 기본 원리를 확립한다.

arXiv:2607.09403v1cs.AI

허구적 세계관 구축: 계층적 컨텍스트 압축과 반복적 검토를 통한 멀티 에이전트 LLM 협업

Fictional Worldbuilding: Multi-Agent LLM Collaboration with Hierarchical Context Compression and Iterative Review

세계관 구축(Worldbuilding), 즉 일관된 허구 세계를 창조하는 작업은 게임 디자인과 문학 창작의 기반이 되는 과제입니다. 대규모 언어 모델(LLM)은 자동화된 콘텐츠 생성에 새로운 가능성을 제시하지만, 세계관 구축에의 적용은 세 가지 난제에 직면합니다: 구축 과정에 따라 선형적으로 증가하는 컨텍스트 폭발, 창의적 다양성과 콘텐츠 일관성 간의 긴장, 그리고 자동화된 품질 보증의 부재입니다. 본 논문은 이러한 과제들을 다섯 가지 통합 구성 요소를 통해 해결하는 멀티 에이전트 협업 시스템 AutoWorldBuilder를 제안합니다: 충돌 감지 기능을 갖춘 구조화된 개념 네트워크; 의미적 지역성에 따라 작업을 그룹화하는 방향성 비순환 그래프(DAG) 기반 하이브리드 배치 스케줄러; 약 90%의 토큰 감소를 달성하는 4층 컨텍스트 압축 메커니즘; 제안 승인률을 42%에서 85% 이상으로 향상시키는 전문화된 감사(Auditor) 에이전트 기반 반복적 검토 시스템; 그리고 차별화된 온도 설정을 지원하며 코드 없는 확장이 가능한 기술 기반 에이전트 아키텍처. LLM 백엔드로 GPT-OSS 120B와 DeepSeek v3.2를 사용하여 20개의 다양한 세계관 구축 과제에 걸쳐 수행된 두 가지 실험에서 95.0%의 성공률을 달성했습니다. 시스템은 18~31분 이내에 세계당 56~103개의 자기 일관적 개념을 충돌 없이 생성했습니다. 층별 예산 압축(layer-as-budget compression), 의미적 지역성 스케줄링(semantic-locality scheduling), 생성과 검토의 분리를 포함하여 본 연구에서 검증된 아키텍처 패턴들은 지식 집약적인 멀티 에이전트 LLM 응용 프로그램의 더 넓은 범주에 적용될 수 있습니다.

arXiv:2607.08180v1cs.CR

시야 밖으로: 에이전트 크롤러에 대한 압축 인식 콘텐츠 보호

Out of Sight: Compression-Aware Content Protection against Agentic Crawlers

LLM 기반 에이전트가 컨텍스트 예산에 맞추기 위해 사용하는 컨텍스트 압축(context compression) 단계를 새로운 방어 층으로 활용하는 프레임워크 CAPE를 제안한다. CAPE는 인간이 읽을 수 있는 표면 형태를 그대로 유지하면서 보이지 않는 섭동(perturbation)을 텍스트에 주입하여 에이전트의 압축 과정에서 심각한 정보 손실을 유발하며, 최강 기준선 대비 최대 75.8%의 정보 손실 개선과 LangGraph·GitHub Copilot 실세계 환경에서 최대 59.7%의 다운스트림 정확도 하락을 달성했다.

arXiv:2509.19228v2cs.CL

CompLLM: 긴 컨텍스트 Q&A를 위한 압축

CompLLM: Compression for Long Context Q&A

대규모 언어 모델(LLM)은 셀프 어텐션의 이차 복잡도로 인해 긴 컨텍스트를 처리할 때 상당한 계산적 어려움에 직면한다. 입력 텍스트를 더 작은 잠재 표현으로 매핑하는 소프트 컨텍스트 압축 방법이 가능성을 보여왔으나, 실제 환경에서의 채택은 제한적이다. 기존 기법들은 일반적으로 컨텍스트를 단일 단위로 압축하며, 이로 인해 이차 압축 복잡도가 발생하고 컨텍스트가 겹치는 쿼리 간 계산 재사용이 불가능하다. 본 연구에서는 실용적인 배포를 위해 설계된 소프트 압축 기법인 CompLLM을 소개한다. CompLLM은 컨텍스트를 전체적으로 처리하는 대신 이를 세그먼트로 분할하여 각각 독립적으로 압축한다. 이 단순한 설계 선택은 세 가지 핵심 속성을 제공한다: 압축 단계가 컨텍스트 길이에 선형적으로 확장되는 효율성, 짧은 시퀀스(예: 1k 토큰)로 학습된 모델이 100k 토큰의 컨텍스트로 일반화할 수 있는 확장성, 그리고 압축된 세그먼트를 캐싱하여 서로 다른 쿼리에 재사용할 수 있는 재사용성이다. 실험 결과, 2배 압축률에서 긴 컨텍스트 길이의 경우 CompLLM은 첫 번째 토큰 생성 시간(TTFT)을 최대 4배 단축하고 KV 캐시 크기를 50% 감소시킨다. 또한 CompLLM은 비압축 컨텍스트와 비교 가능한 성능을 달성하며, 매우 긴 시퀀스에서는 이를 능가하여 그 효과성과 실용적 유용성을 입증한다.

arXiv:2607.02911v1cs.SE

CoACT: 코딩 에이전트를 위한 액션 보존 관측 압축

CoACT: Action-Preserving Observation Compression for Coding Agents

대규모 언어 모델(LLM) 기반 코딩 에이전트는 개발 환경과의 반복적인 상호작용을 통해 소프트웨어 엔지니어링 작업을 수행하는데, 이 과정에서 반환된 관측(observation)이 컨텍스트에 누적되어 추론 비용의 주요 원인이 된다. 관측 압축은 관측을 컨텍스트에 추가하기 전에 단축함으로써 이 비용을 줄인다. 그러나 기존 방법들은 압축이 에이전트의 후속 행동에 미치는 영향을 명시적으로 모델링하지 않기 때문에 효율성과 효과성 간의 균형이 여전히 만족스럽지 않다. 본 논문은 코딩 에이전트를 위한 액션 보존 관측 압축 방법인 CoACT를 제안한다. CoACT는 다음 액션 보존(NAP, next-action preservation)을 기반으로 구축되며, NAP는 압축된 관측이 원본 관측과 동일한 다음 액션을 유도할 것을 요구한다. 에이전트의 즉각적인 다음 액션을 확인함으로써, NAP는 압축이 지속적인 작업 수행에 필요한 정보를 보존하는지 여부에 대한 실용적인 신호를 제공한다. 학습 과정에서 교사 모델은 먼저 각 관측의 다중 압축 후보를 생성한다. CoACT는 이후 NAP에 기반한 액션 보존 보상을 사용하여 에이전트의 다음 액션을 변경시킬 후보를 필터링하고, 길이 감소 보상을 사용하여 경량 압축기의 지도 학습을 위한 간결한 후보를 선택한다. 세 가지 에이전트 모델을 사용한 SWE-bench Verified 실험에서 CoACT는 평균 총 토큰 소비를 33.0% 감소시키면서 비압축 에이전트에 근접한 작업 수행 효과를 유지함을 보인다.

arXiv:2606.29251v1cs.AI

When Summaries Distort Decisions: Information Fidelity in LLM-Compressed Financial Analysis

Financial decision-makers face more information than they can directly inspect, making context compression necessary. Yet when large language models (LLMs) compress financial source material, they can alter the investment judgment supported by the original source. We frame this problem as information fidelity: compression loses fidelity when it changes the decision induced by the source. In agentic systems, such losses may recur across intermediate steps and amplify throughout the decision process. Across financial filings and earnings-call transcripts, we find that LLM-based compression can produce fluent and factually plausible compressed contexts that nevertheless alter downstream decisions. We analyze two diagnostic patterns associated with fidelity loss: decontextualization, where salient evidence is retained but separated from the caveats and contextual qualifiers needed for correct interpretation, and model dependency, where different compressors expose different views of the same source. We then propose Agentic Context Compression, which generates multiple candidate compressions and audits their disagreements against the original source. Our results suggest that financial compression should be evaluated not only by efficiency or factuality, but also by its ability to preserve decision-relevant context.

arXiv:2606.28601v1cs.DB

Database Context Compression for Text-to-SQL on Real-World Large Databases

Recent progress in Text-to-SQL has been driven by stronger language models and prompting strategies, yet performance on real enterprise benchmarks such as Spider 2.0 and BIRD remains far below that on classical academic datasets. We argue that the main bottleneck is no longer reasoning, but database representation. Real databases contain repeated audit columns, large groups of similar tables, opaque identifiers whose meanings are stored only in documentation, and extensive data dictionaries with little query-relevant information. Existing query-aware methods, including schema linking and retrieval-based schema selection, filter this raw context but still operate on redundant and verbose representations. We reformulate the problem as database context compression, a query-agnostic transformation that rewrites schemas, semantic descriptions, and external documentation into a compact representation. We formalize this transformation with the SGCF (Support-Gain Component Factorization) principle, which unifies repeated column extraction, isomorphic table templating, semantic componentization, and evidence purification under a single coverage objective. Based on SGCF, we propose DBCC, a database-side middleware that performs offline structural and semantic compression together with lightweight online evidence purification. DBCC is model-agnostic and can be integrated into existing Text-to-SQL pipelines. On Spider 2.0-Snow and BIRD, DBCC reduces input context by up to two orders of magnitude (from 2.6M to 34.7K tokens on the largest Spider 2.0-Snow subset), improves schema-linking strict recall from 0% to 56.5% under DeepSeek-V3.2 (63.1% under Claude Opus 4.7), and consistently increases end-to-end execution accuracy by 1.8-1.9% over three recent Text-to-SQL systems. Our code is open-sourced at https://github.com/MrBlankness/SchemaCompression.

arXiv:2606.28361v1cs.IR

ConCise: Training-Free Conclusion-Chain State Compression for Cost-Efficient Multi-Step RAG Services

Multi-step retrieval-augmented generation (RAG) has been widely deployed as LLM-powered web services for complex question answering, where iterative retrieval-reasoning rounds deliver strong multi-hop accuracy. However, this paradigm causes historical documents and reasoning traces to accumulate across rounds, inflating cumulative input tokens approximately as $O(N^2)$ with progressively increasing noise density. In API-based service architectures, such growth directly amplifies per-request billing cost, network payload, and response latency. Existing compression approaches rely on pretrained modules or GPU-level KV cache access, introducing model hosting overhead incompatible with API-native, Serverless, and edge-side deployments. To address this issue, this paper proposes ConCise, a training-free state-layer protocol that restructures cross-round context transmission for multi-step RAG services. Specifically, ConCise replaces raw-text accumulation with an append-only chain of structured conclusions, compressing cumulative context growth from $O(N^2)$ to approximately $O(N)$. Furthermore, a fused generation mechanism is introduced to jointly emit reasoning and conclusions in a single API call, eliminating repeated input billing from serial dual-invocation overhead. Extensive experiments across twelve paired configurations spanning three models, two datasets, and two representative frameworks demonstrate that ConCise achieves 64.63\% average token savings while maintaining acceptable accuracy, providing a plug-and-play, deployment-friendly solution for cost-efficient multi-step RAG service optimization.

arXiv:2606.12411v1cs.CL

문맥 기반 증분 압축을 이용한 멀티턴 대화 생성

Context-Driven Incremental Compression for Multi-Turn Dialogue Generation

현대의 대화형 에이전트는 매 턴마다 끊임없이 증가하는 대화 기록을 조건으로 사용하며, 이로 인해 대화 길이에 비례하여 증가하는 중복 어텐션 및 인코딩 비용이 발생합니다. 단순 절단이나 요약은 충실도를 저하시키는 반면, 기존 문맥 압축기는 턴 간 메모리 공유나 수정 기능이 부족하여 긴 대화에서 정보 손실과 오류 누적을 초래합니다. 우리는 대화 역학 관계 하에서 문맥 압축을 재조명하고 그 취약성을 실증적으로 제시합니다. 효율성과 견고성을 모두 향상시키기 위해, 우리는 대화를 얽힌 문맥 스레드로 간주하고 수정 가능한 스레드별 압축 상태를 단일한 컴팩트한 대화 메모리에 저장하는 문맥 기반 증분 압축(C-DIC)을 도입합니다. 매 턴마다 가벼운 검색, 수정, 쓰기 루프가 턴 간 정보를 공유하고 오래된 메모리를 업데이트하여 장기적 행동을 안정화합니다. 또한, 우리는 잘린 시간 역전파(TBPTT)를 멀티턴 설정에 맞게 적용하여 전체 기록에 대한 역전파 없이 턴 간 의존성을 학습합니다. 장문 대화 벤치마크에 대한 광범위한 실험을 통해 C-DIC의 우수한 성능과 효율성을 입증했습니다. 특히 C-DIC는 수백 턴의 대화에 걸쳐 안정적인 추론 지연 시간과 혼란도를 보여주며, 고품질 대화 모델링을 위한 확장 가능한 경로를 뒷받침합니다.