PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27276v1cs.AI

DRSR: 효율적인 장기 지평 에이전트를 위한 집합 수준 삭제 위험 학습

DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents

장기 지평 언어 모델 에이전트는 추론 추적, 도구 교환, 관측을 축적하며, 이들의 관련성은 현재 의사결정에 따라 달라진다. 기존 압축 전략은 종종 과거 단위를 독립적으로 점수화하지만, 여러 단위를 삭제하는 것의 안전성은 일반적으로 각 단위의 개별 점수만으로 결정되지 않는다. 중복 증거, 누적된 미세 효과, 삭제 후 남는 정보가 모두 중요하다. 우리는 에이전트 이력 압축을 삭제 집합에 대한 위험 제약 선택 문제로 공식화하는 Direct Relational Set-Risk Pruning(DRSR)을 제안한다. 오프라인에서 DRSR은 프로토콜상 유효한 이력 Block을 공동으로 삭제하고, 동일하게 기록된 다음 출력에 대한 teacher-forced 가능도 변화를 측정하여 정확한 반사실(counterfactual) supervision을 구성한다. 경량 scorer는 후보 이력과 현재 행동 전(pre-action) 상태 사이의 온라인에서 관측 가능한 관계, 삭제-유지 및 pairwise 집합 구조와 함께 집합 수준 해로함을 예측한다. 배포 시 DRSR은 경량 scorer로 구조적으로 유효한 소수의 삭제 후보를 평가하고, 최근성, 프로토콜, 예산, 학습된 위험 제약 하에서 제거 가능한 최대 집합을 제거하며, 충분히 안전한 집합이 없으면 삭제를 보류(abstention)한다. WorkBuddyBench Full260에서 DRSR은 평균 보상을 0.699에서 0.802로 높이는 동시에 총 모델 토큰을 20.820% 줄인다. 고정된 Eval40 비교에서, 압축하지 않은 에이전트 대비 35.850% 적은 토큰을 사용하며 작업당 1.211M 토큰에서 0.794 보상을 달성한다. 기전 분석과 ablation은 또한 의사결정 조건부 관계, 유지된 컨텍스트 정보, 쌍 상호작용, 보류(abstention)가 각각 신뢰할 수 있는 가지치기에 기여함을 보여준다.

arXiv:2607.10386v1cs.CL

개선된 추론 및 컨텍스트 가지치기를 위한 구조화된 사고

Structured Thoughts For Improved Reasoning And Context Pruning

대규모 언어 모델(LLM)은 긴 사고의 연쇄를 생성하는 데 뛰어나지만, 긴 추론 궤적은 종종 장황하고 메모리 효율이 낮다. 본 연구에서는 추론을 교대로 반복되는 <try>와 <outcome> 블록으로 구성하는 프레임워크인 Structured Thoughts를 소개한다: <try>는 탐색적 스크래치 작업을 포착하고, <outcome>은 해당 단계의 증류된 결론을 담는다. 우리는 추론 궤적을 <try> 블록으로 분할하고 LLM에 각 단계를 해당 <outcome>으로 요약하도록 프롬프트함으로써 구조화된 사고의 데이터셋을 구성한다. 이 재구성된 데이터로 사전학습된 기반 모델을 미세조정하면 구조화된 추론 방식을 채택하는 모델이 생성되며, 표준 SFT 대비 추론 벤치마크에서 최대 8.08%의 성능 향상을 달성한다. 명시적 구조는 또한 컨텍스트 가지치기를 가능하게 한다: 각 <try>/<outcome> 쌍 이후 <try>를 가지치기할 수 있어, 모델이 컨텍스트에 전체 스크래치 작업을 보존하지 않고도 결론을 유지할 수 있다. 개념 증명 가지치기 구현은 수학적 과제 전반에 걸쳐 평균 85%의 메모리/컨텍스트 절감과 8.67%의 성능 저하를 달성한다.