PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26866v1cs.LG

한계적으로 올바른 도구 캐시가 그룹 정규화된 정책 업데이트를 반전시킬 수 있다

Marginally Correct Tool Caches Can Reverse Group-Normalized Policy Updates

도구 결과 캐싱은 에이전트 학습(training)에서 반복 실행을 줄이지만, 롤아웃(rollout)의 무작위성을 결합하기도 합니다. 본 연구에서는 독립적 실행과 공유 실행이 모든 롤아웃의 조건부 보상(reward) 분포를 보존하는 2개 행동 모델(model)을 연구합니다. 이러한 한계적 일치에도 불구하고, 그룹당 하나의 확률적 결과를 공유하면 기대되는 그룹 정규화 정책 업데이트의 방향이 반전될 수 있습니다. 본 논문에서는 정확한 유한 그룹 표현식을 도출합니다. 즉, 상수 대안에 대해 공유된 업데이트는 기대 보상의 차이가 아니라 승리 확률에서 패배 확률을 뺀 값을 따릅니다. 베르누이 특수화는 그룹 크기가 커짐에 따라 잘못된 방향의 영역과 사라지지 않는 업데이트 분산 하한을 산출합니다. 그룹 표준편차 스케일링 없이 중심화(centering)만 수행하면 기존 추정량 제어를 사용하여 이 모델에서 기대 수익 방향을 보존합니다. 철저한 유한 합을 통해 별도의 순서화된 시퀀스 검사기와 함께 540개의 구성 및 3,240개의 추정량 평가를 검증합니다. 구현 감사를 통해 256개의 스크립트 기반 롤아웃을 사용하여 고정되고 수정되지 않은 TVCache 스택에서 공유 경로를 재현합니다. 이러한 결과는 언어 모델의 학습 성능을 측정하거나 TVCache의 결정론적 출력 계약을 반박하는 것은 아닙니다. 이는 한계 출력 유효성만으로는 확률적 캐시가 학습과 동등하다고 보증할 수 없음을 규명합니다.

arXiv:2607.10891v1cs.AI

SETA: 터미널 에이전트를 위한 환경 스케일링

SETA: Scaling Environments for Terminal Agents

대규모 언어 모델(LLM)은 웹 및 그래픽 사용자 인터페이스(GUI)를 포함한 다양한 인터페이스를 통해 작업을 수행하는 에이전트로 빠르게 진화하고 있다. 그 중에서도 터미널 커맨드 라인은 텍스트 기반의 범용 인터페이스로, 시스템 운영부터 데이터 과학 및 머신러닝에 이르는 광범위한 작업을 포괄한다. 그러나 터미널 에이전트 학습의 스케일링은 다양하고 일관된 작업 지시, 실행 가능한 환경, 신뢰할 수 있는 검증이 요구되는 한편, 자연스럽게 레이블된 지도 데이터가 부족하여 여전히 어려운 과제로 남아 있다. 본 연구에서는 강화학습(RL)을 위한 검증 가능한 터미널 환경을 생성하는 확장 가능한 프레임워크인 SETA를 제안한다. 이 프레임워크는 통합된 검증 메커니즘을 공유하는 두 가지 파이프라인으로 구성된다: SETA-Synth는 다양한 소스를 표준화된 RL 환경으로 변환하고, SETA-Evol은 난이도와 다양성의 적응적 제어를 통해 기존 환경을 더욱 확장한다. 이를 통해 4,500개 이상의 환경을 포함하는 현재까지 가장 규모가 큰 오픈소스 검증 가능 터미널 RL 데이터셋인 SETA-Env를 구축하여 공개한다. SETA-Env에서 Qwen3-8B를 GRPO로 학습시켜 데이터셋을 평가한 결과, Terminal-Bench 2.0에서 12%의 통과율을 달성하였으며, 이는 8B 규모의 RL 학습 모델로서 보고된 최고 성능이다. 또한 동일한 터미널 에이전트 환경에서 DeepSeek-V4-Flash에도 성능 향상이 관찰되어, Terminal-Bench 2.0의 pass@1이 40%에서 43%로, pass@5가 54%에서 58%로 향상되었다. 이러한 결과는 SETA-Env가 터미널 에이전트를 위한 고품질 학습 환경을 제공하며, 터미널 기반 에이전트 학습 연구 발전에 기여하는 귀중한 자원임을 입증한다.

arXiv:2607.04574v1cs.LG

몇 가지 교사 단계만으로 충분하다: 에이전트 사후 학습을 위한 비용 효율적인 온-정책 데이터 증강

A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training

LLM 에이전트 사후학습에서 온-정책 데이터 증강을 예산 배분 문제로 재정의하고, 학습자가 도달한 컨텍스트에서 소수의 교사 단계만 수행하는 OP-Short 방식이 HotpotQA, ALFWorld, Terminal-Bench-Dev에서 동일 예산 대비 순수 행동 복제 및 필터링 기반 대안들과 동등하거나 더 나은 성능을 달성함을 보인다.