PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.04906v2cs.CL

장기적 작업 수행 에이전트를 위한 검증 가능한 환경의 스케일링

Scaling Verifiable Environments for Long-horizon Work Agents

작업 수행 에이전트(work agent)는 디지털 아티팩트를 다루며 전문적인 지식 집약적 업무를 수행하므로, 장기적(long-horizon) 상호작용과 신뢰할 수 있는 검증을 지원하는 학습(training) 환경이 필요합니다. 그러나 수작업으로 제작된 환경은 막대한 엔지니어링 오버헤드를 유발하여 환경 스케일링을 저해하는 반면, 합성 방식은 작업 공간의 복잡성, 현실성 또는 근거 기반의 검증 가능성을 희생합니다. 이러한 격차를 해소하기 위해, 실제 리소스로부터 검증 가능한 작업 에이전트 환경을 구축하는 확장 가능한 합성 프레임워크인 WorkForge를 소개합니다. WorkForge는 전문가의 워크플로에서 출발하여 각 워크플로에 필요한 리소스, 의사결정 및 결과물을 먼저 식별합니다. 그런 다음 관련된 실제 파일들을 검색하여 작업 공간(workspace)으로 구성합니다. WorkForge는 작업 공간을 검사하여 해당 내용에 대한 구체적이고 확인 가능한 사실들을 추출합니다. 이러한 사실적 앵커(factual anchor)는 작업 공간이 지원할 수 있는 태스크 유형과 그 결과를 검증할 수 있는 방식을 확정합니다. 따라서 WorkForge는 이러한 사실적 앵커로부터 각 태스크의 지침, 해결 계획, 그리고 상호보완적인 프로그래밍 방식 및 의미론적 검증기(verifier)를 직접 도출함으로써, 검증 과정이 관찰 가능한 작업 공간의 증거를 추적할 수 있도록 유지합니다. 나아가, 60개 파일 형식을 포괄하는 작업 공간을 바탕으로 40개 전문 도메인에 걸쳐 16.7K개의 검증 가능한 환경을 구축했습니다. Qwen3.5-35B-A3B-Base를 사후 학습(post-training)한 결과, GDPVal은 45.5에서 73.6으로, APEX Score는 5.0에서 21.3으로 향상되었으며, Qwen3.5-27B 또한 매우 경쟁력 있는 성능을 달성하여 강력한 경쟁 모델들을 능가했습니다. 분석 결과는 제안된 방법의 효과를 입증하며, 데이터양과 상호작용 지평(interaction horizon) 모두에서 일관된 스케일링 동작을 보여줍니다.

arXiv:2606.12373v1cs.CL

검증 가능한 환경은 레고 블록과 같다: 추론 일반화를 위한 재귀적 합성

Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization

검증 가능한 환경을 활용한 강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 강력한 접근 방식으로 부상했습니다. 기존 연구에서는 환경의 수를 늘리는 것이 강화학습 성능을 향상시킨다는 것을 보여주지만, 수동적이거나 개별적인 구성 방식은 선형적인 스케일링 한계에 부딪혀 확장 가능한 추론 일반화를 저해합니다. 본 논문은 검증 가능한 환경을 재귀적으로 조립할 수 있는 합성 가능한 구성 요소로 개념화하는 RACES(Recursive Automated Composition for Environment Scaling) 프레임워크를 소개합니다. 핵심 통찰은 한 환경의 공역(출력 유형)이 다른 환경의 정의역(입력 유형)과 일치할 때, 이들을 자동으로 융합하여 새로운 검증 가능한 환경을 만들 수 있으며, 이를 통해 재귀적 합성이 가능해진다는 것입니다. RACES는 300개의 개별 환경으로 구현되었으며, 다양한 추론 패턴을 유도하는 일련의 합성 연산자(SEQUENTIAL, PARALLEL, SORT, SELECT)를 정의합니다. 광범위한 실험 결과, 이러한 합성 환경에서의 강화학습 학습이 추론 일반화를 일관되게 향상시키는 것으로 나타났습니다. 구체적으로, RACES는 DeepSeek-R1-Distill-Qwen-14B의 성능을 평균 3.1점(48.2에서 51.3으로) 향상시켰으며, 학습 환경 구성 과정에서 본 적 없는 6개의 벤치마크에서 Qwen3-14B의 성능을 58.8에서 61.1로 끌어올렸습니다. 더불어, RACES는 단 50개의 기본 환경만을 사용하여 300개의 개별 환경에서 학습한 것과 유사한 성능을 달성하여, 환경 활용에 있어 상당한 효율성을 입증했습니다.