PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27321v1cs.AI

검증 가능한 은닉 동역학 플레이: 풀린 메커니즘으로부터 에이전틱 RL 환경 생성

Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms

언어 모델 에이전트는 점점 더 변화하는 상태, 상호 의존적 결정, 지연된 결과를 갖는 장기(horizon) 과제에 더 자주 직면한다. 학습을 스케일링하려면 다양한 에이전틱 환경, 신뢰할 수 있는 결과 신호, 낮은 확장 비용이 필요하다. 기존 생성 파이프라인은 결과 규칙을 정의하거나 궤적에 주석을 달기 전에 환경을 구�하는 경우가 많아, 동역학과 평가가 사후적으로 맞춰지도록 남긴다. VHD-Play는 코퍼스 기반 setter가 의사결정 과정을 상태ful 도구(stateful tools)로 렌더링하기 전에 수학적 모델을 샘플링하고 풀어 이 의존 관계를 뒤집는다. 실행 가능한 동역학과 궤적 채점 기준은 동일한 풀린 모델에서 그대로 이어받는다. 이 파이프라인은 환경당 몇 센트 수준의 비용으로 3,300개의 다양한 에이전틱 환경을 만든다. 세 가지 패밀리로 Qwen3.6-35B-A3B를 학습하면 다섯 패밀리 진단에서 평균 에이전틱 점수가 0.204에서 0.815로 올라간다. 이득은 세 학습 패밀리 모두의 홀드아웃 인스턴스와 여덟 개의 보지 못한 메커니즘 패밀리에서도 나타나며, 생성된 기질(substrate)을 넘어 일반 함수 호출, 여행 계획, 365일 전자상거래용 외부 벤치마크까지 확장된다. E-Commerce Bench에서는 학습된 체크포인트가 파산 없이 모든 실행을 완료하며 Qwen3.7-Max를 넘긴다. 서면으로 풀어낸 문제와 매개변수를 공개하거나 숨기는 상태ful 버전을 비교한 결과, 학습 가능한 격차의 대부분은 근본적인 문제 해결보다 상태ful 상호작용에 있다. 고정(frozen) 35B setter는 더 큰 환경을 구현하고, 규모에 맞춘(scale-matched) 학습은 메커니즘 크기와 horizon가 커질수록 이득을 유지하여, 진화하는 학습 기질의 잠재력을 시사한다.

arXiv:2606.12191v1cs.CL

대규모 언어 모델을 위한 에이전트 환경 엔지니어링: 환경 모델링, 합성, 평가 및 응용에 대한 조사

Agentic Environment Engineering for Large Language Models: A Survey of Environment Modeling, Synthesis, Evaluation, and Application

환경은 다양한 시나리오에서 대규모 언어 모델(LLM) 기반 에이전트를 위한 상호작용 시스템으로 작용하며, 모델 능력의 지속적인 진화를 주도하는 데 중요한 역할을 합니다. 이러한 중요성에도 불구하고 기존 연구는 체계적인 분류와 심층적인 분석이 부족합니다. 본 논문은 환경 엔지니어링 수명 주기(lifecycle)의 관점에서 에이전트 환경에 대한 최신 연구를 체계적으로 조사하며, 모델링, 합성, 평가 및 응용을 다룹니다. 구체적으로, 본 논문은 먼저 8가지 속성과 8가지 도메인의 관점에서 대표적인 환경을 소개하며, 그 발전 경로에 대한 상세한 분석을 제공하고 핵심 능력을 강조합니다. 둘째, 자동화된 환경 합성을 위해 기호 합성(symbolic synthesis)과 신경망 합성(neural synthesis)의 두 가지 패러다임을 소개합니다. 또한 본 논문은 각 패러다임에서 서로 다른 환경 평가 방법을 보여줍니다. 셋째, 에이전트-환경 공진화(co-evolution)의 관점에서 이에 상응하는 환경 응용에 대해 논의합니다. 구체적으로, 본 논문은 동적 환경에서 에이전트 진화의 주요 경로를 메모리 중심 경험 진화(memory-centric experience evolution), 오케스트레이션 중심 워크플로우 진화(orchestration-centric workflow evolution), 궤적 중심 오프라인 진화(trajectory-centric offline evolution), 탐험 중심 온라인 진화(exploration-centric online evolution)라는 네 가지 상호 보완적인 관점에서 특징지습니다. 또한 환경 진화의 세 가지 패러다임, 즉 신경망 주도(neural-driven), 난이도 주도(difficulty-driven), 스케일링 주도(scaling-driven) 접근법을 식별합니다. 마지막으로, Environment-as-a-Service, 멀티 에이전트 환경(Multi-agent Environments), 신경-기호 환경(Neural-Symbolic Environments)을 포함한 몇 가지 유망한 미래 방향에 대해 논의합니다.