PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22883v1cs.AI

CLI-Universe: 터미널 에이전트를 위한 검증 가능한 태스크 합성 엔진을 향하여

CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents

최근 LLM 기반 터미널 에이전트가 유망한 성능을 보여주고 있지만, 고품질의 실행 가능한 학습 데이터 부족은 여전히 핵심적인 병목으로 남아 있다. 기존 합성 파이프라인은 일반적으로 표면적 아티팩트를 태스크로 변환하는 방식으로 규모를 확장하며, 이로 인해 모호한 지시문, 얕은 실행 경로, 그리고 학습 신호가 약한 불안정한 테스트가 빈번히 생성된다. 이를 극복하기 위해 우리는 터미널 에이전트 태스크를 구성하는 원칙적 합성 엔진인 CLI-Universe를 소개한다. CLI-Universe는 다차원 역량 분류 체계(도메인, 스킬 유형, 역량, 엔지니어링 기반)에 걸친 조합을 샘플링하여 후보 태스크를 생성하고, 실제 기술 자료에 대한 증거 기반 심층 리서치를 통해 각 후보를 구체화한다. 엄격한 감독 신호를 보장하기 위해, 검증된 블루프린트는 Dockerized 환경에서 인스턴스화되고, 루브릭 기반 테스트 구성, 힌트 조건부 필터링, 엄격한 실패-통과 검사를 포함하는 다단계 실행 검증 파이프라인을 거친다. 후보 생성부터 검증에 이르는 전체 파이프라인에서 후보의 약 3분의 2가 제거되며, 진정성 있고 검증 가능하며 비자명하게 도전적인 태스크만이 보존된다. 프레임워크 검증을 위해 CLI-Universe-6K라고 불리는 6,000개의 경로로 구성된 고도로 정제된 데이터셋을 구축하였다. 주목할 만하게도, CLI-Universe-6K로 Qwen3-32B를 미세조정한 결과 Terminal-Bench 2.0에서 33.4%를 달성하였다. 이는 오픈소스 데이터로 학습된 32B 이하 파라미터 모델에서 새로운 최고 성능을 기록하며, 규모가 한 자릿수 더 큰 여러 모델을 능가함으로써 구조화된 고품질 합성의 탁월한 데이터 효율성을 입증한다.