PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.31551v1cs.CL

AutoTrainess: 언어 모델이 언어 모델을 자율적으로 개선하도록 가르치기

AutoTrainess: Teaching Language Models to Improve Language Models Autonomously

언어 모델(LM) 학습은 프론티어 언어 모델 에이전트가 소프트웨어 엔지니어링 및 기타 장기 과제에서 점점 더 높은 역량을 발휘하고 있음에도 불구하고, 여전히 사람의 집중적인 개입을 요구하는 과정이다. 핵심 과제는 자율적인 사후 학습이 단순한 코딩 문제가 아니라는 점이다. 에이전트가 반복적으로 이터레이션을 계획하고, 벤치마크에 정렬된 데이터를 구성하며, 안정적인 학습 작업을 실행하고, 체크포인트를 평가하고, 수 시간에 걸친 상호작용 전반에 걸쳐 실험 상태를 유지해야 한다. 우리는 AutoTrainess를 제시한다. 이는 계획, 데이터 준비, 학습, 평가, 로깅을 위한 에이전트-컴퓨터 인터페이스 저장소로서 이러한 작업들을 노출하는 언어 모델 에이전트이다. AutoTrainess는 에이전트가 명세가 불충분한 행동 공간을 가진 원시 CLI 환경에서 동작하도록 방치하는 대신, 이전의 인간 경험을 명시적인 워크플로우, 규칙, 실행 제약으로 외재화하여 에이전트가 효과적이고 신뢰할 수 있는 학습 행동을 수행하도록 안내한다. PostTrainBench에서 AutoTrainess는 CLI 전용 기준선을 지속적으로 능가하며, GPT-5.4(Codex)로 26.94의 평균 점수를 달성한 반면 CLI 전용은 23.21에 그쳤다. 또한 모델과 하네스 전반에 걸쳐 일반화되어, DeepSeek-V4-Flash(OpenCode)의 성능을 12.13에서 19.58로 향상시켰다.

arXiv:2606.20657v1cs.AI

A-Evolve-Training: 30B 모델의 자율 사후 학습

A-Evolve-Training: Autonomous Post-Training of a 30B Model

프론티어 모델의 사후 학습은 보통 사람이 수 주간 수행하는 작업이다: 데이터와 레시피 변경을 제안하고, 실행을 시작하며, 평가 결과를 검토하고, 무엇을 유지할지 결정한다. 우리는 인간 개입 없이(no human in the loop) 이 루프를 실행하는 자율 시스템을 보고한다. 이 시스템은 여러 주에 걸쳐 4라운드에 걸쳐 30B Nemotron을 사후 학습한다. 자율적으로 생성된 모델은 공개 NVIDIA Nemotron-Reasoning Challenge 리더보드에서 최상위 인간 제출의 0.87 대비 홀드아웃(held-out) 점수 0.86을 달성하여, 작성 시점 기준 약 4000개 중 8위를 기록했다. 숫자보다 더 주목할 만한 점은, 루프가 자체 dev 지표가 가장 약한 도메인에서 외부 성능을 더 이상 추적하지 못하고 있음을 감지했다는 것이다 — 후보들이 dev를 기록적 고점으로 끌어올렸지만 외부 목표는 움직이지 않았다 — 그리고 자체 탐색 정책을 수정하여 더 이상 dev를 최대화하지 않고, 이제 오도하는 프록시를 낮추면서 외부 목표를 개선하는 개입을 찾도록 했다. 우리는 이를 확장된 자율 루프가 최적화(optimization)뿐만 아니라 발견(discovery)을 낳을 수 있다는 직접적이고 감사 가능한(auditable) 증거로 본다: 측정 틀(measurement frame)이 오도하게 되었음을 감지하고 무엇이 증거로 간주되는지를 바꾸었다. 우리는 "재귀적 자기 개선(recursive self-improvement)"이라는 명칭의 가치가 있는 모든 시스템이 결국 프론티어급 모델의 end-to-end 사후 학습을 수행해야 한다는 운영적 관점을 취한다; 이것은 그 기준선을 충족했다는 데이터 포인트 중 하나이다. 우리는 인간 연구자의 "최초 자율 동등 달성(first autonomous match)"을 주장하지 않는다. 우리가 내리는 주장은 더 좁고 감사 가능하다: 우리가 아는 한, 이는 이 규모에서 최초로 공개 보고된 자율 사후 학습 실행이며, 이전의 공개 자율 ML 연구 시연은 GPT-2급(~124M) 예산 수준에 머물러 있다. 동일한 시스템은 120B 및 550B Nemotron도 사후 학습한다; 공개된 인간 기준선이 없으므로, 이는 해당 규모에서 루프가 닫힌다는 것만 보여 주며 출력이 경쟁력 있다는 것은 아니다 — 인프라 증거이며, 효과성 주장은 비교 가능한 인간 앵커(anchor)가 존재할 때까지 유보한다.