언어 모델의 안전성(safety)은 진화하는 공격에 지속적으로 적응해야 합니다. 최근 연구들은 PPO 방식의 자가 대국(self-play) 및 DPO 방식의 온라인 선호도 최적화를 적용하여 공격자 및 방어자 모델을 함께 더 강력하게 훈련할 수 있음을 입증했습니다. 본 연구에서는 이러한 설정에서 GRPO의 효과를 탐구합니다. 공격자와 방어자의 여러 속성을 공동으로 최적화해야 하므로 공동 학습(co-training)은 까다로울 수 있습니다. 이에 따라 저자들은 여러 대규모 언어 모델(LLM) 심사위원 기반 보상 채널을 사용하여 모델 출력을 형성하고, 단일 채널이 지배적이지 않도록 GDPO로 이점(advantage)을 계산합니다. 제안하는 방법은 공격자 전용 단일 턴 및 다중 턴 학습에서 공격자와 방어자 모델을 번갈아 업데이트하는 공동 학습으로 발전하는 커리큘럼을 사용합니다. 이를 통해 매우 효과적이고 전이 가능한 공격을 생성하며, 공동 학습된 방어자가 일반적인 유용성을 보존하면서도 경쟁력 있는 안전성에 도달함을 보여줍니다. 또한 통제된 절제 연구(ablation study)를 통해 학습 파이프라인의 어떤 구성 요소가 결과적인 안전성과 유용성 간의 균형에 가장 큰 영향을 미치는지 밝혀냅니다. 마지막으로 GRPO가 학습 과정에서 공격자의 다양성을 붕괴시키는 경향이 있음을 발견하고 이러한 한계를 해결하기 위한 방안을 논의합니다.
고품질 주석 데이터의 부족으로 인해 대규모 언어 모델(LLM)이 생성한 출력물에서 충실성 환각(faithfulness hallucination)을 식별하는 것은 여전히 어려운 과제입니다. 최근 연구들은 근거, 레이블, 환각 주장 등을 포함한 학습 데이터를 합성하기 위해 고도화된 LLM에 의존하고 있습니다. 그러나 이러한 방식들은 생성기를 정적 구성 요소로 취급하므로 탐지기의 반복적 개선을 제한합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 진화하는 생성기와 함께 탐지기가 부트스트래핑할 수 있도록 하는 새로운 프레임워크인 환각 셀프 플레이(Hallucination Self-Play, HSP)를 제안합니다. HSP는 동일한 기반 모델에서 초기화된 두 가지 역할을 포함하며, 하나는 모델 출력의 충실성을 평가하는 탐지기이고, 다른 하나는 점진적으로 탐지하기 어려운 환각 반응을 생성하는 생성기입니다. 구체적으로, 탐지기는 먼저 인간이 레이블링한 데이터로 파인튜닝된 후 AI 피드백 강화학습(RLAIF)을 통해 생성기를 학습시키는 보상 모델로 활용됩니다. 이어서 진화한 생성기는 규칙 기반 강화학습을 통해 탐지기를 추가로 최적화할 수 있도록 환각 데이터를 합성합니다. 세 가지 모델 계열에 대해 RAGTruth 및 LLM-AggreFact에서 수행한 실험 결과는, 제안된 프레임워크가 외부 지도 없이도 소형 LLM을 점진적으로 강화하여 고도화된 LLM과 대등하거나 능가하는 수준에 도달할 수 있음을 입증합니다. 본 연구의 코드는 https://github.com/maybenotime/Hallucination_Self-Play 에서 제공됩니다.
대규모 언어 모델(LLM)은 의사결정 능력을 갖춘 장기 실행 에이전트로 점점 더 배치되고 있다. LLM은 트롤리 문제와 같은 딜레마에서 윤리적 역량을 보일 수 있지만, 이러한 역량이 복잡한 에이전트적(agentic) 시나리오로 이어지지 않을 수 있다. 우리는 Civilization V에서 이 격차를 연구한다. Civilization V는 경제, 외교, 기술, 군사 전략을 포함한 복잡한 의사결정 환경을 갖춘 멀티플레이어 게임이다. LLM 플레이어가 스스로 핵 사용 승인을 확대한 130건의 고긴장 LLM 자기 대국(self-play) 에피소드에서 출발하여, 13개 모델에 대해 세 가지 프롬프트 개입으로 재현한다: 핵 피해를 명시하는 윤리적 프롬프트, 이전 모델의 의사결정 근거 제거, 실세계 영향을 강조하는 고위험(high-stakes) 프레이밍. 어떤 개입도 그 조합도 창발적(emergent) 확대를 안정적으로 제거하지 못한다. 우리는 세 가지 실패 경로를 확인한다: 프롬프트 없이는 윤리적 추론이 드러나지 않는 경우, 프롬프트를 주어도 나타나지 않는 경우, 또는 드러났으나 전략적 반대 요인이 우세할 때 행동으로 이어지지 않는 경우. 따라서 에이전트적 모델 평가는 윤리적 추론이 고립된 설정에서 끌어낼 수 있는지를 넘어, 복잡한 의사결정 맥락에서 자발적으로 호출되고 행동적으로 효과적인지를 검증해야 한다.
LLM 학습은 수동 설계 및 어노테이션에서 상호작용 기반 자기 진화로 전환되고 있다. 그러나 기존 자기 진화 방법들은 작업 다양성과 검증 신뢰성 사이의 근본적인 딜레마에 직면한다. 환경에 구속된 방법은 정밀한 피드백을 얻지만 학습을 좁은 도메인에 한정하고, 개방형 자기 생성은 작업 공간을 넓히지만 신뢰할 수 있는 검증이 부족하여 오해의 소지가 있는 보상이 학습 루프를 오염시킨다. 우리는 에이전트 스킬이 이러한 긴장을 완화하는 강력한 중간 지점임을 확인한다. 각 스킬은 특정 시나리오에서 깊고 검증 가능한 실행을 보장하는 반면, 스킬 간 동적 라우팅은 개방형 작업 다양성을 유지한다. 이 통찰을 활용하여, 우리는 제안자(proposer), 해결자(solver), 동적 스킬 컨트롤러로 구성된 공동 진화 프레임워크인 Skill Self-Play(Skill-SP)를 제안한다. 강화학습 루프를 통해 조율되며, 이 구성 요소들은 지속적인 셀프 플레이 루프에서 공동 진화한다. 제안자는 동적으로 샘플링된 스킬을 조건으로 한 도전적인 작업을 생성하고, 해결자는 역량 경계를 확장하기 위해 후보 해결책을 탐험하며, 스킬 컨트롤러는 실행 피드백을 수집하여 스킬 라이브러리를 업데이트하고 확장한다. 이러한 상호작용적 공동 진화는 구조화된 검증과 개방형 탐험 사이의 격차를 효과적으로 메운다. 도구 사용 및 추론 벤치마크에 대한 실증 평가는 견고한 진화 엔진으로서 Skill-SP가 유능한 백본의 성능 상한을 지속적으로 밀어 올리는 동시에, 초기에 정렬되지 않은 모델들의 놀라운 성과 전환을 촉진함을 보여준다. 우리 코드는 https://github.com/Qwen-Applications/skill-self-play 에서 이용할 수 있다.
대규모 오디오 언어 모델(LALM)은 음향 이해에서 빠른 진전을 이루었지만, 여전히 세밀한 오디오 추론(예: 이벤트 순서, 반복, 지속 시간 인식)에 어려움을 겪고 있다. 기존 사후 학습 방법은 값비싼 외부 레이블에 크게 의존하거나 거친 의미적 신호만 제공한다. 이 격차를 메우기 위해, 우리는 LALM 분야에서 세밀한 청각 인지와 추론을 향상시키는 최초의 레이블 없는 자기 진화 프레임워크인 Audio-Zero를 제안한다. Audio-Zero는 레이블 없는 오디오 대조 쌍으로부터 청각 자기 대결(self-play) 게임을 구성한다: 대부분의 플레이어는 참조 오디오를 듣고, 한 명의 이상 청취자(odd listener)는 미묘한 변형을 듣는다. 모델은 먼저 들은 내용을 설명하는 단서를 생성한 다음, 단서들 간의 불일치를 추론하여 이상 청취자를 식별한다. 이상 청취자는 구조상 알려져 있으므로, 이 게임은 어떠한 주석 답변 없이도 검증 가능한 보상을 제공한다. Qwen2-Audio-7B-Instruct 및 Qwen2.5-Omni-7B를 TREA, MMAU Test-mini, MMAR에서 실험한 결과, Audio-Zero는 폭넓은 오디오 이해를 유지하면서 세밀한 오디오 추론을 향상시킨다. 진화 및 진단 분석은 더욱 세밀한 청각 서술이 게임의 압력으로부터 자연스럽게 창발함을 추가로 밝힌다.
스프레드시트 애플리케이션은 전 세계 수억 명이 사용하지만, 수식 작성은 여전히 큰 장벽으로 남아 있다. 기존 접근법은 정적 지도 데이터에 의존하며, 제한된 주석에서 빠르게 포화된다. 본 논문에서는 FORMULASPIN을 제안한다. 이는 추가 데이터 없이 반복적 자기 개선을 가능하게 하여 지도 미세조정의 한계를 돌파하는 셀프플레이 프레임워크이다. 바닐라 SPIN은 이 과제에서 실패한다. 일치하지 않는 모든 출력에 동일한 패널티를 부여하므로, 실행상 동등한 대안이 한 예시에서는 부정 샘플로 처벌받고 다른 예시에서는 정답(ground truth)으로 작용하여 모순된 gradient를 만든다. 우리 프레임워크는 수식 생성의 고유한 이점을 활용하여 이를 해결한다. 이진 실행 가능성(binary executability)이 암시적 지도(implicit supervision)를 제공하여 의미적 오류와 유효한 스타일 변형을 구분한다. 학습을 2인 게임으로 구성한다. 주 플레이어는 이전 버전의 수식보다 정답 수식을 선호하도록 학습하고, 실행 피드백(execution feedback)은 출력을 서로 다른 세분성(granularity)으로 분류하여 의미적 정확성에서 스타일적 정제(refinement)로 전환되는 적응형 커리큘럼(adaptive curriculum)을 가능하게 한다. 정확도를 더 높이기 위해 ExecVote를 도입한다. 이는 여러 유효한 표현을 자연스럽게 처리하는 의미 수준의 투표 메커니즘이다. 여러 벤치마크에서의 실험은 FORMULASPIN이 최신(state-of-the-art) 성능을 달성함을 보여준다. NL2FORMULA에서 정확 일치 74.9%, 실행 정확도(execution accuracy) 87.1%를 기록하며, 추가 선호(preference) 주석으로 학습한 모델과 동등한 수준을 달성하면서 전통적인 지도 미세조정(SFT)과 최신 독점(proprietary) 모델 모두를 능가한다. 이 결과는 희소 데이터 과제를 해결하는 셀프플레이의 잠재력을 강조하며, 실행 가능한 영역을 넘어 확장할 가능성의 문을 연다.
사이ber 방어를 위한 강화학습(RL) 에이전트 학습에는 운영 환경을 반영하는 환경이 필요하다: 잡음이 있는 부분 관측, 네트워크 전반에 걸쳐 협력하는 여러 방어자, 자기 대결(self-play)을 통해 구현되는 적응형 적대자. 본 논문은 절차적으로 생성된 기업 및 운영기술(operational-technology, OT) 네트워크에서 이러한 설정을 위한 다중 에이전트 환경인 NetForge RL을 제시한다. 레드 에이전트는 부분 가시성 하에서 호스트를 침해하고, 구역별로 분할된 3개의 블루 에이전트는 실측(ground-truth) 상태 벡터 대신 합성 SIEM 텔레메트리와 Windows/Sysmon 이벤트 로그를 밀집 임베딩(dense embedding)으로 인코딩한 관측을 바탕으로 방어한다. 이 환경은 고정 형상(fixed-shape) 관측과 MITRE ATT&CK에 매핑된 행동을 갖춘 PettingZoo 병렬 API를 따르며, 명명된 난이도 프리셋과 홀드아웃 평가 분할을 포함한 5개 시나리오를 제공하고, 시드(seed) 하에서 결정론적으로 재현된다. JAX 백엔드는 축소된 전이(transition) 코어를 벡터화하여, 학습 루프 반복을 위한 빠른 대리(surrogate)로 CPU에서 배치 4096일 때 초당 2.5 x 10^5 환경 스텝을 달성한다. 환경과 함께 참조 기준선(스크립트 기반, JAX IPPO 트레이너, 자기 대결 토너먼트), 각각 하나의 방어 기술을 측정하는 6개의 진단 프로브, 95% 신뢰구간을 보고하는 평가 실행기를 제공한다. 환경 뒤에 있는 재현성(reproducibility) 엔지니어링을 설명하고 책임 있는 사용 성명을 포함한다.
강력한 자율주행 에이전트를 학습하려면, 대규모 강화학습에 충분히 빠르면서 실제 세계 맵 구조에 행동을 그라운딩(grounding)하기에 충분히 사실적이고, 로그 데이터가 거의 담지 못하는 안전 중요 장기 꼬리(long tail)를 커버하기에 충분히 다양한 시뮬레이터가 필요하다. 본 논문은 절차적 주행 시뮬레이터이자 셀프 플레이 학습 스택인 TerraZero를 제시한다. 구성 가능한 C 엔진이 제로 카피(zero-copy) 경로를 통해 CPU에서 시뮬레이션을 실행하고 GPU에서 정책 추론을 수행하며, 단일 서버급 GPU에서 초당 130만 에이전트-스텝(agent-steps)을 유지한다. 이는 기존 객체 수준(object-level) 시뮬레이터보다 훨씬 빠르면서, 경량 단일 에이전트 시스템이 생략하는 충실도를 유지한다: 이종 에이전트, 다중 동역학 모델, 완전한 교통 규칙 집행. TerraZero는 로그 데이터를 실제 세계 맵 지형(map geometry)의 출처로만 취급하며, 각 맵에 무작위 규칙 기반 도로 사용자와 신호 제어기를 배치하고 에피소드마다 에이전트 동역학, 보상, 크기를 무작위화하여 하나의 맵이 무한한 시나리오 집합을 생성하게 한다. 보고된 모든 정책은 GPU 전반에 걸친 연산 효율적인 셀프 플레이 레시피로 강화학습만을 통해 처음부터 학습되며, 인간 시연이 전혀 없고 추론 시 폴백 플래너(fallback planner)도 없다. 정책은 도시와 데이터셋 전반에서 제로샷(zero-shot)으로 일반화되며, 명시적 감독 없이 창발적(emergent) 좌측 통행(left-hand-traffic) 주행을 포함한다. 에고(ego) 정책으로서 TerraZero는 InterPlan 장기 꼬리 벤치마크에서 1위를 차지한 최초의 완전 학습 기반 정책이며, 더 큰 학습형 플래너들보다 앞선다. 일상 주행 val14에서는 최고 수준 접근법 중 하나로 순위에 오르며 가장 안전하여, 충돌 및 충돌까지 시간(time-to-collision) 점수에서 최고를 기록한다. Waymo Open Sim Agents realism에서 동일한 레시피는 다른 시연 없는(demonstration-free) 방법들을 능가하며, 가장 강력한 reference-anchored 셀프 플레이 방법과 경쟁력을 보인다. 하나의 스택이 두 역할을 모두 수행한다: 승용차와 트럭의 동역학에 걸친 주행 정책, 그리고 차량·보행자·자전거를 공동 제어하는 시뮬 에이전트(sim agents).
레퍼런스 없는 LLM 심판(judge)을 이용한 셀프플레이 학습에서 정책 모델이 정답률은 0.20에 고정된 채로 심판의 합격률만 0.72에서 0.94로 올리는 보상 해킹(reward hacking) 현상을 실험적으로 입증하였으며, 이 오류는 Qwen, Llama, Gemma 등 다양한 심판 패밀리와 앙상블에도 전이된다. 심판이 후보 답안을 보기 전에 먼저 독립적으로 자신의 답을 커밋하도록 강제하는 탈앵커링(de-anchoring) 방식으로 허위 양성률을 0.719에서 0.012로 낮춰 이 문제를 원천 차단할 수 있음을 보인다.
코드 수정은 언어 모델(LM)의 중요한 능력이다: 버그가 있는 프로그램과 단위 테스트가 주어지면, LM은 테스트를 통과하는 수정된 프로그램을 생성해야 한다. 코드 수정 데이터가 제한적이므로, LM을 활용하여 버그-수정 태스크를 생성함으로써 감독(supervision)을 확장하고자 한다. 우리는 __생성기-수정기 셀프-플레이(generator--fixer self-play)__를 제안한다. 이 방식에서 단일 모델은 강화학습으로 학습되어 버그를 생성하고 수정하며, 수정기가 향상됨에 따라 생성기는 더 어려운 버그를 생성하도록 적응하여 자동 커리큘럼을 구성한다. 이 커리큘럼의 일반화 여부를 검증하기 위해, 현실적인 버그 출처를 아우르는 수정 벤치마크인 BugSourceBench를 소개한다: 인간이 작성한 코드의 버그, LM이 생성한 코드의 버그, 그리고 인간이 편집한 LM 생성 코드의 버그가 포함된다. BugSourceBench에서의 실험 결과, 셀프-플레이는 어렵지만 비현실적인 버그 방향으로 드리프트되어 합성 버그에서는 성능이 향상되는 반면 인간이 작성한 버그에서는 성능이 저하됨을 확인했다. 이에 우리는 앵커드 셀프-플레이(ASP, Anchored Self-Play)를 제안한다. ASP는 생성 시 코드-임베딩 유사도 보상을 추가하고 수정기 학습에 참조 버그를 혼합함으로써 소규모 참조 집합으로 셀프-플레이를 앵커링한다. 버그 출처 전반에 걸쳐 ASP는 최고의 수정률을 달성하며, 표준 셀프-플레이 대비 평균 수정률을 상대적으로 $+24\%$ / 절대적으로 $+7.0$ pp 향상시키고, LM 및 인간 작성 버그 모두에서 성능 향상을 보인다.
강화학습을 통한 대규모 언어 모델(LLM) 추론의 최근 발전은 검증 가능한 보상을 위해 주석이 달린 데이터셋에 의존하며, 이는 모델이 인간 수준의 성능을 초월하는 능력을 제한할 수 있다. 셀프 플레이(self-play)는 유망한 대안을 제시하지만, 기존 방법들은 사후학습된 모델에서 미미하거나 오히려 부정적인 성능 향상을 보이는데, 이는 새로운 개념을 발견하기보다 친숙한 개념 주변에 집중된 문제를 생성하기 때문이다. 우리는 단일 LLM이 교사와 학생 역할을 번갈아 수행하여 외부 검증기나 주석 데이터 없이 새로운 문제를 생성하고 풀어내는 셀프 플레이 프레임워크인 OpenSIR(Open-Ended Self-Improving Reasoner)을 소개한다. 단일 시드 문제에서 시작하여, OpenSIR은 모델을 낯선 개념으로 유도하는 다양성 보상과 문제를 학습 가능한 수준으로 유지하는 난이도 조정을 통해 개방형 탐험을 지속한다. 7개의 수학 벤치마크에 걸쳐, OpenSIR은 모든 모델에서 일관되게 성능을 향상시키며 인스트럭션 모델에서 평균 +3.6점, 추론 모델에서 +3.1점을 기록하는 반면, 최근의 셀프 플레이 기준선들은 미미하거나 오히려 부정적인 성능 향상을 보인다. 단일한 사소한 시드에서 시작하여, 7천 개 이상의 주석 예제로 학습된 GRPO 기준선도 능가한다. 자기 생성된 수학 데이터만으로 학습함에도 불구하고, OpenSIR은 일반 추론으로 전이되는 유일한 셀프 플레이 방법으로, 추론 모델에서 최소 +4.4점의 성능 향상을 달성한다.
RL methods for scaling large reasoning models stall on datasets with low initial success rates, and thus little training signal. We investigate a fundamental question: Can a pretrained LLM leverage latent knowledge to generate an automated curriculum for problems it cannot solve? We explore this with SOAR: An asymmetric self-play framework that uses meta-RL to surface these pedagogical signals. A teacher model proposes synthetic problems for a student model, and is rewarded with its improvement on a subset of hard problems, thus grounding the curriculum in real student progress rather than intrinsic proxy rewards. Our study on the hardest subsets of math benchmarks (0/128 success) reveals three core findings. First, it is possible to realize bilevel meta-RL that unlocks learning under sparse, binary rewards by sharpening a latent capacity of pretrained models to generate useful problems. Second, grounded rewards outperform intrinsic learnability rewards used in prior LLM self-play, reliably avoiding typical instability and diversity collapse modes. Third, the structure and well-posedness of questions are more critical for learning progress than solution correctness. Our results suggest that the ability to generate useful stepping stones does not require the preexisting ability to solve the hard problems, paving a principled path to escape reasoning plateaus without additional curated data
7개의 대규모 언어 모델(LLM)과 20개의 논쟁적 주제를 대상으로 자기 대결(self-play) 및 혼합 대결(mixed-play) 방식의 다중 턴 토론을 분석한 결과, 각 모델이 표현 공간에서 모델별 어트랙터(attractor) 상태로 수렴하는 현상이 확인되었다. 혼합 대결에서는 Claude Haiku처럼 강한 어트랙터로 작용하는 모델이 상대 모델의 문체와 행동에 비대칭적으로 영향을 미치며, GPT-4.1 nano처럼 영향을 쉽게 받는 모델도 존재함을 보여, 다중 에이전트 시스템 설계 및 예측에 시사점을 제공한다.
When two companies bid to buy the same target, no one knows exactly what the target is worth. Each bidder pays for due diligence: costly, imperfect homework that sharpens its own private estimate before it bids. How much of that homework is worth buying? We build a simple computer model of the bidding contest and let it teach itself to bid well by playing against itself, the way a game engine learns chess. The economic question, how much diligence pays for itself, and the computational question, when the contest becomes too complex to solve exactly, are both controlled by a single thing: how many pieces of private information a bidder carries. Our main finding is that the right amount of diligence is modest and finite. It falls as diligence gets more expensive, and it falls further when both sides are doing their homework, because competition erodes the value of knowing more. We also test a recent claim from AI research: that simple, general self-play methods can rival the specialized, expensive algorithms usually built for games like these. Running on an ordinary laptop with no costly frontier AI, we find the simple methods are the best of the self-learning approaches, though purpose-built exact methods still win whenever the game is small enough to solve outright. The simple methods earn their keep only once the game grows too large to solve exactly, which is the regime real deals live in, and there we show they still find strong bidding strategies. The contribution is threefold: a cheap, reproducible way to study deal-making under uncertainty; a concrete, model-based answer to how much due diligence is worth buying; and evidence about when lightweight, general-purpose AI is good enough to replace specialized methods. We release all the games, code, and experiments.
셀프 플레이 강화학습(self-play reinforcement learning)은 최근 인간 데이터 없이 주행 정책을 학습시키는 방법으로 부상했습니다. 이는 비싸고 대규모의 인간 주행 시연(demonstration) 대신 저렴하고 대규모의 시뮬레이션을 사용합니다. 이 접근법의 핵심적인 한계는 순수 셀프 플레이를 통해 학습된 정책이 효과적이지만 인간과 호환되지 않는 낯선 주행 관습을 학습할 수 있다는 점입니다. 기존 연구들은 광범위한 보상 엔지니어링(reward engineering)과 도메인 무작위화(domain randomization)를 통해 이러한 행동 불일치를 완화하려고 시도했으나, 이는 취약하고 노동 집약적입니다. 인간 시연(demonstration)을 완전히 버리는 대신, 본 방법은 이를 최소한의 안전한 목표 도달 보상 위에 덧붙여지는 정규화(regularization) 목적함수로 취급합니다. 맛있는 스튜의 향신료처럼, 소량의 인간 데이터가 큰 효과를 낸다는 것을 발견했습니다: 본 방법은 견줄 만한 모방 학습(imitation learning) 접근법보다 2500배 적은 30분의 인간 시연만을 사용합니다. 그 결과 생성된 정책은 홀드아웃(held-out) 인간 궤적과 협력하며, 단일 소비자용 GPU에서 15시간 만에 학습을 완료합니다. 비디오와 전체 소스 코드는 https://spiced-self-play.com/ 에서 확인할 수 있습니다.
엔드-투-엔드 자율 주행 모델은 일반적으로 제한된 상태 커버리지를 제공하고 종종 폐루프(closed-loop) 피드백이 없는 오프라인 인간 시연 데이터셋에서 학습되므로, 폐루프로 배포될 때 오류 누적에 취약하고 롱테일 에이전트 상호작용에 약해집니다. 이러한 한계를 극복하기 위해, 우리는 엔드-투-엔드 주행 모델을 학습시키기 위한 대안 전략을 제안합니다: 시뮬레이션 내 픽셀에서 직접 수행하는 대규모 셀프-플레이(self-play)입니다. 기존 셀프-플레이 접근 방식은 실제 주행으로의 유망한 전이를 보여주었지만, 일반적으로 센서 관찰에서 직접 작동하는 엔드-투-엔드 정책과 호환되지 않는 벡터화된 조감도(Bird's-Eye-View, BEV) 관찰을 가정합니다. 이를 위해 우리는 원근 렌더링을 갖춘 고처리량 배치 주행 시뮬레이터인 Gigapixel을 소개하여, 픽셀 관찰에서 직접 확장 가능한 셀프-플레이를 가능하게 합니다. 계산 비용이 많이 드는 사실적(photorealistic) 센서 시뮬레이션을 목표로 하는 대신, Gigapixel은 초당 5만 에이전트 스텝의 처리량을 달성하면서 필수적인 장면 구조를 보존하는 단순화된 바운딩 박스 세계를 렌더링합니다. 엔드-투-엔드 모델 규모에서 직접적인 픽셀 공간 셀프-플레이 강화학습(RL)은 샘플 효율성이 현저히 낮기 때문에, 우리는 셀프-플레이 DAgger 학습을 제안합니다: 우리는 특권 강화학습 교사로부터의 온-정책(on-policy) 증류를 통해 셀프-플레이에서 픽셀 기반 정책을 학습시킵니다. 시뮬레이션-실제(sim-to-real) 간격을 해소하기 위해, 우리는 이후 경량 인식 적응을 통해 셀프-플레이 학습된 정책을 실제 센서 데이터로 전이합니다. Gigapixel에서 학습되고 실제 센서 데이터에 적응된 정책은 인간 궤적 감독 없이 HUGSIM 및 NAVSIM-v2 벤치마크에서 경쟁력 있는 성능을 달성합니다. 더욱이, 셀프-플레이 학습 스케일링은 정책 성능에서 비례적인 이득을 가져오며, 엔드-투-엔드 모델 학습을 위한 실용적이고 확장 가능한 전략으로서 셀프-플레이를 확립합니다.