강화학습 기반 콘텐츠 생성기를 위한 국소 제약 조건 학습
Learning Local Constraints for Reinforcement-Learned Content Generators
한국어 초록
WFC(Wave Function Collapse)와 같이 기존 콘텐츠로부터 국소 제약 조건(local constraints)을 학습하는 제약 조건 기반 게임 콘텐츠 생성기는 시각적으로 만족스러운 게임 레벨을 생성할 수 있지만, 플레이 가능성과 같은 전역적 특성을 최적화하는 데는 어려움을 겪습니다. 반면, 강화학습(RL)으로 학습된 생성기는 이러한 특성을 보상(reward) 함수에 쉽게 포함할 수 있어 전역적 특성을 최적화할 수 있지만, 결과물이 시각적으로 만족스럽지 않을 수 있습니다. 본 논문에서는 이러한 방법들을 결합하는 방안을 탐색합니다. 구체적으로는 WFC로 학습된 제약 조건을 통해 PCGRL 생성기의 행동 공간(action space)을 제한함으로써, PCGRL 생성기가 국소 제약 조건을 준수하도록 강제되는 동시에 전역적 특성을 달성할 수 있도록 합니다. 이 하이브리드 콘텐츠 생성 방식이 어떻게 작동하는지 더 잘 분석하기 위해 입력의 수와 유형을 다양화하고, 시작 상태를 무작위로 붕괴(collapse)시킬지 여부와 희귀 패턴을 제외할지 여부를 테스트합니다. 이 방법은 하이퍼파라미터(hyperparameter) 튜닝에 민감하지만, 학습된 생성기 중 가장 우수한 모델은 로드 러너(Lode Runner) 레벨과 같이 원하는 전역적 특성을 갖추면서도 시각적으로 만족스럽고 플레이 가능한 퍼즐 플랫폼 게임 레벨을 생성합니다.
원문 초록
Constraint-based game content generators that learn local constraints from existing content, such as Wave Function Collapse (WFC), can generate visually satisfying game levels but face challenges in optimizing global properties, such as playability. On the other hand, reinforcement-learning-trained generators can optimize global properties---because such properties can easily be included in reward functions---but the results can be visually dissatisfying. In this paper, we explore ways to combine these methods. Specifically, we constrain the action space of a PCGRL generator with constraints learned by WFC, effectively allowing the PCGRL generator to achieve global properties while being forced to adhere to local constraints. To better analyze how this hybrid content generation method operates, we vary the number and type of inputs, and we test whether to randomly collapse the starting state and exclude rare patterns. While the method is sensitive to hyperparameter tuning, the best of our trained generators produce visually satisfying and playable puzzle-platform game levels---such as Lode Runner levels---with desired global properties.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해
Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.
VideoGen-Agent: 비디오 생성 에이전트 강화
VideoGen-Agent: Reinforcing Video Generation Agents
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
텍스트-이미지 생성에서 대표 다양성을 위한 다축 Max@K 강화학습
Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation
실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크
Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids
벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.
선호도 불확실성 하에서의 강건한 내시 정렬
Robust Nash Alignment under Preference Uncertainty
토론
이 논문과 연결된 포럼 글이 아직 없습니다.