LeCuration: 데이터 큐레이션 멀티툴로서의 소형 월드 모델
LeCuration: A Tiny World Model as a Data Curation Multi-Tool
한국어 초록
물리 인공지능(physical AI)의 많은 응용 분야는 물체의 행동을 지배하는 물리 법칙이 제한된, 유한하거나 닫힌 물리적 세계 내에서 동작합니다. 창고에서 작업하는 로봇과 비디오 게임 내에서 움직이는 에이전트(agent)가 대표적인 예입니다. 물리 인공지능 응용 분야를 위해 데이터를 더 잘 정리, 필터링, 큐레이션하고자, 우리는 개별 데이터셋의 고유한 설정과 물리 법칙에 초점을 맞춘 새로운 접근 방식을 제안합니다. 우리는 별도의 더 큰 다운스트림 모델을 위한 데이터 큐레이션 도구로 활용되도록 고안된 소형 월드 모델인 LeCuration을 학습(training)합니다. 이 모델을 구축하기 위해 잠재 인코더 및 예측기로 LeWorldModel(LeWM)을 선택하고, 자기회귀적(autoregressive) 게임플레이 롤아웃(rollout)에 시각적 요소를 추가하기 위해 디퓨전 트랜스포머(DiT) 디코더를 추가합니다. 우리는 이 모델의 임베딩(embedding)이 이상치 탐지 신호 및 콘텐츠 기반 클러스터링 휴리스틱으로 사용될 수 있으며, 이 모델로 게임 상태를 자기회귀적으로 예측함으로써 행동-상태 일관성을 정성적으로 점검할 수 있음을 발견했습니다. 본 논문은 CS:GO 게임플레이 데이터에 대한 정성적 개념 증명 사례 연구를 제시하며, 핵심적인 다음 단계로 식별한 정량적 큐레이션 지표나 다운스트림 학습 결과는 아직 보고하지 않습니다.
원문 초록
Many applications of physical AI run within finite or closed physical worlds with a limited set of physical laws governing object behavior. Examples include robots working in a warehouse and agents moving around in a video game. In order to better organize, filter, and curate data for physical AI applications, we propose a new approach centered on the unique settings and physical laws of individual datasets. We train LeCuration, a small world model intended to serve as a data curation tool for a separate, larger downstream model. To build this model, we choose LeWorldModel (LeWM)as our latent encoder and predictor, adding a diffusion transformer (DiT) decoder to add visuals to autoregressive gameplay rollout. We find that the embeddings of this model can be used as an anomaly detection signal and as a content-based clustering heuristic, and that auto-regressively predicting the game state with this model allows us to qualitatively check for action-state consistency. This paper presents a qualitative, proof-of-concept case study on CS:GO gameplay data; we do not yet report quantitative curation metrics or downstream training results, which we identify as the key next step.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
9 pages