arXiv:2611.24708v1 cs.AI

F$^3$: 월드-액션 모델에서 좋은 경험이란 무엇인가?

F$^3$: What Makes Good Experience in World-Action Models?

Zihe Huang, Sirui Zhou, Haozhi Han, Ruge Zhang, Teng Ma, Tao Ma, Zheng Liu, Ce Zhang, Ting Cao, Yunxin Liu, Yunquan Zhang, Yifeng Chen, Kun Li

제출 2026-11-19

한국어 초록

배포된 월드-액션 모델(WAM)은 자신의 경험을 잘 활용할 때에만 계속 개선될 수 있다. 기존 방법은 검색된 롤아웃이나 시연을 컨텍스트로 정책에 제공하지만, 이러한 경험은 이전에 해결했던 과제를 실패로 바꾸는 경우가 많다. 그렇다면 WAM에게 좋은 경험이란 무엇인가? 본 논문은 경험이 사용될 때에만 가치가 있음을 보인다. 그 가치는 원본 롤아웃의 성공 여부가 아니라, 무엇이 저장되는지, 언제 사용되는지, 정책의 어디에 투입되는지에 달려 있다. 따라서 Form, Fit, Fusion으로 이 세 가지 결정을 내리는 F$^3$를 제안한다. Form은 성공한 롤아웃과 실패한 롤아웃을 모두 짧고 검증된 작업 기록으로 압축한다. Fit은 정책이 기록을 읽고 그것이 언제 도움이 되는지 예측하도록 가르친다. Fusion은 기록의 이미지, 텍스트, 행동을 접두부와 행동 사전분포로서 정책에 주입한다. 단 200개의 예시로 한 번 학습하고 증가하는 경험 라이브러리와 함께 배포된 이 모델은 RoboLab에 대한 학습 없이도 MolmoSpaces와 RoboLab에서 최첨단 결과를 달성한다. 기본 Cosmos 3 Nano 대비 성공률을 12.0 pp와 10.8 pp 높이고, 성공까지의 단계 수를 12.2%와 11.3% 줄이며, 성능 후퇴를 57% 감소시킨다.

원문 초록

Deployed world-action models (WAMs) can keep improving only if they make good use of their own experience. Existing methods supply retrieved rollouts or demonstrations to the policy as context, yet such experience often turns previously solved tasks into failures. What, then, makes good experience for a WAM? We show that experience is valuable only in use: its value depends not on whether the source rollout succeeded but on what is stored, when it is used, and where it enters the policy. We therefore propose F$^3$, which makes these three decisions with Form, Fit, and Fusion. Form compresses successful and failed rollouts alike into short, verified operation records; Fit teaches the policy to read a record and to predict when it helps; Fusion injects the record's images, text and actions into the policy as a prefix and an action prior. Trained once on only 200 examples and deployed with a growing experience library, the model achieves state-of-the-art results on MolmoSpaces and RoboLab without any training on RoboLab: over native Cosmos 3 Nano, it raises success by 12.0 pp and 10.8 pp, reduces steps to success by 12.2% and 11.3%, and cuts regressions by 57%.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24708v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.