arXiv:2602.09856 cs.CV

Code2World: A GUI World Model via Renderable Code Generation

제출 2026-02-10

한국어 초록

자율 GUI 에이전트는 인터페이스를 인식하고 행동을 실행함으로써 환경과 상호작용합니다. 가상 샌드박스인 GUI 월드 모델은 행동 조건화 예측을 가능하게 하여 에이전트에게 인간과 유사한 선견지명을 부여합니다. 그러나 기존의 텍스트 및 픽셀 기반 접근 방식은 높은 시각적 충실도와 세밀한 구조적 제어 가능성을 동시에 달성하는 데 어려움을 겪고 있습니다. 이를 해결하기 위해, 우리는 렌더링 가능한 코드 생성을 통해 다음 시각적 상태를 시뮬레이션하는 비전-언어 코더인 Code2World를 제안합니다. 특히 데이터 부족 문제를 해결하기 위해, 우리는 GUI 궤적을 고충실도 HTML로 변환하고 시각적 피드백 수정 메커니즘을 통해 합성된 코드를 정제하여 8만 개 이상의 고품질 화면-행동 쌍의 말뭉치를 생성하는 AndroidCode를 구축합니다. 기존 VLM을 코드 예측에 적응시키기 위해, 우리는 먼저 포맷 레이아웃 후속 작업을 위한 콜드 스타트로 SFT를 수행한 후, 시각적 의미 충실도와 행동 일관성을 강화하여 렌더링된 결과를 보상 신호로 사용하는 렌더 인식 강화 학습을 추가로 적용합니다. 광범위한 실험 결과, Code2World-8B는 경쟁력 있는 GPT-5 및 Gemini-3-Pro-Image와 견줄 수 있는 최고의 다음 UI 예측 성능을 달성합니다. 특히, Code2World는 유연한 방식으로 하위 탐색 성공률을 크게 향상시켜 AndroidWorld 탐색에서 Gemini-2.5-Flash를 +9.5% 증가시킵니다. 코드는 https://github.com/AMAP-ML/Code2World에서 확인할 수 있습니다.

요약

Code2World는 자율 그래픽 사용자 인터페이스(Graphic User Interface, GUI) 에이전트가 환경과 상호작용하는 방식을 혁신적으로 변화시키는 새로운 접근법을 제시합니다. 기존의 텍스트 및 픽셀 기반 방법론은 높은 시각적 충실도와 세밀한 구조적 제어를 동시에 달성하는 데 한계를 보였습니다. 이를 해결하기 위해 본 연구에서는 렌더링 가능한 코드 생성을 통해 다음 시각 상태를 예측하는 비전-언어 코더를 개발하였습니다. 특히, 데이터 부족 문제를 극복하기 위해, GUI 궤적을 고충실도의 HTML로 변환하고, 시각 피드백 수정 메커니즘을 통해 80,000개 이상의 고품질 화면-행동 쌍을 포함하는 AndroidCode 데이터셋을 구축하였습니다. 모델 최적화를 위해 두 가지 단계의 학습 전략을 채택하였습니다. 첫 번째 단계에서는 지도 학습 미세 조정(Supervised Fine-Tuning, SFT)을 통해 HTML 코드의 기초 구문을 학습하고, 두 번째 단계에서는 렌더-인식 강화 학습(Render-Aware Reinforcement Learning)을 적용하여 최종 렌더링 결과를 보상 신호로 사용합니다. 이러한 접근은 시각적 의미 충실도와 행동 일관성을 동시에 고려하는 복합 보상 함수를 통해 이루어집니다. 실험 결과, Code2World-8B는 UI 예측에서 최고의 성능을 기록하였으며, 경쟁 모델인 GPT-5 및 Gemini-3-Pro-Image와 견줄 만한 성과를 보였습니다. 특히, Code2World는 하위 탐색 성공률을 9.5% 향상시키는 등, 실질적인 성과를 달성하였습니다. 이러한 연구는 GUI 에이전트가 환경과 상호작용하는 방식을 보다 인간에 가까운 형태로 발전시킬 수 있는 가능성을 보여주며, 향후 연구에 중요한 기초 자료가 될 것입니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.