파운데이션 모델 에이전트의 Sim-to-Real 격차: 통합된 마르코프 결정 과정 관점
The Sim-to-Real Gap of Foundation Model Agents: A Unified MDP Perspective
파운데이션 모델 에이전트는 실제 환경에서의 의사결정을 위해 점점 더 많이 배포되고 있지만, Sim-to-Real 격차로 인해 어려움을 겪고 있습니다. 로봇공학 및 고전 제어 분야에서는 이러한 격차를 해결하기 위한 성숙한 프레임워크가 존재하지만, 파운데이션 모델 커뮤니티는 에이전트 강건성(robustness)을 전적으로 새로운 현상으로 다루고 있습니다. 본 논문은 파운데이션 모델 에이전트의 평가 및 학습 간의 격차를 관찰(Observation), 행동(Action), 전이(Transition), 보상(Reward)을 포함한 마르코프 결정 과정(MDP)의 4가지 요소를 중심으로 구조화된 고전적인 Sim-to-Real 문제로 공식화할 것을 제안합니다. 본 논문에서는 고전적인 불일치를 파운데이션 모델 도메인으로 변환하고 도메인 무작위화(domain randomization)와 같은 확립된 솔루션의 채택을 옹호하는 포괄적인 연구 의제를 설정합니다. 우리는 다국어 도구 호출과 같은 구체적인 예를 통해, 올바른 의미적 의도에도 불구하고 심각한 관찰 공간(observation space) 격차가 작동적으로 유효하지 않은 행동으로 이어지는 방식을 보여줍니다. 궁극적으로, 이 의제는 패러다임의 전환을 주도하여 신뢰할 수 있는 실제 환경 애플리케이션을 위한 고도로 신뢰할 수 있는 에이전트의 새로운 세대를 육성하기 위해 통합된 어휘와 표준화된 스트레스 테스트 벤치마크를 생성하는 것을 목표로 합니다.