PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.20072v2cs.AI

체화된 LLM 탐색: 관찰 충실도가 높아질 때 문제 해결을 저해하는 경우

Probing an Embodied LLM: When Higher Observation Fidelity Hurts Problem Solving

대규모 언어 모델(LLM)은 로봇 시스템의 인지 구성 요소로 점점 더 많이 제안되고 있지만, 불투명한 의사결정 과정으로 인해 폐루프 체화(embodied) 작업에서의 성공이나 실패를 설명하기 어렵습니다. 실증적 AI 방법론에 따라, 우리는 이용 가능한 정보를 변화시키고 그에 따른 행동 변화를 측정하여 체화된 LLM 에이전트(agent)를 행동학적으로 연구합니다. 숨겨진 상호의존성을 지닌 순차적 기계 퍼즐인 Lockbox를 사용하여, 물리적 로봇 환경에서 RGB, RGB-D 및 실측값(ground-truth) 기호 관찰 전반에 걸쳐 LLM을 평가하고 시뮬레이션을 사용하여 그에 따른 행동을 탐색합니다. 직관과 달리 에이전트는 원시 RGB 입력에서 가장 우수한 성능을 보이고, 완벽한 실측값 관찰에서 최악의 성능을 보입니다. 시뮬레이션에서 우리는 인식된 행동 결과를 무작위로 뒤집어 이러한 효과를 탐색했으며, 적당한 노이즈가 성능을 향상시켜 노이즈가 없는 기준선(baseline) 대비 성공률이 2.85배 증가하면서 40% 뒤집기 확률에서 정점에 도달함을 발견했습니다. 추가 분석을 통해 이러한 이득이 반복적인 행동 루프의 감소와 관련이 있음을 확인했습니다. 이러한 결과는 측정된 성능이 강건한 문제 해결보다는 지각 오류와 추론 실패 간의 상호작용을 반영할 수 있으므로, 성공률만으로는 LLM을 평가하기에 불충분함을 시사합니다.