복잡한 문제 해결은 효과적으로 행동하는 것과 시스템의 작동 방식을 이해하는 것에 달려 있습니다. AI의 조언은 이러한 결과들을 불균등하게 지원할 수 있습니다. 사전 등록된 두 건의 실험에서 대규모 언어 모델(LLM) 조언자의 지원을 받거나 받지 않은 상태로 시뮬레이션 의류 공장을 관리하는 참가자들을 비교했습니다. 연구 전반에서 AI 지원을 받은 참가자들은 더 적은 노력으로 더 높은 자신감과 이해도를 보고했습니다. 첫 번째 연구(N=200)에서 AI 지원은 기업 가치를 높였으나 예측 정확도에서는 감지 가능한 차이를 만들어내지 못했습니다. 지원이 중단된 후, 이전에 지원을 받았던 참가자들은 이전 선택을 반복하는 것을 기준으로 점수를 매겼을 때는 통제군보다 우수한 성과를 보였으나 기본 설정을 기준으로 했을 때는 그렇지 않았습니다. AI 지원 그룹 내에서는 추천을 더 자주 수정할수록 지원 없는 상태에서의 성과가 더 우수할 것으로 예측되었습니다. 두 번째 연구(N=198)에서 AI 지원을 받은 참가자들은 파산 빈도가 낮았으며 사전 등록된 분석에서 약간의 지식 우위를 보였는데, 이는 주로 지급 능력을 유지한 것과 관련이 있었습니다. AI 지원 그룹 내에서는 추천을 더 자주 수정할수록 더 높은 지식을 보일 것으로 예측되었습니다. 응용 인간-AI 상호작용(HAI) 평가는 AI 지원을 통해 달성한 성과뿐만 아니라 사용자의 이해도와 독립적인 역량도 함께 평가해야 합니다.
구현된 비전-언어-행동(VLA) 모델은 일반적으로 강력한 사전학습된 비전-언어 모델(VLM)을 로봇공학 데이터로 미세조정하여 얻지만, 적응 후에 얼마나 많은 상식과 사실적 지식을 보유하는지는 불분명합니다. 지식에 민감한 작업에서의 실패는 모호하며, 지식의 부재와 저수준 제어의 낮은 일반화를 혼동하게 만듭니다. 우리는 에이전트가 행동을 통해 답변하도록 요구함으로써 VLM 지식 벤치마크를 VLA 평가에 적용한 가벼운 프로토콜인 Act2Answer를 소개합니다. 각 질문은 에이전트가 후보 답안 중에서 선택하기 위해 단일 객체 배치 행동을 수행하는 짧은 테이블탑 에피소드가 되며, 이는 제어 요인에 의한 혼동이 줄어든 행동 기반의 성공률을 산출합니다. 우리는 다양한 상식 및 세계 지식 범주에 걸쳐 이러한 환경의 테스트 스위트를 구성하고, VLM 백본과 행동 헤드에 걸쳐 답변 관련 정보를 지역화하는 계층별 의도 프로빙을 소개합니다. 7개의 VLA 모델과 9개의 VLM 기준선에 대한 대규모 연구를 통해 범주별로 모델을 체계적으로 순위 매긴 결과, VLA는 간단한 개념에서는 견고한 성능을 보이지만 원본 VLM에 비해 더 풍부한 의미론적 범주에서는 더 큰 격차를 보이는 것으로 나타났습니다. 또한 VQA 공동 학습이 더 나은 지식 보유와 관련이 있으며, 답변 관련 신호는 중간 VLA 계층에서 정점을 찍고 상위 계층으로 갈수록 약화되는 것을 확인했습니다. Act2Answer는 https://tttonyalpha.github.io/act2answer/ 에서 확인할 수 있습니다.