로봇 화학 실험실에서 대규모 언어 모델 에이전트 스트레스 테스트
Stress-testing large language model agents in a robotic chemistry laboratory
AI는 지식, 추론, 계획 생성을 통해 평가되지만, 과학적 에이전시(scientific agency)는 신뢰할 수 있는 물리적 행동과 증거에 대한 적응을 요구한다. 본 연구에서는 과학적 에이전시를 측정 가능하게 하기 위해 로봇 화학 실험실을 물리 세계 테스트베드로 사용한다. 기계 판독 가능한 스킬(machine-readable skills)로 노출된 45개의 모듈형 워크스테이션을 통해 4,608회의 시험이 수행되었다. 실험실 제약 조건 하에서 전문가 평가를 거친 실행 가능한 워크플로를 생성한 시험은 3.3%에 불과했으며, 최고 성능 시스템조차 28.1%에 그쳤다. 장기 호라이즌 계획(long-horizon planning)은 여전히 과제로 남아 있었다. 실행 가능한 워크플로 중 30개 이상의 작업을 포함한 것은 단 3개뿐이었으며, 가장 긴 것은 44개였다. 5라운드에 걸쳐 실험 피드백은 국소적 조정을 유발했지만, 워크플로 수준의 재계획이나 분석 방법 재설계는 이루어지지 않았다. 물리적 실행 가능성과 증거 기반 재계획을 측정 가능하게 함으로써, 본 연구는 배포 준비도에 대한 증거 기반 평가와 물리적으로 그라운딩된(physically grounded) 자율 연구를 향한 폐루프(closed-loop) 개선을 안내하는 진단 프레임워크를 제공한다.