PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.30199v2cs.AI

ExplorationBench: 검증 가능한 외계 세계에서의 AI 시스템 탐험 능력 측정

ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds

과학적 발견은 이미 알려진 문제가 끝나는 지점에서 시작됩니다. 이러한 영역에서 AI 시스템은 가설 설정, 실험 설계, 결과에 대한 반복적 개선과 같은 탐험(exploration)을 수행해야 합니다. 그러나 이러한 능력을 평가하는 것은 어렵습니다. (1) 완전히 새로운 가설이 성립하는지 검증하는 방법, 그리고 (2) 시스템이 탐험을 통해 이를 발견했는지 아니면 단순히 사전학습(pre-training) 데이터에서 관련 지식을 회상(recall)한 것뿐인지를 판별하는 방법이 난제이기 때문입니다. 이를 위해 본 논문에서는 검증 가능한 외계 세계(Alien Worlds)를 기반으로 구축되어, 과학적 탐험 평가라는 다루기 힘든 난제를 구체적이고 다루기 쉬운 프레임워크로 전환한 ExplorationBench를 소개합니다. 이 세계의 규칙들은 실행 가능하므로 모든 답을 정확히 확인할 수 있으며, 기존의 친숙한 지식과 상충되므로 단순한 기억이나 회상만으로는 과제를 해결할 수 없습니다. 이 벤치마크는 AlienCode(31개 발견 목표, 70개 과제)와 AlienLogic(24개 발견 목표, 70개 과제)이라는 두 개의 샌드박스로 구성됩니다. 각 샌드박스는 결함이 있는 매뉴얼, 과제별 환경 피드백, 전용 도구 호출(tool-call) 스키마를 제공합니다. 시스템은 이러한 자원을 활용해 샌드박스를 탐험한 뒤, 보류된(held-out) 과제를 해결합니다. 10개의 AI 시스템을 평가한 결과, 가장 강력한 시스템들은 생소한 규칙을 습득하고 적용할 수 있었으나, 수행 궤적(trajectory)에 따라 성능 편차가 크게 나타났으며 지속적인 탐험이 정체되거나 기존에 얻은 성과를 되돌리는 현상도 관찰되었습니다. ExplorationBench는 미지의 환경에서 탐험을 통해 완전히 새로운 지식을 습득하고 적용할 수 있는 AI 시스템을 향한 한 걸음을 제시합니다.