PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27490v1cs.AI

WhatWorkedBench: AI 에이전트의 실험적 이해도 벤치마킹

WhatWorkedBench: Benchmarking Experimental Understanding in AI Agents

AI 연구 에이전트(agent)는 자신의 실험이 결과에 어떻게 영향을 미치는지에 대한 신뢰할 수 있는 지식이 필요합니다. 본 논문에서는 예산이 정해진 실험 후 구성 요소 변경에 대한 예측 정확도인 실험적 이해도를 측정하기 위한 WhatWorkedBench를 소개합니다. 에이전트는 코드를 검사하고, 측정값을 선택하며, 구성 요소 설정의 모든 구성에 대한 점수를 예측하는 표인 반응 표면(response surface)을 제출합니다. 완전 탐색 방식의 CPU 실행을 통해 다른 구성 요소를 고정한 상태에서 각 구성 요소를 변경할 때의 기준 효과를 제공합니다. 이러한 효과는 30개의 데이터 소스와 8개의 워크플로 유형에 걸친 36개 작업에서 1,248개의 구성 기록을 통해 변경 조합을 포착합니다. 핵심 평가는 8개 패밀리 전체에 걸친 4,206개의 수치 제어 기록과 원래 6개 패밀리에 걸친 108개의 에이전트 에피소드를 결합합니다. 8개의 새로운 측정값에서 쌍 효과 릿지(pair-effect ridge)는 22개 소스 중 15개에서 최적값을 선택하고, 3개 소스에서는 모든 효과 오류를 점수 범위의 10% 이내로 제한합니다. 동일한 에이전트 관측값에 가우시안 프로세스(GP)를 적합하면 실제 효과 크기 대비 정확도인 효과 복원율(effect recovery)이 기존 Flash 코호트에서는 0.632에서 0.698로, 추가 코호트에서는 0.621에서 0.720으로 향상됩니다. 완료된 6개의 비트 검출 및 그래프 제출물에서 동일 관측 GP는 패밀리-매크로 복원율을 0.303에서 0.455로 높입니다. 6개의 이진 옵션을 갖는 6개 워크플로에서 20개의 새로운 측정 시, 동일한 동작을 나타내는 구성인 코드 동등성을 인코딩하면 GP 복원율이 0.248에서 0.462로 향상됩니다. WhatWorkedBench는 실험 에이전트, 적응형 실험 설계, 수치 추론(inference), 프로그램 구조 활용에 관한 연구를 지원합니다.