PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02588v1cs.AI

Open-Endedness Bench: 에이전트 기록을 통한 인식론적 과정 측정

Open-Endedness Bench: Measuring Epistemic Process from Agent Records

에이전트(agent)는 직접 설계한 실험을 통해 경험적 법칙을 발견하거나, 아무도 최적해를 모르는 휴리스틱을 개선하거나, 기존 최고 기록을 갱신하는 것과 같은 개방형(open-ended) 연구 과제를 점점 더 많이 부여받고 있습니다. 이들의 실행 로그에는 이러한 연구의 모든 단계가 기록되지만, 실행 결과는 여전히 최종 결과 점수로만 평가됩니다. 그 점수만으로는 에이전트의 주장이 실행된 실험으로부터 도출된 것인지 입증할 수 없으며, 기준 정답이 존재하지 않을 수도 있습니다. 본 연구에서는 에이전트가 가설을 수립하고, 이를 검증하며, 증거에 따라 가설을 수정하는 방식인 인식론적 과정(epistemic process)을 평가합니다. 우리는 기준 정답이나 결과 점수를 전혀 참조하지 않고 에이전트의 실행 기록만을 읽는 벤치마크 불가지론적(benchmark-agnostic) 방법론인 OEB(Open-Endedness Bench)를 소개합니다. OEB는 기록을 통합된 인식론적 사건 그래프(epistemic event graph)로 컴파일하며, 이 그래프의 엣지는 에이전트가 진술한 명제와 이를 검증하는 실행된 행동을 연결합니다. 각 노드(node)는 코드를 통해 기록과 대조 검증되는 정확한 발췌문을 포함합니다. 평가에는 한 가지 원칙이 적용됩니다. 글로는 명제를 진술할 수 있지만, 실행된 행동이 반환한 증거만이 이를 뒷받침하거나 반박할 수 있으므로 OEB는 에이전트가 작성한 내용을 실제로 실행한 내용과 대조하여 확인합니다. 이 그래프로부터 OEB는 네 가지 역량 축(증거, 실험, 수정, 보상 해킹 방지)을 에이전트가 건전한 연구 기회를 활용한 비율을 중심으로 점수화하고, 에이전트의 연구 습관을 설명하는 여섯 가지 주관적 페르소나 특성을 프로파일링합니다. 우리는 세 가지 벤치마크(LLM 사후 학습(post-training), 칩 설계, 학습(training) 속도 기록)의 12개 과제에 걸쳐 기존 119개의 실행 기록을 평가했습니다. 기록된 결과와 비교했을 때 에이전트가 주장한 개선 사항 중 실제 개선된 것은 16~29%에 불과했습니다. 10개 과제 중 9개에서 최상의 실행 결과는 최악의 실행 결과보다 후반부에 더 많은 새로운 아이디어를 시도했습니다. 페르소나 측정치는 모델(model)을 따릅니다. 모든 특성에 대해 실행된 모델은 과제보다 실행 간 분산의 더 많은 부분을 설명했습니다(중앙값 기준 43% 대 7%).