발견의 엔진으로서의 AI 과학자: 개혁된 제도 내 개발을 위한 주장
AI Scientists as Engines of Discovery: A Case for Development within Reformed Institutions
한국어 초록
에이전트형 인공지능(AI) 시스템은 문헌 종합, 코드 생성, 데이터 분석, 가설 제안, 모델 비판에 이르는 작업을 수행하며 과학적 발견을 보조하고, 가속하고, 부분적으로 자동화하기 시작했다. 우리는 이 전환이 점진적이 아니라 질적인 것이라고 주장하며, 적절히 설계된 멀티 에이전트 시스템이 수동적인 계산 도구에서 과학의 가설 생성 및 검증 역량을 확장할 수 있는 'AI 과학자'로 진화할 수 있다고 본다. 이러한 시스템은 목적에 부합하는 과학 생태계 내에서 개발되고 배포되어야 하며, 제도는 검증, 책임성, 해석 가능성, 이중 용도(dual-use) 안전성을 위해 재설계되어야 한다. 우리는 프로토타입 프레임워크 Denario로 예시된 멀티 에이전트 아키텍처가 발견 주기를 가속하고 인간이 도달할 수 없는 모델 공간을 탐색하는 방식의 개요를 제시하고, 이것이 저자성, 동료 심사, 인간 과학자의 지속적 역할에 대해 함의하는 바를 검토하며, AI를 단순한 도구가 아닌 인식론적 행위자(epistemic actor)로 거버넌스하기 위한 권고로 마무리한다.
원문 초록
Agentic artificial intelligence (AI) systems are beginning to assist, accelerate, and partially automate scientific discovery, performing tasks that span literature synthesis, code generation, data analysis, hypothesis proposal, and model criticism. We argue that this transition is qualitative rather than incremental, and that suitably designed multi-agent systems may evolve from passive computational tools into ``AI scientists'' that can expand the hypothesis-generating and verification capacity of science. Such systems must be developed and deployed within a scientific ecosystem fit for purpose: institutions must be redesigned for verification, accountability, interpretability, and dual-use safety. We sketch how multi-agent architectures, illustrated by the prototype framework \textit{Denario}, accelerate the discovery cycle and traverse model spaces beyond human reach; examine what this implies for authorship, peer review, and the enduring role of human scientists; and close with recommendations for governing AI as an epistemic actor rather than a mere instrument.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.22859v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
컴포넌트 테스트를 넘어서: 에이전틱 AI 시스템 검증
Beyond Component Testing: Validating Agentic AI Systems
에이전틱 AI(Agentic AI) 시스템은 계획(planning), 도구 사용, 메모리, 상호작용 및 적응을 결합한 다단계 궤적(trajectory)을 통해 동작합니다. 이러한 동작 특성으로 인해 수용 가능한 시스템 동작이 시간에 따라, 그리고 변화하는 환경 조건 하에서 결정이 어떻게 전개되는지에 좌우되므로, 검증(validation) 실무는 기존의 컴포넌트 테스트와 단발성 입출력 평가를 넘어서는 수준으로 확장됩니다. 본 체계적 매핑 연구(systematic mapping study)는 에이전틱 시스템의 검증 문제를 규명하기 위해 에이전트 평가, 소프트웨어 보증, 사이버-물리 시스템, 런타임 모니터링 및 규제 지침에 걸친 262편의 논문을 종합합니다. 본 검토는 행동적, 안전성(safety), 시간적, 규제적, 다중 에이전트 관심사를 다루는 5차원 분류 체계를 중심으로 구성되며, 해당 분류 체계를 사용하여 현재의 접근 방식을 매핑하고 접근 방식과 차원 간의 밀집 및 희소 조합을 식별합니다. 생성된 맵에 따르면 문헌은 행동 평가(262편 중 105편)에 집중되어 있으며 시간적 타당성(14편)이 가장 미흡한 것으로 나타났습니다. 규제 관련 연구는 주로 IEEE 색인 학술 행사에서 발표된 보증 케이스(assurance cases) 및 규제 분석에 기반하고 있으며, 다중 에이전트 연구는 주로 벤치마크에 집중되어 있습니다. 세 가지 교차 도메인 사례 연구(의료 케어, 산업 운영, 스마트 모빌리티 시스템)는 검토된 문헌에 기록된 실패 패턴을 바탕으로 안전이 중요한(safety-critical) 환경에서 5가지 분류 차원이 어떻게 반복적으로 나타나는지에 대한 운영적 예시를 제공합니다. 본 논문은 경계가 지정된 자율성(bounded-autonomy) 명세, 적대적 궤적 생성, 런타임 모니터링, 감사 가능한 증거 구조를 중심으로 한 수명 주기 지향적 연구 과제를 제시하며 마무리됩니다. 본 연구의 핵심 주장은 에이전틱 AI의 신뢰할 수 있는 배포가 고립된 컴포넌트만을 평가하는 것이 아니라 맥락 내에서 궤적을 검증하는 것에 달려 있다는 점입니다.
AI 에이전트가 과학 방정식을 발견하는 방법: 하이드로토프 재발견부터 새로운 수면파 진폭까지
How AI Agents Discover Scientific Equations: From Hydrotope Rediscovery to New Water-Wave Amplitudes
본 연구에서는 비선형 표면파 산란의 서로 다른 다항식 조각들을 하나의 전역적 표현으로 결합하는 최근 발견된 기하학적 공식인 하이드로토프(hydrotope)를 통제된 사례 연구로 활용하여, AI 에이전트(agent)가 과학 공식을 발견하고 검증하는 방식을 연구합니다. 이 문제는 겉보기와 달리 매우 까다롭습니다. 개별 주파수 영역 내에서는 단순한 공식이 성립할 수 있지만, 전역적인 결과를 얻으려면 이들의 경계를 식별하고 잠재적으로 활성화될 수 있는 기하급수적으로 많은 항들을 결합해야 하기 때문입니다. 우리는 인간-에이전트 협업을 통해 이 공식이 원래 어떻게 발견되었는지를 재구성하고, 힌트가 없는 조건과 두 가지 형태의 인간 안내(부정확한 사전 지식을 나타내는 거짓 힌트 및 도메인 지식 기반 통찰을 나타내는 참 힌트) 하에서 18회의 단일 프롬프트(prompt) 재발견 실행을 분석합니다. 단 4회만이 모든 운동학적 챔버(kinematic chamber, 즉 단일 다항식 형태가 적용되는 영역)에 걸쳐 공식을 복원하는 데 성공했으며, 대부분의 실패한 실행은 올바른 챔버 다항식을 찾기는 했으나 이를 결합하지 못하거나 전체 영역을 검증하는 데 실패했습니다. 기존의 기호 회귀(symbolic regression), LLM 지원 기호 회귀, 표준 머신러닝 회귀 모델 또한 우리의 실험에서 전역 공식을 복원하지 못했습니다. 이러한 실패 양상을 바탕으로, 우리는 총괄 책임 에이전트가 두 연구 에이전트에게 상호 보완적인 해석적 및 수치적 작업을 할당하고 그 결과를 독립적으로 평가하는 'PI+2인 학생(PI+two-student)' 워크플로를 테스트합니다. PI+2인 학생 팀은 완전한 하이드로토프 공식을 성공적으로 재발견했으며, 더 어려운 세 개의 음의 파수(three negative wavenumber) 문제에 동일한 워크플로를 적용하여 6점 진폭 $A_6$에 대한 독립적으로 검증된 새로운 해석적 표현식을 발견했습니다.
동적 추론을 위한 수정 인지 독립 에이전트 그래프
Revision-Aware Independent Agent Graphs for Dynamic Reasoning
기존의 추론 프로토콜은 고정되고 사전 선택된 작업을 제시하므로 에이전트가 관련 업데이트를 전파하는지, 영향을 받지 않은 작업을 보존하는지, 또는 과거의 작업 바인딩을 재구성하는지 테스트할 수 없습니다. 따라서 우리는 이벤트 스트림이 작업 바인딩을 수정하고 시스템이 문제를 해결하기 전에 각 쿼리 시점에 유효한 문서 버전을 선택해야 하는 동적 작업 라우팅(dynamic task routing)을 연구합니다. 이 문제를 연구하기 위해 MMLU, MMLU-Pro, MedMCQA, MATH, GPQA, HumanEval 등 널리 사용되는 6개 벤치마크를 373,428개의 시간별 분류 쿼리로 구성된 31,119개의 동적 에피소드로 재구성합니다. 이러한 설정은 모든 이벤트 후에 재계산하는 것은 작업을 낭비하는 반면, 무분별한 재사용은 오래된 결론을 반환한다는 핵심적인 트레이드오프를 드러냅니다. 우리는 결정론적 시간 해석(temporal resolution)과 작업 추론을 분리하는 유계 다중 에이전트(multi-agent) 정책인 수정 인지 독립 에이전트 그래프(Revision-Aware Independent Agent Graph, RIAG)를 소개합니다. RIAG는 불변 문서 식별자(immutable document identity)를 기반으로 솔루션을 캐싱하고, 각각의 새로운 작업을 노출되지 않은 두 번의 시도로 시작하며, 문서 버전당 최대 4회의 호출을 사용하여 감사 및 수정을 조건부로 호출합니다. 이 컬렉션에서 동종(homogeneous) RIAG는 쿼리당 0.62회 호출로 54.24%의 결합 라우팅 및 답변 정확도를 달성하여 가장 강력한 비교 방법의 쿼리당 18.00회 호출 시 32.22%와 대비되며, 이종(heterogeneous) RIAG는 쿼리당 0.63회 호출로 49.78%에 도달합니다.
Agent-Editing World Model: LLM 에이전트를 위한 월드 모델링 재고
Agent-Editing World Model: Rethinking World Modeling for LLM Agents
대규모 언어 모델(LLM)의 최근 발전으로 에이전트가 다양한 환경에서 장기(long-horizon) 과제를 수행할 수 있게 되었다. 에이전트 성능을 더 높이기 위해 기존 언어 월드 모델은 주로 환경 관측을 예측하지만, 실제 피드백을 사용할 수 있을 때 고엔트로피·실행 의존적 도구 응답을 재구성하는 것은 제한된 가치만 제공한다. 한편 에이전트는 \emph{과제 상태 오염(task-state contamination)}에 시달리는데, 근거 없는 가정과 낡은 계획이 이력에 남아 이후 결정을 왜곡한다. 우리는 도구 응답을 시뮬레이션하기보다 추론과 행동이 미래 과제 진행을 어떻게 형성하는지를 모델링하는 \textbf{Agent-Editing World Model (AEWM)}을 제안한다. AEWM은 \textsc{Critical}, \textsc{Exploratory}, \textsc{Noisy} 결정을 구분하는 \textbf{Action Judge}와 동일한 관측 이력에서 noisy한 추론–행동 연속을 편집하는 \textbf{State Revision}을 결합한다. \textbf{EditAct}는 이러한 기능을 실제 실행과 통합하여, 단순히 비평만 제공하는 대신 이후 결정의 기반이 되는 상태를 직접 변경한다. 우리는 중간 학습(mid-training)과 지도 미세조정을 통해 Search, Terminal, Software Engineering 영역에서 AEWM을 학습한다. AEWM은 Action Judge 벤치마크에서 70.5\% macro-F1을 달성하여, 가장 강한 프론티어 기준선보다 10.6점 높다. 여섯 벤치마크와 세 에이전트 백본에서 EditAct는 가장 강한 기준선 대비 평균 점수를 3.2–6.7점 향상시킨다. 또한 검증된 EditAct 궤적에 대한 거부 샘플링 미세조정(\textbf{AEWM-RFT})은 온라인 AEWM 가이던스 없이 세 도메인에서 Self-RFT 대비 2.2–2.6점 향상된다.
정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증
Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation
청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.
혼자서는 통과하지만 함께하면 실패한다: 병렬 LLM 에이전트 개발에서의 의미적 조율 벤치마킹
Passes Alone, Fails Together: Benchmarking Semantic Coordination in Parallel LLM-Agent Development
병렬로 동작하는 코딩 에이전트(agent)는 각자 단독으로는 잘 동작하지만 병합하면 실패하는 패치를 만들어 낼 수 있다. 이는 한 에이전트가 다른 에이전트가 여전히 의존하고 있는 인터페이스나 규칙을 변경할 때 발생한다. 우리는 의미적 조율(semantic coordination)을 평가하는 벤치마크 stale을 사용하여 이러한 실패를 연구한다. 우리의 평가는 각 패치를 단독으로 적용한 경우와 두 패치를 결합한 경우에 동일한 테스트를 실행하며, 패치를 결합했기 때문에 새로 발생한 실패만을 집계한다. 평가에는 세 가지 계층을 사용한다. 인터페이스 변경을 통제한 합성 과제, 병합된 풀 리퀘스트(pull request) 쌍, 그리고 실제 Django 헬퍼를 사용해 구성한 과제이다. 채점 절차를 수정한 후, 마이닝한 417개 Django 쌍에 대한 834회 실행 중 간섭이 나타난 경우는 단 한 건뿐이었다. 12개의 Django 헬퍼를 사용해 구성한 과제에서는 실행의 97%에서 간섭이 발생했다. 동시에 이루어진 변경이 완료되었음을 설명하는 메시지를 제공하자 실행의 82%가 복구되었다. 검토를 거친 풀 리퀘스트에는 해결되지 않은 병렬 변경이 거의 없을 수 있으며, 이는 실제 코드를 사용한 통제된 과제에서 에이전트가 실패하는 경우에도 마찬가지이다. 구성된 과제에서의 실패율은 이러한 문제가 실제로 얼마나 자주 발생하는지를 추정하는 값이 아니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.