신뢰할 수 있는 자율 과학을 향한 2년 커뮤니티 로드맵
Toward Trustworthy Autonomous Science: A Two-Year Community Roadmap
한국어 초록
1년 전 AISLE 로드맵은 자율 실험실이 고립된 섬처럼 운영되고 있다고 주장하며, 다섯 가지 핵심 차원을 중심으로 조직된 기층 네트워크를 제안했다. 그 이후 이 분야는 예상보다 빠르게 진전했다. 멀티 에이전트 시스템이 실험적으로 검증된 가설을 생산했고, 자율주행 실험실(self-driving laboratories)은 더 상호운용 가능하고 오케스트레이션된 형태로 성장했으며, 추론 학습 모델과 도메인 기초 모델이 역량 상한을 높였고, Genesis Mission이 자율 실험을 미국 연방 과학 전략의 중심에 두었으며, 산업계가 주요 주체로 부상했다. 진전은 냉정한 역류와도 맞닥뜨렸다. 여기에는 수정된 대표적 발견 결과, 폐쇄형 질문에서는 전문가에 필적하는 에이전트가 개방형 연구에서는 극히 일부만 완수한다는 벤치마크 결과, 그리고 주요 학술지에서 조작된 인용이 드러나는 사례가 포함된다. 우리는 이를 이 분야의 규정적 긴장으로 해석한다. 후보적 발견을 만드는 것은 더 이상 어려운 부분이 아니지만, 그것을 검증하는 것이 어려우며, 이 비대칭이 이제 원시 모델 역량보다 자율 과학을 더 제한한다. 우리는 로드맵을 일곱 차원으로 업데이트하며, 원래 다섯 가지를 재검토하고 이전에는 횡단적 관심사였던 신뢰·검증·재현성, 그리고 안전성·보안·거버넌스를 일급 지위로 격상시킨다. 원래 이정표(M1~M14)를 달성·부분 달성·재구성·미달성으로 평가하고, 네 가지 새 이정표(M15~M18)를 추가하며, 향후 2년 경로의 범위를 설정한다. 첫해는 인터페이스, 프로토콜 채택, 검증 스캐폴딩에 집중하고, 둘째 해는 연합, 제로 트러스트(zero-trust) 조율, 거버넌스를 목표로 한다. 전 과정에서 기층 네트워크를 국가 프로그램·국제 이니셔티브·상업 플랫폼이 재고립화되지 않고 연결되게 하는 상호운용성 기반으로 자리매김한다.
원문 초록
One year ago, the AISLE roadmap argued that autonomous laboratories operated as isolated islands and proposed a grassroots network organized around five critical dimensions. The field has since moved faster than anticipated. Multi-agent systems have produced experimentally validated hypotheses, self-driving laboratories have grown more interoperable and orchestrated, reasoning-trained and domain foundation models have raised the capability ceiling, and the Genesis Mission has placed autonomous experimentation at the center of U.S. federal science strategy, with industry emerging as a primary actor. Progress has met a sobering counter-current, including a corrected flagship discovery result, benchmarks showing that agents which rival experts on closed-ended questions still complete only a fraction of open-ended research, and fabricated citations surfacing at leading venues. We read this as the defining tension of the field. Producing a candidate discovery is no longer the hard part, but verifying it is, and this asymmetry now limits autonomous science more than raw model capability. We update the roadmap around seven dimensions, revisiting the original five and elevating two former cross-cutting concerns, trust, verification, and reproducibility, and safety, security, and governance, to first-class status. We assess the original milestones (M1 through M14) as achieved, partially achieved, reframed, or open, add four new milestones (M15 through M18), and scope the path forward to a two-year horizon. The first year concentrates on interfaces, protocol adoption, and the scaffolding of verification, and the second targets federation, zero-trust coordination, and governance. Throughout, we position the grassroots network as the interoperability fabric that lets national programs, international initiatives, and commercial platforms connect rather than re-silo.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.12113v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
에이전틱 대규모 언어 모델
Agentic Large Language Models
대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.
에이전틱 웹 기술 스택을 위한 기준선 평가
A Baseline Assessment for the Agentic Web Technology Stack
대규모 언어 모델(LLM) 기반 에이전트(agent)를 위한 프로토콜, 프레임워크 및 기술이 빠르게 제안되면서 최첨단 AI 솔루션을 구축하려는 이들에게 복잡한 상황이 야기되고 있습니다. 다양한 프로토콜, 프레임워크 및 라이브러리가 어떻게 함께 작동하여 에이전틱 웹(Agentic Web) 솔루션을 구성하는지에 대한 평가가 없다면, 개발자와 조직은 에이전틱 웹 생태계에 참여하기도 전에 다양한 과제(예: 역량 강화, 거버넌스, 인프라)에 직면하게 됩니다. 이러한 맥락에서 본 논문에서는 에이전틱 웹 평가를 수행하기 위한 시스템인 MASTIF(Multi-Agent System TestIng Framework)를 제안하고, 300개의 Mind2Web 벤치마크(benchmark) 태스크를 대상으로 3개의 LLM, 3개의 프로토콜, 4개의 에이전트 구현 프레임워크를 포함하는 에이전틱 웹 기술의 기준선(baseline) 평가를 제시합니다. 실험 결과에 따르면 태스크에 특화된 기술 스택을 선택할 경우 태스크 완료율, 효율성 점수 및 사회적 가치 안정성 점수가 향상될 수 있으며, 장황함(verbosity)과 태스크 완료 시간을 줄일 수 있는 것으로 나타났습니다. 본 논문에서 제시된 결과를 통해, 빠르게 발전하는 복잡한 환경 속에서 멀티 에이전트 시스템을 설계, 평가 및 개발하고자 하는 이들을 위한 지표 및 결과 측면의 기준선을 제시할 수 있을 것으로 기대합니다.
위성 영상을 활용한 건물 피해 평가 과제 재고
Revisiting the Task of Building Damage Assessment by Satellite Imaging
지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.
Agent4RE: 엔드투엔드 소프트웨어 요구공학 및 벤치마킹을 위한 자가 개선 다중 에이전트 프레임워크
Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking
소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.
스킬은 실제로 어떤 역할을 하는가? LLM 에이전트의 도구 및 스킬 활용에 대한 추정 대상과 평가 타당성: 비판적 고찰
What Does a Skill Actually Do? Estimands and Evaluation Validity for Tool and Skill Use in LLM Agents: A Critical Review
대규모 언어 모델(LLM) 에이전트에서 도구 및 재사용 가능한 스킬을 통해 보고되는 개선 사항들은 서로 다른 비교 기준을 참조합니다. 본 비판적 서술형 고찰(critical narrative review)은 이러한 평가들이 무엇을 추정하는지, 그리고 해당 평가 설계가 어떤 결론을 뒷받침하는지 검토합니다. 본 리뷰에서는 인용된 논문 100편의 역할을 점검하고, 35편의 연구에서 핵심적인 평가 설계를 상세히 추출합니다. 또한 출간되었거나 게재 승인된 35편의 추가 연구를 집중적으로 검토하여 도구 생성, 메모리, 상호작용형 벤치마크, 신뢰성 및 위험에 대한 범위를 확장합니다. 평가 설계는 처치 대비(treatment contrast), 목표 모집단, 결과, 예산 제약, 요약 척도 및 식별 가정을 바탕으로 특성화됩니다. 분석적 분해와 반례를 통해, 처치된 실행 내의 트리거를 조건으로 평가할 경우 동일한 작업에 대한 실행을 쌍으로 구성하는 것 자체만으로는 호출 효과(invocation effect)를 식별하지 못함을 보여줍니다. 쌍을 이룬 이득 및 성능 저하(regression) 횟수는 기대 결과가 악화되는 작업의 비율이 아니라 결합 프로토콜 하에서의 불일치를 설명합니다. 모듈 배포의 총 효과는 공통 예산 하에서의 효율성과는 다른 질문에 답합니다. 여러 연구 간의 비교를 통해 정선된 스킬 제공과 검색기(retriever) 대체를 구분하고, 작업 모집단과 트리거된 하위 집합을 구분하며, 준비 비용과 한계 사용 비용을 구분합니다. 출간 상태와 분석 깊이도 기록됩니다. 본 고찰은 도구 및 스킬에 대한 주장이 해당 평가 설계가 뒷받침하는 비교와 일치하도록 돕기 위한 방법론적 종합과 보고 체크리스트를 제공합니다.
위임 위험 대역: 중급 성능의 서브 에이전트가 상속된 오래된 상태를 과도하게 신뢰하는 이유
The Delegation Danger Band: Why Mid-Capability Sub-Agents Over-Trust Inherited Stale State
에이전트(agent) 프레임워크는 서브 에이전트를 포크(fork)하여 작업을 위임하는 방식을 점점 더 많이 채택하고 있으며, 흔히 자식 에이전트가 부모의 전체 작업 컨텍스트를 상속하도록 기본 설정되어 있습니다. 본 논문에서는 상속된 상태의 영향이 모델 성능에 따라 어떻게 달라지는지 측정하며, 여기서 $C_m$은 깨끗한 상태로 새로 포크되었을 때의 정확도(clean fork-fresh accuracy)를 나타냅니다. 고정된 폐쇄형 세트 및 행동 평가 벤치마크(benchmark)에서 동일 계열 모델 래더(ladder)(Qwen3 0.6/1.7/4/8B)를 대상으로 세 가지 상속 정책을 비교합니다: 리셋(Reset, 새로 포크: 기본 증거만 포함), 선택적(Selective, 선별된 전달: 유용한 이전 결론 추가), 전체(Full, 암시적 포크: 유용한 결론 및 대체된 결론의 $d$개 사본 추가). 모든 작업은 기본 증거만으로 해결 가능하므로, 성능 손실(loss)은 오래된 상태(stale state)에 대한 의존 때문인 것으로 볼 수 있습니다. (1) 2가지 합성 기본 작업과 MuSiQue 및 HotpotQA 전반에서 대체된 상태에 대한 복종은 측정된 성능 $C_m$에 따라 급격히 감소합니다(기울기의 신뢰 구간 CI는 모든 계열에서 0을 제외함). (2) Qwen3 합성 래더에서 순 상속 피해(net inheritance harm)는 비단조적 패턴을 따릅니다. 중급 성능 모델(Qwen3-1.7B)은 순 피해의 통계적으로 유의미한 국소 최솟값을 보이며, 새로 포크된 기준선(baseline)($Δ(32)=-0.19$ [-0.25, -0.12]) 및 양쪽 인접 모델보다 낮은 성능을 기록하는 반면, 가장 약한 모델은 중립에 가깝게 유지되고 가장 강한 모델(model)들은 견고함을 유지합니다. 저자들은 이처럼 유해한 성능 범위를 '위험 대역(danger band)'이라고 부릅니다. 모델 내 계산 난이도 스윕을 통해 동일한 $C_m$에서도 이 효과가 모델 클래스에 따라 달라짐을 확인했으며, 실제 부모-자식 간 포크 실험에서도 중간 모델의 성능 저하가 재현됩니다. (3) 선별된 선택적 전달은 3개 데이터셋(dataset) 모두에서 전체 상속 대비 평균 정확도를 향상시키며 위험 대역 내 모델에서 그 효과가 가장 컸던 반면, 고정 임계값 기반의 성능 라우터는 다른 데이터셋에서 실패했습니다. 전이 가능한 라우터는 재사용 이점과 오래된 컨텍스트 페널티 사이의 균형을 예측할 수 있어야 합니다. 해당 벤치마크는 동결되었으며 버전 해시가 적용되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.