CMIP-Forge: 기후 과학을 검색, 연산하고 자체 검토하는 에이전트 시스템
CMIP-Forge: An Agentic System that Retrieves, Computes, and Self-Reviews Climate Science
한국어 초록
결합 모델 상호비교 프로젝트 6단계(CMIP6)는 모델 구성, 평가 절차, 창발적 제약 조건 및 예측 불확실성을 문서화한 수천 건의 동료 평가 논문을 생성했습니다. 커뮤니티가 CMIP7로 전환함에 따라, 실시간 데이터 분석과 함께 이 비정형 지식을 효율적으로 추출하고 운영화하는 것은 중요한 병목 현상입니다. 여기서 우리는 과학 문헌과 지구 시스템 그리드 연합(ESGF) 데이터 아카이브 사이의 격차를 해소하는 하이브리드 검색 증강 생성(RAG) 및 자율 분석 시스템인 CMIP-Forge를 소개합니다. 이 시스템은 6,581개의 CMIP6 관련 오픈 액세스 논문(101,828개의 인덱싱된 청크)으로 구성된 큐레이팅된 말뭉치를 에이전트 파이프라인과 결합합니다. 이 파이프라인에서 도구 보강 작업자(tool-augmented worker)는 실시간 기후 데이터에 대한 Python 워크플로우를 계획하고 실행하는 반면, 독립적인 검토자 모델 패널은 그 방법론을 종단 간(end-to-end) 감사합니다. CMIP-Forge는 추상 구문 트리(AST) 정적 분석, 감사된 과학적 프리미티브, 그리고 자율적인 적대적 동료 평가 프로토콜을 통해 물리적 및 방법론적 불변 조건을 강제하는 다층 심층 방어(Defense-in-Depth) 아키텍처를 도입합니다. 우리는 대기 원격 상관(atmospheric teleconnections), 해양 역학, 지역적 극한 기후 및 지구 온난화 예측에 걸친 종단 간 자율 연구 파이프라인을 통해 시스템의 기능을 입증합니다. 동료 평가 문헌에 기반을 두고, 자동화된 코드 가드레일(guardrails)에 의해 제약되며, 독립적인 적대적 검토 루프에 의해 감사되는 에이전트 분석 시스템은 복잡한 기후 연구 워크플로우를 자율적으로 완료할 수 있습니다. 동일한 실험은 검토 루프의 구체적인 실패 모드(아첨적 회귀, 해결되지 않는 REVISE 판정, 검토를 위한 스텁 코드 제출)를 드러내며, 각각은 논문과 함께 공개된 불변의 원격 측정 데이터 및 기원 기록에서 진단할 수 있습니다.
원문 초록
The Coupled Model Intercomparison Project Phase 6 (CMIP6) has generated thousands of peer-reviewed publications documenting model configurations, evaluation procedures, emergent constraints, and projection uncertainties. As the community transitions toward CMIP7, efficiently extracting and operationalizing this unstructured knowledge alongside live data analysis represents a critical bottleneck. Here we present CMIP-Forge, a hybrid retrieval-augmented generation (RAG) and autonomous analysis system that bridges the gap between scientific literature and Earth System Grid Federation (ESGF) data archives. The system pairs a curated corpus of 6,581 CMIP6-related open-access publications (101,828 indexed chunks) with an agentic pipeline in which a tool-augmented worker plans and executes Python workflows over live climate data, while a panel of independent reviewer models audits its methodology end to end. CMIP-Forge introduces a multi-layered Defense-in-Depth architecture that enforces physical and methodological invariants through executable mechanisms: Abstract Syntax Tree (AST) static analysis, audited scientific primitives, and an autonomous adversarial peer-review protocol. We demonstrate the system's capabilities through end-to-end autonomous research pipelines spanning atmospheric teleconnections, ocean dynamics, regional extremes, and global warming projections. An agentic analysis system grounded in peer-reviewed literature, constrained by automated code guardrails, and audited by an independent adversarial review loop can complete complex climate-research workflows autonomously. The same experiments expose concrete failure modes of the review loop (sycophantic regression, REVISE verdicts that are never resolved, and the submission of stub code for review), each diagnosable from the immutable telemetry and provenance record released with the article.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.17076v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Chat2Scenic: 자율주행 시나리오 생성을 위한 반복적 RAG 기반 프레임워크
Chat2Scenic: An Iterative RAG-Based Framework for Scenario Generation in Autonomous Driving
자율주행 시스템의 검증에는 다양하고 규제를 준수하는 테스트 시나리오가 필요하다. 시뮬레이션 기반 테스트에서는 시나리오가 실행 가능한 스크립트로 정의된다. 그러나 규제 설명으로부터 이러한 스크립트를 자동 생성하는 것은 여전히 미해결 과제이며, 기존 접근법들은 근본적인 트레이드오프에 직면한다. 검색-조립(retrieval-assemble) 방법은 합리적인 컴파일 성공률을 달성하지만 확장성이 부족한 반면, 검색 기반 전체 스크립트 생성은 낮은 컴파일 성공률을 겪는다. 우리는 도메인 특화 언어(Domain Specific Language, DSL)로 시나리오 스크립트를 생성하는 최초의 반복적 검색-증강 프레임워크인 Chat2Scenic을 제안한다. 구체적으로 Chat2Scenic은 대화형 시나리오 정교화를 지원하는 챗봇 인터페이스를 제공하고, 규제 지식과 DSL 문법에 시나리오 생성을 그라운딩(grounding)하기 위해 검색-증강 생성(RAG)을 통합한다. 또한 NHTSA 및 유엔(UN) 차량 규정을 비롯한 다양한 규제 및 기타 출처로부터 123개의 시나리오로 구성된 시나리오 생성용 공개 벤치마크를 제안한다. 최신(SOTA) 대규모 언어 모델(LLM)을 사용한 광범위한 평가를 통해 Chat2Scenic이 76.42%의 컴파일 성공률(Compilation Success Rate, CSR)과 58.17%의 프레임워크 정확도(Framework Accuracy, FA)를 달성하여 기존 방법들(검색-조립(Retrieval Assemble): CSR 30.08%, FA 11.03%; 검색 기반 전체 스크립트 생성(Retrieval full script generation): CSR 16.26%, FA 10.86%)을 능가함을 보여준다. 향후 연구를 위해 코드를 오픈소스로 공개한다: https://github.com/TUM-AVS/chat2scenic.
Proof-or-Stop: 에이전트를 믿지 말고 증거를 믿어라 -- 검증 가능한 증거 게이트 라이프사이클 제어를 위한 루프 엔지니어링
Proof-or-Stop: Don't Trust the Agent, Trust the Evidence -- Loop Engineering for Verifiable Evidence-Gated Lifecycle Control
자율 코딩 에이전트가 점점 더 다단계 소프트웨어 작업을 수행하고 있지만, reviewed, tested, DONE, ready-to-merge와 같은 라이프사이클 상태는 최신 증거로 뒷받침되지 않는 한 주장에 불과하다. 우리는 Proof-or-Stop Lifecycle Control을 제안한다. 이 방법은 신선하고 추적 가능한 소스 상태에 결합된 기계적으로 검증 가능한 증거가 관련 게이트를 충족할 때만 라이프사이클 전환을 허용한다. 이 방법은 에이전트 출력을 라이프사이클 상태가 아닌 주장으로 취급하며, proof를 운영적으로는 명시된 신뢰 모델 하에서 게이트 허용 증거를 의미하는 것으로 사용한다(의미론적 프로그램 정확성이 아님). 오픈소스 구현을 메커니즘 테스트, 통계적 검정력을 갖춘 제어 정책 ablation, 운영된 자기 적용(self-application) 증거를 통해 평가한다. 무인 루프 엔진은 10개 시나리오 모두를 통과했으며 false-DONE은 0건이었다. 로컬 키 영수증 번들은 18개 변조 클래스를 거부했으며 false accept는 0건이었다. 9,240셀 ablation에서 사전 등록된 A4 대 A2-prime 비교는 연산 예산 기반 naive loop 하에서 주입된 1,800셀 중 31건이었던 visible-pass/hidden-fail 증폭을 gated loop 하에서는 1,800셀 중 2건으로 줄였다. 이는 not-amplified rate에서 1.6 percentage point 개선이며 95% 신뢰구간은 [0.8, 2.5]이다. 거의 동일한 연산량의 A3 대 A4 비교(1,800 중 14건 대 1,800 중 2건)는 이득이 단순히 리뷰어를 추가하는 것이 아니라 review를 라이프사이클 게이트로 강제하는 것과 연관됨을 시사한다. 자기 적용 코퍼스에는 565개 스토리와 1,007개 리뷰 발견이 포함되며 94.8%가 해결되었고, 68행의 high/critical cross-vendor exhibit가 있다. 이러한 결과는 Proof-or-Stop이 라이프사이클이 어떤 자율 에이전트 주장에 행동할 수 있는지를 결정하는 모델 불문·호스트 중립적 제어 층으로서 타당함을 뒷받침한다. 평가는 하나의 모델 계열, 24개 ablation 태스크, 자체 호스팅 코퍼스로 제한된다.
GameReplica: 비전-언어 에이전트를 위한 블랙박스 시각적 게임 복제 벤치마크
GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.