자율 재료 발견에서 발산하는 전략과 수렴하는 결과
Divergent strategies and convergent outcomes in autonomous materials discovery
한국어 초록
과학 에이전트(scientific agents)는 주로 과제 완료 여부나 알려진 결과 재현 여부로 평가되지만, 본 연구는 반복된 개방형(open-ended) 캠페인 간 변이를 조사한다. 동일한 모델-하니스(model-harness) 구성으로 각각 독립 초기화된 16개 세션에 12,499개 금속-유기 골격(metal-organic frameworks)의 고정(frozen) 데이터베이스, 메탄 저장(methane-storage) 목표, 고정(pinned) 프로토콜, 1주 예산이 주어졌다. 전략은 100~5,000개를 스크리닝한 구조 범위를 아우르는 네 가지 접근으로 갈라졌고, 여덟 세션은 2,253개의 가설(hypothetical) 구조를 생성했다. 그럼에도 에이전트들은 약 200 cm^3/cm^3 부근의 동일한 재료 프론티어(materials frontier)를 회복했으며, 데이터베이스 다공(porous) 영역에 대한 독립 계산은 최상위 9개 구조가 모두 그들의 보고에 포함됨을 확인했다. 절반의 에이전트에 강제 검증(enforced checks)을 적용하면 신규 실행(fresh-run) 재현이 8개 중 1개에서 8개 중 8개로 늘었으나 결론 타당성(conclusion validity)은 눈에 띄게 개선되지 않았다. 16개 중 15개 에이전트가 동일한 감사 제외(audit-excluded) 항목, 즉 누락된 음이온(anion)이 인공적인 기공 부피(pore volume)를 만든 불완전 구조를 선택했기 때문이다. 따라서 복제(replicated) 에이전트는 견고한(robust) 결론과 공유 입력(shared inputs)에서 비롯된 공통 모드(common-mode) 오류를 함께 드러낸다.
원문 초록
Scientific agents are mostly evaluated on whether they complete tasks or recover known results; we instead study variation across repeated open-ended campaigns. Sixteen separately initialized sessions of one model-harness configuration received a frozen database of 12,499 metal-organic frameworks, a methane-storage objective, a pinned protocol and a one-week budget. Strategies diverged into four approaches spanning 100--5,000 screened structures, and eight built 2,253 hypothetical structures. Yet the agents recovered the same materials frontier near 200 cm^3/cm^3, and an independent calculation of the database's porous region found its nine best structures all among their reports. Enforced checks on half the agents raised fresh-run reproduction from one of eight to eight of eight but could not detectably improve conclusion validity, because fifteen of sixteen agents selected the same audit-excluded entry, an incomplete structure whose missing anions created artificial pore volume. Replicated agents thus reveal both robust conclusions and common-mode errors from shared inputs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23957v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MOF-VERIFY: MOF 가설 검증을 위한 실패 인식 에이전틱 하네스
MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification
대규모 언어 모델(LLM)이 AI 기반 재료 동료 과학자(Co-Scientist)의 추론 구성 요소로 점점 더 많이 활용되고 있지만, 이로 인한 검증 파이프라인의 신뢰성은 여전히 불분명합니다. 금속-유기 골격체(MOF)는 구조가 서로 다른 식별자로 나타날 수 있고, 합성 결과가 실험 조건에 크게 의존하며, 증거가 이종의 출처에 분산되어 있고, 일부 가설은 문헌뿐만 아니라 계산을 필요로 하기 때문에 특히 까다로운 환경을 제공합니다. 본 논문에서는 구조적 그라운딩(structural grounding), 합성 조건 검증, 증거 충분성 검증, 머신러닝 인터애토믹 포텐셜(MLIP) 기반 계산 검증을 포괄하는 네 가지 태스크 계열로 구성된 진단 벤치마크를 소개합니다. 지식 접근, 증거 획득 및 추론에서의 실패를 국소화하기 위해 T-MOF-1-3은 오픈북이 아닌 폐쇄형(closed-book), 검색 지원(retrieval-enabled), 오라클 증거(oracle-evidence) 설정에서 평가되며, T-MOF-4는 계산 검증을 별도로 평가합니다. 이렇게 진단된 실패 모드를 기반으로, 최종 판정을 내리기 전에 구조, 문헌, 증거 충분성 및 계산 병목 현상을 해결하는 실패 인식 에이전틱 하네스(agentic harness)인 MOF-Verify를 개발했습니다. 여러 백본 LLM에 걸쳐 MOF-Verify는 직접 추론(inference) 및 검색 기반 베이스라인 대비 가설 검증 성능을 대폭 향상시킵니다. 벤치마크 데이터셋은 https://github.com/IMMS-Ewha/MOF-Verify-Benchmark 에 공개되어 있습니다.
A Novel Ensemble Learning Approach to Unsupervised Record Linkage
Building a Scalable and Interpretable Bayesian Deep Learning Framework for Quality Control of Free Form Surfaces
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
ELMA: 장기 텍스트 기반 모션 생성을 위한 조응적 구성 벤치마킹
ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.