arXiv:2606.18338v1 cs.LG

ThousandWorlds: 거주 가능한 외계 행성의 기후 에뮬레이션을 위한 벤치마크

ThousandWorlds: A benchmark for climate emulation of potentially habitable exoplanets

Edward T. Stevenson, Mei Ting Mak, Eric Wolf, Denis E. Sergeev, Tobi Hammond, N. J. Mayne, Miles Cranmer

제출 2026-06-16

한국어 초록

지구 밖 생명체 탐사는 거주 가능한 외계 행성의 대기에서 미약한 신호를 탐지하는 데 달려 있습니다. 이러한 신호를 해석하려면 모행성의 기후에 대한 이해가 필요합니다. 동일한 분자가 한 행성에서는 생명체의 신호일 수 있지만, 다른 행성에서는 비생물학적 화학(abiotic chemistry)의 결과일 수 있기 때문입니다. 전 지구 기후 모델(GCMs)은 이러한 이해를 제공하지만, 개별 실행에 수백만 코어 시간(core-hours)과 상당한 도메인 전문가의 시간이 소요될 수 있습니다. 머신러닝 에뮬레이터는 이러한 병목 현상을 해결할 수 있지만, 큐레이션된 다중 모델 외계 기후 데이터셋의 부재로 인해 진전이 제한되어 왔습니다. 우리는 외계 기후 에뮬레이션과 저데이터(low-data), 다중 시뮬레이터(multi-simulator), 매개변수-필드 회귀(parameter-to-field regression)라는 더 광범위한 영역을 위한 머신러닝용 벤치마크인 ThousandWorlds를 소개합니다. 이 데이터셋은 5개의 GCM에서 나온 약 1800개의 시뮬레이션을 포함하며, 8개의 행성 매개변수를 온도, 습도, 바람, 구름, 복사를 포함한 3차원 대기장으로 매핑합니다. 3개의 중첩된 하위 데이터셋은 점차 어려워지는 문제를 정의합니다: 단일 시뮬레이터 회귀, 완전한 관측치가 있는 다중 시뮬레이터 회귀, 그리고 구조적 결측(structured missingness)이 있는 다중 시뮬레이터 회귀입니다. 우리는 두 가지 평가 프로토콜을 제안합니다: 하나는 방법의 순위를 매기기 위한 것이고, 다른 하나는 GCM 간의 불일치에 대한 상대적인 성능을 측정하기 위한 것입니다. 간단한 방법, 심층 학습, 가우시안 프로세스에 걸친 7가지 기준 모델을 평가했습니다. GP 기반 방법이 가장 좋은 성능을 보였으며, 이는 ThousandWorlds가 기성 심층 학습(off-the-shelf deep learning)이 아직 성공하지 못한 영역을 드러낸다는 것을 시사합니다. 데이터: https://doi.org/10.57967/hf/8695. 코드: https://github.com/edstevenson/ThousandWorlds.

원문 초록

The search for life beyond Earth will depend on detecting faint signatures in the atmospheres of potentially habitable exoplanets. Interpreting those signatures requires understanding the host planet's climate: the same molecule may signal life on one planet and abiotic chemistry on another. Global climate models (GCMs) provide this understanding, but individual runs can require up to millions of core-hours and substantial domain expert time. Machine-learning emulators could remove this bottleneck, but progress has been limited by the absence of a curated, multi-model exoclimate dataset. We introduce ThousandWorlds, an ML-ready benchmark for exoclimate emulation and for the broader regime of low-data, multi-simulator, parameter-to-field regression. The dataset contains approximately 1800 simulations from five GCMs, mapping eight planet parameters to 3D atmospheric fields including temperature, humidity, winds, clouds, and radiation. Three nested subsets define progressively harder challenges: single-simulator regression, multi-simulator regression with complete observations, and multi-simulator regression with structured missingness. We propose two evaluation protocols: one for ranking methods, and one that measures performance relative to the disagreement between GCMs themselves. We evaluate seven baselines spanning simple methods, deep learning, and Gaussian processes. GP-based methods perform best, suggesting that ThousandWorlds exposes a regime where off-the-shelf deep learning does not yet succeed. Data: https://doi.org/10.57967/hf/8695. Code: https://github.com/edstevenson/ThousandWorlds.

요약

거주 가능한 외계 행성 대기 신호 해석에 필요한 기후 모델링 병목을 줄이기 위해, 5개 전 지구 기후 모델(GCM)의 약 1800개 시뮬레이션으로 구성된 외계 기후 에뮬레이션 벤치마크 ThousandWorlds를 제안한다. 8개 행성 매개변수에서 온도·습도·바람·구름·복사 등 3차원 대기장을 예측하는 저데이터 다중 시뮬레이터 회귀 과제에서 7가지 기준 모델을 평가한 결과, 가우시안 프로세스(GP) 기반 방법이 가장 우수하며 기성 심층 학습은 아직 성공하기 어려운 영역임을 보여준다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18338v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15722v1cs.CV공통 태그 Benchmarking, parameter estimation

PhySimCode: 물리 비디오-코드 생성을 위한 벤치마크 및 평가 방법

PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해와 코드 생성에 뛰어나지만, 비디오에 내재된 물리 법칙을 복원할 수 있는지는 명확하지 않다. 이는 비디오를 실행 가능한 시뮬레이션으로 변환하고 로보틱스에서 구조화된 물리적 감독(supervision)을 제공하는 데 필수적인 능력이다. 모션 비디오에 대한 캡션 생성이 모델이 그 지배 역학(governing dynamics)을 추론했거나, 정량적 매개변수를 추정했거나, 코드로부터 관찰된 장면을 재생성할 수 있음을 의미하지는 않는다. 기존 비디오-물리 벤치마크는 타당성(plausibility), 속성 추정, 미래 상태 예측을 평가하지만, 모델이 시각적 역학을 실행 가능한 시뮬레이션 코드로 변환할 수 있는지에 대해서는 제한적인 통찰만 제공한다. 우리는 물리 비디오-코드 생성을 위한 벤치마크인 PhySimCode를 소개한다: 원본 비디오만 주어졌을 때, 모델은 관련 물리를 추론하고, 매개변수 값을 복원하며, 입력 비디오를 재현하는 실행 가능한 Python 코드를 생성해야 한다. 이 데이터셋은 해석적(analytic) SciPy 시뮬레이션과 PyBullet으로 렌더링된 강체(rigid-body), 관절체(articulated), 유체(fluid), 접촉이 많은(contact-rich) 장면에 걸친 162개의 물리 현상을 다루는 160.6K개의 절차적으로 생성된 샘플을 포함한다. 각 샘플은 시뮬레이션 코드, 물리적 매개변수, 렌더링된 비디오, 그리고 관찰(observations), 법칙(laws), 상미분방정식(ODE), 수치 방법(numerical methods), 검증(validation) 검사를 다루는 구조화된 사고의 연쇄(chain-of-thought)를 함께 제공한다. 우리는 물리 법칙의 정확성, 시뮬레이션 동등성, 코드 실행 가능성, 매개변수 복원 측면에서 10개의 최신 비공개 및 공개 소스 MLLM을 평가한다. 모델들은 물리 법칙을 안정적으로 서술하지만(5점 만점에 4.27-4.93점), 비디오로부터 이를 추론하는 데에는 5점 만점에 1.51-2.47점만을 기록했으며, 최고 성능 시스템(Claude Sonnet 4.6)도 실제값(ground-truth) 매개변수의 ±20% 이내로 복원한 비율은 7.7%에 불과해, 비디오-시뮬레이션 간의 상당한 격차를 드러냈다. 2,430개 비디오로 구성된 평가 세트는 https://huggingface.co/datasets/SourajaKundu123/PhySimCode 에서, 평가 코드는 https://github.com/SourajaKundu/PhySimCode 에서 확인할 수 있다.

arXiv:2609.32123v2cs.AI공통 태그 Benchmarking, Gaussian Processes

READ-Bench: 시계열 진단을 위한 과거 사례 검색 벤치마크

READ-Bench: Benchmarking Historical Instance Retrieval for Time-Series Diagnosis

시계열 진단 시스템은 관련 과거 사례를 검색하는 방식에 거의 의존하지 않으며, 이를 활용하더라도 검색 성능은 다운스트림 예측을 통해서만 간접적으로 평가됩니다. 본 연구에서는 다변량 시계열을 중심으로 12개의 진단 데이터셋에 걸쳐 과거 사례 검색을 평가하는 벤치마크인 READ-Bench를 소개합니다. READ-Bench는 신호의 형태 대신 공유된 고장 또는 이벤트 유형을 기준으로 관련성을 정의하므로, 동일한 고장이라도 시각적으로 다른 파형은 관련 사례로 간주되는 반면, 서로 다른 고장의 유사하게 보이는 파형은 관련 사례로 간주되지 않습니다. 검색을 기본 검색기(base retriever)와 리랭커(reranker)의 결합으로 구성하여, 유의성 검정과 함께 지도 수준, 데이터 오염(pollution), 코퍼스 규모를 다양화하는 단일 프로토콜 하에서 고전적 거리 지표, 기호 기반 검색기, 자기지도학습 및 파운데이션 모델 임베더와 이들의 융합, 그리고 라벨 인지형 및 언어 모델 리랭커를 평가합니다. 공통의 채널 독립적 인터페이스에서 사전학습된 표현은 검색 단계 단독으로는 강력한 고전적 및 기호 기반 베이스라인 대비 통계적으로 유의미한 이점을 보이지 않았습니다. 결정적인 요인은 리랭킹 단계에서 해결된 사례에 대한 소량의 지도 학습, 즉 임베딩 공간에서 소수의 이웃 라벨을 전파하는 가우시안 프로세스(Gaussian-process) 리랭커의 활용이었으며, 이는 더 정교한 표현이나 언어 모델 추론보다 훨씬 더 큰 도움이 되었고 데이터 오염 및 전체 코퍼스 규모에서도 유효했습니다. 이러한 결과를 바탕으로, 본 연구는 상호 순위 융합(reciprocal-rank fusion)을 통해 정상 잔차 점수 기반 임베더와 동적 시간 워핑(dynamic time warping) 방식을 결합한 후 가우시안 프로세스 리랭커로 재순위화하여, 12개 데이터셋 전체에서 자체 검색 단계 대비 NDCG@10을 향상시켰으며(리랭킹으로 +0.11 향상), 가장 강력한 단일 기본 검색기 대비 +0.16의 향상을 달성했습니다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.