Google Earth AI 지리공간 추론(Geospatial Reasoning) 에이전트: 역량과 체계적 평가
Google Earth AI Geospatial Reasoning Agent: Capabilities and a Systematic Evaluation
한국어 초록
Google Earth AI는 지리공간(geospatial) AI 모델들의 패밀리와 이를 오케스트레이션하는 에이전트로 구성된다. 본 논문에서는 이 에이전트인 Google Earth AI의 Geospatial Reasoning 에이전트(GRA)를 소개한다. GRA는 Gemini 기반의 연구 시스템으로, 지리공간 데이터 소스, 파운데이션 모델, 그리고 도구들을 결합하여 우리 지구에 관한 질문에 답한다. GRA는 이러한 요소들을 모듈화된 도메인 스킬로 구성하고, 사전(upfront) 지리공간 계획과 결합하여 복잡한 질의를 다단계 워크플로우로 분해한다. 이러한 시스템을 평가하는 것은 어려운데, 실제 문제는 여러 타당한 워크플로우를 허용하고, 대규모 카탈로그 전반에 걸친 데이터 발견(data discovery)을 요구하며, 계속 변화하는 그라운드 트루스(ground truth)에 의존하기 때문이다. 우리는 두 가지 벤치마크를 도입하고 이들의 개발 분할(development split)을 공개한다. GeoExpertQueries는 실무자의 사용 사례(use case)에 기반하고 지리공간 전문가들에 의해 정제된 복잡한 분석 문제들을 제시한다. 각 문제는 세 명의 독립적인 전문가로부터 얻은 합의된 골든 워크플로우(golden workflow)와 짝을 이루며, 사람이 검증한 도구에 무관한(tool-agnostic) 오토레이터(autorater)에 의해 채점된다. GeoKTools는 필요한 도구 유형의 수를 체계적으로 변화시키는 결정론적(deterministic) 참조 솔버(reference solver)를 갖춘 템플릿화된 질의들로 구성된다. 우리는 또한 CBGB와 UnivEARTH라는 두 가지 외부 벤치마크를 사용하는데, 이 중 UnivEARTH는 포화(saturated) 상태임을 확인하였다. GRA의 도구와 에이전트적(agentic) 오케스트레이션의 기여를 분리하기 위해, 우리는 Gemini 3.1 Pro와 3.8 Flash 각각에 대해 네 가지 구성을 비교한다: 단독 LLM, 기본 도구를 갖춘 LLM, GRA의 스킬과 도구는 갖추었지만 사전 계획 및 실행 가이드는 없는 LLM, 그리고 GRA 자체이다. 기본 도구만 있는 경우, 고성능 모델은 템플릿화된 질의에서는 정답의 많은 부분을 복원하지만, 개방형(open-ended) 문제에서는 전문가 워크플로우의 작은 일부만을 충족시킨다. 반면 GRA는 두 경우 모두에서 우수한 성능을 보인다. 가장 큰 성능 향상은 GRA의 스킬과 도구로부터 나오며, 개방형 문제에서는 그 계획 및 실행 가이드가 Gemini 3.8 Flash와 결합될 때 추가적인 향상을 가져와, Flash가 더 낮은 비용으로 Pro와 동등하거나 이를 능가하는 성능을 내도록 한다.
원문 초록
Google Earth AI is a family of geospatial AI models, together with an agent that orchestrates them. We present this agent, Google Earth AI's Geospatial Reasoning agent (GRA), a Gemini-powered research system that combines geospatial data sources, foundation models, and tools to answer questions about our planet. GRA organizes these into modular domain skills and pairs them with upfront geospatial planning to decompose complex queries into multi-stage workflows. Evaluating such systems is hard: real-world problems admit multiple valid workflows, require data discovery across large catalogs, and rely on evolving ground truth. We introduce two benchmarks and release their development splits. GeoExpertQueries poses complex analytical problems grounded in practitioner use cases and refined by geospatial experts; each is paired with a consensus golden workflow from three independent experts and scored by a human-validated, tool-agnostic autorater. GeoKTools consists of templated queries with deterministic reference solvers that systematically vary the number of required tool types. We also use two external benchmarks, CBGB and UnivEARTH; the latter we find to be saturated. To isolate the contribution of GRA's tools and its agentic orchestration, we compare four configurations, each with Gemini 3.1 Pro and 3.8 Flash: a standalone LLM, the LLM with basic tools, the LLM with GRA's skills and tools but without its upfront planning and execution guidance, and GRA itself. With at most basic tools, an advanced model recovers much of the answer on templated queries but satisfies only a small fraction of the expert workflows on open-ended problems; GRA performs well on both. The largest step comes from GRA's skills and tools; on open-ended problems, its planning and execution guidance add a further gain with Gemini 3.8 Flash, letting Flash match or exceed Pro at lower cost.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때
Empty Commitments: When Agents Promise What They Cannot Deliver
"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.
스킬은 실제로 어떤 역할을 하는가? LLM 에이전트의 도구 및 스킬 활용에 대한 추정 대상과 평가 타당성: 비판적 고찰
What Does a Skill Actually Do? Estimands and Evaluation Validity for Tool and Skill Use in LLM Agents: A Critical Review
대규모 언어 모델(LLM) 에이전트에서 도구 및 재사용 가능한 스킬을 통해 보고되는 개선 사항들은 서로 다른 비교 기준을 참조합니다. 본 비판적 서술형 고찰(critical narrative review)은 이러한 평가들이 무엇을 추정하는지, 그리고 해당 평가 설계가 어떤 결론을 뒷받침하는지 검토합니다. 본 리뷰에서는 인용된 논문 100편의 역할을 점검하고, 35편의 연구에서 핵심적인 평가 설계를 상세히 추출합니다. 또한 출간되었거나 게재 승인된 35편의 추가 연구를 집중적으로 검토하여 도구 생성, 메모리, 상호작용형 벤치마크, 신뢰성 및 위험에 대한 범위를 확장합니다. 평가 설계는 처치 대비(treatment contrast), 목표 모집단, 결과, 예산 제약, 요약 척도 및 식별 가정을 바탕으로 특성화됩니다. 분석적 분해와 반례를 통해, 처치된 실행 내의 트리거를 조건으로 평가할 경우 동일한 작업에 대한 실행을 쌍으로 구성하는 것 자체만으로는 호출 효과(invocation effect)를 식별하지 못함을 보여줍니다. 쌍을 이룬 이득 및 성능 저하(regression) 횟수는 기대 결과가 악화되는 작업의 비율이 아니라 결합 프로토콜 하에서의 불일치를 설명합니다. 모듈 배포의 총 효과는 공통 예산 하에서의 효율성과는 다른 질문에 답합니다. 여러 연구 간의 비교를 통해 정선된 스킬 제공과 검색기(retriever) 대체를 구분하고, 작업 모집단과 트리거된 하위 집합을 구분하며, 준비 비용과 한계 사용 비용을 구분합니다. 출간 상태와 분석 깊이도 기록됩니다. 본 고찰은 도구 및 스킬에 대한 주장이 해당 평가 설계가 뒷받침하는 비교와 일치하도록 돕기 위한 방법론적 종합과 보고 체크리스트를 제공합니다.
HumanoidToolBench: 선택부터 이동 실행까지 휴머노이드 도구 사용 벤치마킹
HumanoidToolBench: Benchmarking Humanoid Tool Use from Selection to Mobile Execution
로봇 하드웨어와 학습 방법이 발전함에 따라, 휴머노이드가 고유한 물리적 한계를 뛰어넘는 작업을 수행하기 위해서는 도구가 필요합니다. 성공적인 도구 사용을 위해서는 적절한 도구를 선택하고 조작(manipulation)과 필요 시 보행(locomotion)을 조율하여 작업을 완료해야 합니다. 기존 벤치마크는 휴머노이드에서 이러한 능력들을 종합적으로 평가하지 못합니다. 본 논문에서는 3가지 시나리오, 3가지 실행 수준, 2가지 도구 세트 모드를 아우르는 18개 작업 벤치마크인 HumanoidToolBench와 함께, 시뮬레이션 및 실제 Unitree G1 로봇에서 수집된 3,100개의 시연(demonstration) 데이터셋인 ToolBook을 소개합니다. 시뮬레이션에서 7개 정책, 실제 로봇에서 3개 정책을 평가한 결과 적절한 도구를 선택하는 것과 작업을 완수하는 것 사이에 상당한 격차가 있음을 확인했습니다. GR00T N1.7에 대한 심층 분석 결과, 보지 못한(unseen) 도구에 대한 선택 정확도가 감소하고 무관한 지시문이 주어져도 작업을 계속 실행하는 문제가 나타났습니다. 코드와 데이터는 https://snu-pi.github.io/HumanoidToolBench/ 에서 확인할 수 있습니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
39 pages, 4 figures, 11 tables (10 main tables, 1 appendix table)