arXiv:2411.05359 cs.CV

Agricultural Landscape Understanding At Country-Scale

Radhika Dua, Nikita Saxena, Aditi Agarwal, Alex Wilson, Gaurav Singh, Hoang Tran, Ishan Deshpande, Amandeep Kaur, Gaurav Aggarwal, Chandan Nath, Arnab Basu, Vishal Batchu, Sharath Holla, Bindiya Kurle, Olana Missura 외 20명

제출 2024-11-08

한국어 초록

포괄적인 농업 경관 이해는 식량 안보, 기후 변화, 자원 관리와 관련한 전 지구적 과제에 대응하는 데 매우 중요합니다. 이를 위해서는 작물 밭뿐 아니라, 글로벌 사우스에서 우세한 복잡한 소농(smallholder) 시스템을 이루는 나무와 수체 같은 중요한 요소까지도 매핑해야 합니다. 이러한 토지이용 지도를 개발하려는 기존의 노력은 밭 경계 구분에만 초점을 맞춘 방법론에 국한되어 있었고, 실제 배포에 필수적인 강건한 후처리 단계도 개발하지 못했습니다. 또한 우리가 아는 한, 소농 농가를 위한 기존 시스템이 국가 규모로 배포되고 평가된 사례는 없습니다. 본 연구는 단순한 밭 경계 구분을 넘어, 밭, 나무, 수체 같은 농업 개체의 분할을 가능하게 하는 최초의 국가 규모 농업 매핑 시스템을 제시함으로써 이러한 한계를 해결합니다. 저희 시스템은 지도의 일관성과 정확성을 보장하기 위한 새로운 후처리 휴리스틱을 사용해 실제 적용에 맞게 정교화되었으며, 엄격하고 다각적인 평가 과정을 통해 검증되었습니다. 이 시스템이 생성한 세밀한 토지이용 지도는 API(http://agri.withgoogle.com)를 통해 공개적으로 제공되며, 정밀 농업과 정책 수립부터 전 지구적 지속가능발전목표 진전에 이르기까지 다양한 응용을 가능하게 합니다.

원문 초록

Agricultural landscapes are quite complex, especially in the Global South where fields are smaller, and agricultural practices are more varied. In this paper we report on our progress in digitizing the agricultural landscape (natural and man-made) in our study region of India. We use high resolution imagery and a UNet style segmentation model to generate the first of its kind national-scale multi-class panoptic segmentation output. Through this work we have been able to identify individual fields across 151.7M hectares, and delineating key features such as water resources and vegetation. We share how this output was validated by our team and externally by downstream users, including some sample use cases that can lead to targeted data driven decision making. We believe this dataset will contribute towards digitizing agriculture by generating the foundational baselayer.

요약

국가 규모의 농업 경관을 정밀하게 이해하는 일은 식량 안보, 기후 변화 대응, 자원 관리와 직결되는 핵심 과제이며, 특히 글로벌 사우스(Global South)의 소농(smallholder) 체계처럼 작은 필지와 나무, 수체가 복잡하게 얽힌 환경에서는 더욱 어려운 문제입니다. 기존 연구가 주로 필지 경계 추출(field boundary delineation)에 머물렀던 것과 달리, 이 연구는 농경지(field)뿐 아니라 나무(tree)와 수체(water body)까지 함께 식별하는 국가 규모의 농업 매핑 시스템을 제안합니다. 핵심 방법론은 파놉틱 세그멘테이션(panoptic segmentation)을 활용해 각 농업 객체를 인스턴스 수준에서 분할하는 것으로, 이를 통해 단순히 “어디가 농지인가”를 넘어서 “각 객체가 어디서 시작하고 끝나는가”를 안정적으로 구분합니다. 이 접근은 의미론적 세그멘테이션(semantic segmentation)과 인스턴스 분할의 장점을 결합해, 복잡한 농업 경관에서 서로 다른 객체 유형을 동시에 다룰 수 있게 만든다는 점에서 의미가 큽니다. 또한 저자들은 모델 예측 결과를 그대로 사용하는 대신, 실제 지도 서비스에 필요한 일관성과 정확도를 높이기 위한 새로운 후처리 휴리스틱을 설계했습니다. 위성영상이 시간에 따라 여러 시점으로 관측되고, 넓은 지역을 효율적으로 처리해야 한다는 현실을 고려해 지구 표면을 S2 셀(S2 cell) 단위로 분할하고, 각 셀에서 얻은 결과를 벡터화(vectorization), 중복 제거(de-duplication), 병합(merging) 절차로 정리해 최종 지도를 구성합니다. 이러한 설계는 원격 탐사(remote sensing) 문제의 특성상 발생하는 분포 이동(distribution shift)과 시점 간 불일치를 완화하는 데 중요한 역할을 하며, 단순한 모델 성능 향상보다 배포 가능한 시스템 구축에 초점을 둡니다. 특히 작은 필지와 이질적인 토지 이용이 많은 환경에서는 일반적인 다중분광(multispectral) 위성자료와 전이학습(transfer learning)만으로는 한계가 크기 때문에, 후처리 단계까지 포함한 전체 파이프라인의 정교화가 필수적입니다. 이 시스템은 엄격하고 다면적인 평가를 통해 검증되었으며, 공개 벤치마크는 물론 현지 조사(in-situ survey)와 현장 검증(on-ground validation)까지 포함해 실제 활용 가능성을 확인했습니다. 그 결과 생성된 세밀한 토지 이용 지도는 응용 프로그래밍 인터페이스(Application Programming Interface, API)를 통해 공개되어, 정밀농업, 정책 수립, 관개 효율 분석, 탄소 감축, 그리고 지속가능발전목표(Sustainable Development Goals, SDGs) 달성 같은 다양한 분야에 활용될 수 있습니다. 더 나아가 이 연구는 인도 전역을 대상으로 국가 규모의 농업 경관 지도를 구현했다는 점에서, 소농 농업의 실제 구조를 대규모로 가시화한 첫 실용적 사례라는 의의를 갖습니다. 제한된 고해상도(Very High Resolution, VHR) 영상과 RGB(Red, Green, Blue) 채널 중심의 입력이라는 제약 속에서도, 저자들은 다층적인 후처리와 세밀한 분할 전략을 결합해 실사용에 적합한 성능을 확보했습니다. 결국 이 논문은 농업 경관 이해를 단일 객체 분류가 아닌 종합적 공간 인프라의 문제로 재정의하고, 국가 단위에서 작동하는 정밀 지도화 체계를 제시했다는 점에서 학술적·실무적 모두 큰 가치를 지닙니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23132v2cs.CV공통 태그 Decision Making

DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩

DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video

교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.

arXiv:2610.01834v3cs.AI공통 태그 Decision Making

시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다

Code Owns the Simulation, Jev Owns the Evaluation

Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.

arXiv:2607.20827v2cs.AI공통 태그 Decision Making

LLM 에이전트 행동 선택에서 출처 민감도 감사

Auditing Provenance Sensitivity in LLM Agent Action Selection

LLM 에이전트는 사용자 요청, 도구 출력, 검색된 레코드, 메모리, 신뢰할 수 없는 텍스트가 혼합된 컨텍스트에서 도구와 인자를 선택한다. 증거는 결정을 내릴 권한이 없어도 관련 있을 수 있으므로, 올바른 행동이라고 해서 반드시 허용된 증거에만 그라운딩된 것은 아니다. 우리는 각 도구 및 인자 대상에 대해 컨텍스트 요인을 별도로 라벨링하는 대상별 승인(authorization) 감사를 도입한다. 주요 테스트는 과제, 명제(proposition), 위치, 정책을 고정한 채 명제의 출처 권한(source authority)만 변경한다. 그런 다음 유효한 증거가 약화되었을 때의 행동을 테스트하고, 컨텍스트 부분집합 상호작용을 보조적 국소화(localization) 진단으로 사용한다. 450개의 통제된 다음 행동(next-action) 과제와 여러 오픈 가중치 LLM 계열에 걸쳐, 신뢰할 수 있는 변형과 신뢰할 수 없는 변형은 경쟁(competing) 사례의 5.4%에서, 대조적으로 지지(supporting) 사례의 1.7%에서 서로 다른 행동을 생성한다. 통제된 성능 저하(degradation) 하에서, 무권한 경쟁(unauthorized competition)은 full-correct, mixed-error, clean-correct 패턴에서 비교의 2.4%에서 유지되며, 95% 신뢰구간은 2.1~3.0%이다. 이는 배포 유병률(prevalence)이 아니라 통제된 스트레스 세트(stress-set) 비율이다. 모델은 텍스트적 출처 권한 단서에 반응하지만, 이는 신뢰할 수 없는 증거가 행동에 영향을 미치는 것을 막지 못한다.

arXiv:2610.10942v2cs.AI공통 태그 Decision Making

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.