NAVI-Orbital: 자율 지구 관측을 위한 제로샷 비전-언어 모델의 최초 궤도 내 실증
NAVI-Orbital: First In-Orbit Demonstration of a Zero-Shot Vision-Language Model for Autonomous Earth Observation
한국어 초록
지구 관측 데이터 생성 속도가 다운링크 대역폭과 인간 개입 처리 방식을 초과함에 따라, 탑재 수집(onboard collection)과 실행 가능한 지상 정보 사이의 격차가 점점 벌어지고 있습니다. 이 논문은 저궤도(LEO) 우주선에 배포된 소프트웨어 시스템인 NAVI-Orbital을 소개합니다. 2026년 4월 16일, NAVI-Orbital은 저자들이 아는 한 완전히 탑재체 내에서 자율 멀티모달 추론을 수행하는 비전-언어 모델의 최초 궤도 내 실증을 달성했습니다. NAVI-Orbital은 로컬 비전-언어 모델(Gemma 3)을 사용하여 캡처된 각 장면을 분류하고, 해당 내용과 특징 간의 관계에 대한 텍스트 설명을 생성하며, 자연어 대화를 통해 운영자의 후속 질문에 응답합니다. 이 시스템은 기존 명령 시퀀스 대신 평이한 영어 프롬프트를 통해 재할당되며, 탐지와 대화를 위한 전용 에이전트를 조율하는 그래프 기반 상태 머신(LangGraph)에 의해 관리됩니다. 지상 벤치마킹(7,960장의 큐레이션된 AID 벤치마크에서 88.16% 정확도), 플랫샷 검증, 그리고 새로 획득한 이전에 본 적 없는 지구 영상의 실시간 궤도 내 캡처(비행 장비에 대한 미세조정 없이 하드웨어 가속 GPU 추론을 통해 온보드에서 처리된 보정되지 않은 YAM-9 영상 포함)에 걸친 결과는, 위성급 엣지 컴퓨터에서 파운데이션 모델을 실행하여 궤도 내 지구 관측의 의미적 압축을 통해 기존의 '획득 후 모두 다운링크' 대역폭 프로파일을 역전시키는 것의 실현 가능성을 입증합니다.
원문 초록
As Earth Observation data generation outpaces downlink bandwidth and human-in-the-loop processing, a widening gap has emerged between onboard collection and actionable ground intelligence. This paper presents NAVI-Orbital, a software system deployed on a Low Earth Orbit (LEO) spacecraft. On April 16, 2026, NAVI-Orbital achieved what is, to the authors' knowledge, the first in-orbit demonstration of a vision-language model performing autonomous multi-modal inference entirely onboard. NAVI-Orbital uses a local vision-language model (Gemma 3) to classify each captured scene, produce a text description of its content and the relationships between its features, and respond to operator follow-up via natural-language dialogue. The system is re-tasked through plain-English prompts in place of conventional command sequences, and is orchestrated by a graph-based state machine (LangGraph) coordinating dedicated agents for detection and dialogue. Results across ground benchmarking (88.16% accuracy on the 7,960-image curated AID benchmark), Flatsat validation, and live in-orbit captures of newly acquired, previously unseen Earth imagery (including uncorrected YAM-9 imagery, processed onboard with hardware-accelerated GPU inference and no fine-tuning for the flight instrument) demonstrate the feasibility of running foundation models on satellite-class edge computers to invert the conventional acquire-then-downlink-everything bandwidth profile through semantic compression of Earth observations in-orbit.
요약
NAVI-Orbital은 저궤도(LEO) 우주선 YAM-9에 Gemma 3 비전-언어 모델과 LangGraph 기반 탐지·대화 에이전트를 탑재해, 평이한 영어 프롬프트로 장면 분류·설명 생성·운영자 대화를 제로샷으로 궤도 내에서 수행한 최초 실증을 2026년 4월 16일 달성했다. AID 벤치마크 88.16% 정확도와 플랫샷·실시간 궤도 캡처 검증을 통해, 비행 장비 미세조정 없이도 위성급 엣지 GPU에서 파운데이션 모델로 관측 영상을 의미적으로 압축해 다운링크 대역폭 부담을 줄일 수 있음을 보였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18271v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹
Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets
멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.
효율적인 해양 환경 모니터링을 위한 위성 탑재 이상 탐지
On-Board Anomaly Detection for Efficient Marine Environmental Monitoring
해양 생태계는 기름 유출, 유해 조류 번식, 퇴적물 범람 등 서식지와 야생동물, 인간 활동을 방해하는 다양한 위협의 영향을 받습니다. 위성 영상과 인공지능(AI)의 발전은 이러한 위험 요소를 조기에 탐지하고 완화할 수 있는 역량을 향상시켰습니다. 본 논문에서는 다중분광 또는 초분광 센서를 탑재한 지구 관측 위성을 위한 해양 이벤트 탐지 파이프라인을 제안합니다. 제안하는 접근법은 위성 영상을 축소된 잠재 공간(latent space)으로 압축하여 효율적인 위성 탑재(onboard) 처리를 가능하게 하는 자기지도 학습(self-supervised) 신경망(neural network) 인코더를 포함합니다. 머신러닝 이상 탐지 모델(model)은 정상적인 해양 패턴으로부터의 편차를 식별하여 환경적 이상 현상을 감지합니다. 이 성능을 Isolation Forest, One-Class Support Vector Machine, Local Outlier Factor와 같은 전통적인 알고리즘과 비교합니다. 리소스 효율적인 경량 파이프라인은 임베디드 CPU부터 AI 하드웨어 가속기에 이르기까지 계산 자원이 제한된 위성에 배포할 수 있도록 최적화되었습니다. 중요한 정보의 전송을 우선시함으로써, 본 솔루션은 시스템 응답성을 높이고 위성 통신 대역폭을 최적화합니다. 유럽우주국(ESA)의 Phisat-2 미션 및 Microsoft/Thales Alenia Space의 IMAGIN-e 미션을 포함한 여러 실제 미션에 적용되어 입증된 이 파이프라인은 적시 경보와 효율적인 데이터 감축을 제공하여 해양 환경 모니터링을 개선하는 것을 목표로 합니다.
Frequency-Temporal Attention Network for Remote Sensing Imagery Change Detection
Hyperspectral Image Classification Using Deep Matrix Capsules
Local Window Attention Transformer for Polarimetric SAR Image Classification
BenchENAS: A Benchmarking Platform for Evolutionary Neural Architecture Search
토론
이 논문과 연결된 포럼 글이 아직 없습니다.