PAANI: 강 로봇 시뮬레이션을 위한 온디바이스 시각적 증거 융합 및 설명 가능한 가이던스
PAANI : On Device Visual Evidence Fusion and Explainable Guidance for River Robot Simulation
한국어 초록
이동형 하천 모니터링 로봇은 지리적 웨이포인트만으로는 설명할 수 없는 장애물과 수역 경계를 해석해야 한다. 자원이 제한된 플랫폼에서는 불완전한 시각 예측을 시의적절하고 검사 가능한 가이던스로 바꾸는 것이 별도의 과제이다. 객체 레이블이나 조향 명령만으로는 어떤 증거가 결정을 뒷받침하는지, 그 증거가 언제 신뢰할 수 없는지 설명되지 않는다. 우리는 프로젝트에서 학습한 YOLO11n 검출기와 맞춤형 MobileNetV3 Small 의미 분할기를 Arduino UNO Q에서 타임스탬프 정렬 증거 융합과 결합한, 온디바이스 지각-가이던스 아키텍처인 PAANI를 제시한다. bounded tracking은 객체 지속성을 제공하고, 명시적 통로(corridor) 정책은 수면 레이블, 수용된 검출, 긴급도, 마스크 불확실성을 결합한다. 각 최종 권고는 기여한 증거와 정책 근거를 노출한다. ROS 2 인터페이스는 로컬 AI 파이프라인을 별도의 Gazebo 선박, 위치 추정 및 제어 테스트베드와 연결한다. 학습에는 4클래스 검출용 WaterScenes 이미지 10,000장과 분할용 MaSTr1325 이미지 1,127장(분할 검증 이미지 198장 포함)을 사용한다. 선택한 FP32 ONNX 모델은 14.817 MB를 차지한다. 검출기 체크포인트 테스트 mAP(0.5 IoU)는 0.7388이며, 별도로 평가한 직사각형 ONNX 내보내기의 검증 mAP(0.5 IoU)는 0.7367이다. 분할 ONNX 검증 mIoU는 0.9750이다. 5분간 UNO Q 녹화에서 구성된 0.5 Hz 주기로 파이프라인 지연의 중앙값과 95백분위는 각각 467.8 ms와 580.3 ms였다. 평가에서는 검은 입력 오분류와, 진단용 겉보기 운동(apparent motion) 추정기가 충분한 증거를 수집하지 못하게 하는 샘플링 속도 불일치도 확인했다. 이 결과는 모델 정확도 및 온보드 실행과 검증된 수상 충돌 회피를 명확히 구분하면서, 검사 가능하고 재사용 가능한 엣지 로보틱스 기반을 뒷받침한다.
원문 초록
Mobile river monitoring robots must interpret obstacles and water boundaries that geographic waypoints alone cannot describe. On resource constrained platforms, converting imperfect visual predictions into timely and inspectable guidance is a distinct challenge. An object label or steering command does not explain which evidence supports a decision or when that evidence is unreliable. We present PAANI, an on-device perception to guidance architecture that combines a project trained YOLO11n detector and a custom MobileNetV3 Small semantic segmenter with timestamp aligned evidence fusion on Arduino UNO Q. Bounded tracking supplies object persistence, while an explicit corridor policy combines surface labels, accepted detections, urgency and mask uncertainty. Each final advisory exposes its contributing evidence and policy reasons. ROS 2 interfaces connect the local AI pipeline to a separate Gazebo vessel, localization and control testbed. Training uses 10,000 WaterScenes images for four-class detection and 1,127 MaSTr1325 images for segmentation, including 198 segmentation validation images. The selected FP32 ONNX models occupy 14.817 MB. Detector checkpoint test mAP at 0.5 IoU is 0.7388, while the separately evaluated rectangular ONNX export achieves validation mAP at 0.5 IoU of 0.7367. Segmentation ONNX validation mIoU is 0.9750. A five-minute UNO Q recording produced median and 95th percentile pipeline latencies of 467.8 ms and 580.3 ms at a configured 0.5 Hz cadence. The evaluation also identifies black input misclassification and a sampling rate mismatch that prevents the diagnostic apparent motion estimator from collecting sufficient evidence. These results support an inspectable and reusable edge robotics foundation while clearly distinguishing model accuracy and on-board execution from validated on-water collision avoidance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22353v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ARGOS: 컴퓨팅 연속체에서의 서비스 오케스트레이션을 위한 강화학습 기반 다차원 탄력성
ARGOS: Reinforcement Learning-Driven Multidimensional Elasticity for Service Orchestration in the Computing Continuum
컴퓨팅 연속체(Computing Continuum)의 데이터 집약적 서비스는 용량이 제한적이고 불균등한 이기종 노드 전반에서 분석 품질, 자원 사용량, 비용 간의 균형을 유지해야 합니다. 자원 스케일링이 용량 한계에 도달하면 수요 변화와 클러스터 압박을 클라이언트가 정의한 품질 범위를 위반하지 않으면서 흡수해야 하므로 이러한 균형을 맞추기가 특히 어려워집니다. 기존 오케스트레이터는 주로 자원, 배치 또는 복제본을 조정하는 반면, 커버리지, 샘플, 최신성과 같은 분석 요구사항은 고정된 상태로 유지합니다. 본 논문에서는 용량 인식 승인 제어(capacity-aware admission)의 지원을 받아 분석 품질 및 클러스터 압박에 대한 요청별 마르코프 결정 과정(MDP)으로 다차원 탄력성을 정형화하는 엔드투엔드 컨트롤러인 ARGOS(Adaptive Reinforcement Learning-Driven Governance for Orchestrated Services)를 제시합니다. ARGOS는 이기종 클러스터에서 통제된 워크로드와 시간에 따라 변하는 다중 테넌트 유입 환경을 바탕으로 평가되었습니다. 통제된 시나리오 전반에서 심층 강화학습 정책은 비학습 기반 베이스라인을 일관되게 능가하며 독립적으로 튜닝된 최적 고정 참조 모델에 근접했습니다. 별도의 실제 환경 평가에서는 현실적이고 포화된 유입 조건에서 정적 중간값 대비 성능 향상을 보였으며, 기록된 CPU 또는 메모리 위반은 없었으나 커버리지 위반은 일부 남아 있었습니다. 이러한 결과는 자원 스케일링만으로는 불충분할 때 심층 강화학습이 다차원 탄력성을 위한 적응형 메커니즘으로 유효함을 뒷받침합니다.
온보드 데이터 감축을 위한 임베디드 양방향 시계열 건물 피해 평가
Embedded Bi-Temporal Building Damage Assessment for On-Board Data Reduction
자연재해 발생 후 신속한 건물 피해 평가는 비상 대응을 지원하는 데 필수적입니다. 지구 관측(Earth Observation) 위성은 재해 직후 관련 영상을 획득할 수 있으나, 업링크 및 다운링크 용량과 지상 처리 지연 시간으로 인해 활용에 한계가 있습니다. 본 연구에서는 지상/우주 링크의 양단에서 정보를 압축하도록 설계된, YOLOX 기반의 샴 탐지기(siamese detector)로 구축된 양방향 시계열(bi-temporal) 건물 피해 평가 파이프라인을 통해 이 문제를 해결합니다. 지상에서는 재해 전 참조 이미지를 최대 64배까지 압축된 컴팩트한 잠재 공간(latent space)으로 인코딩하여 위성으로 업링크합니다. 온보드(on-board) 환경에서는 이 참조 이미지를 새로 획득한 재해 후 영상과 비교하여 다운링크가 전체 장면 대신 실행 가능한 객체 수준 결과물인 바운딩 박스와 피해 클래스만을 전송하도록 합니다. 이를 통해 양방향으로 교환되는 데이터가 절감되며, xBD 데이터셋에서 강력하게 압축된 참조 이미지를 사용하더라도 대부분의 탐지 성능을 유지합니다. 또한 온보드 획득 영상은 재해 전/후 간 잔차 동시 정합(co-registration) 오류가 발생하기 쉬우므로, 거친 특징 수준에서 전역 오프셋을 회귀하고 융합 전에 재해 후 특징을 재정렬하는 잠재 공간 이동 추정 및 보정 모듈을 도입합니다. 이 모듈은 특히 융합 전용 변형 모델들이 붕괴하는 큰 이동 상황에서 비정합에 대한 강건성을 크게 향상시키는 동시에 공칭 정확도를 높이고 가장 강력한 압축과도 호환성을 유지합니다. 마지막으로 이 파이프라인을 두 가지 임베디드 타깃인 Xilinx Versal VCK190과 NVIDIA Jetson AGX Orin에 포팅하고 하드웨어 성능(지연 시간, 처리량, 전력 효율성)을 보고합니다. 핵심 탐지기 및 압축 모듈은 두 타깃 모두에 깔끔하게 포팅되지만, 장거리 강건성에 필요한 연산자는 Jetson GPU에서만 실행 가능하며 Versal DPU에서는 지원되지 않습니다.
장기 객체 탐색을 위한 회고적 개방형 어휘 메모리
Retrospective Open-Vocabulary Memory for Long-Term Object Search
장기 객체 탐색(long-term object search)은 변화하는 환경을 반복적이지만 불균일하게 관측하면서 객체가 주로 어디에 나타나는지 학습해야 합니다. 본 논문에서는 회고적 개방형 어휘 메모리(retrospective open-vocabulary memory)를 중도 절단된 관측값(censored observations)으로부터의 확률적 추론(probabilistic inference) 문제로 정의하며, 핵심 아이디어는 기회당 증거(evidence per opportunity)를 바탕으로 추론하는 것입니다. 즉, 탐지 여부는 로봇이 해당 위치를 관측할 기회에 비례해서만 신념(belief)에 영향을 주어야 합니다. 본 연구에서는 이 원리를 활용하여 질의 시점에만 지정되는 개념에 대한 장기 유병률(long-term prevalence)을 추정하고, 도출된 신념을 능동적 탐색 사전 확률(active-search prior)로 직접 변환하는 ECROM을 제안합니다. 이 문제를 평가하기 위해 반복적인 탐색 경로 전반에 걸쳐 객체 배치와 관측 기회를 독립적으로 변화시키는 10개 HM3D 주택 환경 기반의 통제된 장기 벤치마크(benchmark)를 도입합니다. ECROM은 보류된(held-out) 질의에 대해 각 지표별 가장 강력한 경쟁 메모리 대비 지지 수준 AP(support-level AP)를 4.5점, 탐색 SPL을 4.2점 향상시킵니다. 벤치마크, 데이터셋, 코드는 오픈소스로 공개될 예정입니다. 프로젝트 페이지: https://jiaming.im/ecrom/
GeoScaffold: 효율적인 비전-언어 내비게이션을 위해 재구성을 통한 컴팩트 기하학적 잠재 표현 학습
GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation
최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.
BeeWhere: 행동 효과 정량화를 위한 뒤영벌 군집 인스턴스 세분화
BeeWhere: Segmenting Bumble Bee Colonies to Quantify Behavioral Effects
사회성 벌은 전 세계적으로 생물다양성과 농작물 수분을 지원하며 집단 행동 연구를 위한 중요한 모델 시스템 역할을 하는 핵심 화분 매개자이지만, 밀집되고 가림이 많은 둥지 환경에서는 개체 및 군집 수준의 행동을 대규모로 측정하기 어렵습니다. 기존의 모니터링 워크플로는 개체 식별을 유지하기 위해 기준 마커(예: ArUco) 태그를 사용하지만, 태그 기반 추적은 마커가 가려질 경우 실패할 수 있으며 신체 범위, 공간적 맥락, 태그가 부착되지 않은 개체에 대한 정보가 제한적이라는 단점이 있습니다. 본 논문에서는 고해상도 군집 이미지 및 비디오에서 뒤영벌의 행동을 정량화하기 위해 ArUco 검출과 딥러닝 기반 인스턴스 세분화(instance segmentation)를 결합한 AI 보조 어노테이션 및 분석 워크플로인 BeeWhere를 제안합니다. 동부호박벌(Bombus impatiens) 마이크로군집을 테스트 케이스로 활용하여 8,443개의 벌 인스턴스가 포함된 483개 프레임을 어노테이션했습니다. 추가로 꽃가루 덩어리, 둥지 구조, 챔버 경계를 어노테이션하고 후속 행동 분석을 위한 YOLO 인스턴스 세분화 모델을 학습(training)했습니다. 인스턴스 세분화를 통해 신체 윤곽을 기반으로 최근접 이웃 거리, 둥지 구조와의 근접도, 둥지 내 공간 점유율, 시간 경과에 따른 검출 수 등 중요한 행동 지표를 정량화할 수 있습니다. 네오니코티노이드계 살충제 노출이 행동에 미치는 영향을 평가하는 탐색적 검증(validation) 연구에서 태그 기반 추적에 BeeWhere 모델을 적용했습니다. BeeWhere는 특히 벌이 부분적으로 가려지거나 까다로운 이미징 조건일 때 태그 기반 추적 대비 검출률을 높였으며, 태그 기반 추적만으로는 포착하지 못했던 처리군 관련 벌들의 공간적 조직 변화도 포착했습니다. 이러한 결과는 인스턴스 세분화가 까다로운 군집 환경에서도 행동학적으로 유의미한 신호를 복원함으로써 기준 마커 기반 추적을 상호보완할 수 있음을 시사합니다.
SafeVantage: 신뢰할 수 있는 임바디드 의사결정을 위한 시점 인지 메모리
SafeVantage: Vantage-Aware Memory for Reliable Embodied Decisions
부분 관측성(partial observability) 환경에서 신뢰할 수 있는 임바디드(embodied) 의사결정을 내리려면 유의미한 관측과 충분한 뒷받침 증거가 필요합니다. 그러나 의미론적(semantic) 점수만으로는 어떤 시점(viewpoint)이 특정 주장을 뒷받침하는지, 또는 추가적인 증거를 어디서 확보해야 하는지 파악할 수 없습니다. 본 연구에서는 각 주장을 뒷받침하는 뷰, 카메라 포즈, 추정된 목표 위치를 보존하여 긍정적 지지(support)와 탐색 범위를 명확히 구분하는 시점 인지(vantage-aware) 의미 메모리 및 능동적 정보 획득 프레임워크인 SafeVantage를 소개합니다. 학습된 후보 관측 가능성(candidate-observability) 모델(model)은 주장 기반 지오메트리를 활용하여 도달 가능한 시점에서의 목표 가시성을 예측합니다. 이러한 예측은 이동 비용과 기하학적으로 구별되는 확증을 고려하여, 최종 결정 손실(loss)의 기대 감소량을 바탕으로 시점 선택을 유도합니다. 이후 보정된 헤드가 지지 증거, 공간적 일관성, 커버리지를 결합하여 'Yes', 'No', 또는 'Abstain(기권)' 결정을 내립니다. 저자들은 232개의 미확인 ProcTHOR 주택과 방법 및 행동 예산당 7,424개의 쌍을 이룬 에피소드에 걸친 범주 존재성 벤치마크(benchmark)에서 SafeVantage를 평가(evaluation)합니다. 검증(validation)을 통해 선정된 동일 예산의 베이스라인과 비교했을 때, SafeVantage는 8회 및 12회 행동 조건에서 각각 24.7%와 12.0%의 매크로-F1 향상을 달성하며, 두 예산 모두에서 더 낮은 위험과 더 높은 응답률을 기록했고 8회 행동 시 이동 거리를 31.7% 단축했습니다. 동일 입력 HM3D 실험에서는 고정 관측 환경에서 더 낮은 선택적 위험을 보였으며, 통제된 ScanNet 개입 실험을 통해 뒷받침 뷰를 복원하는 것이 다운스트림 VLM 응답을 개선함을 입증했습니다. 소거 연구는 후보 관측 가능성이 결정 품질과 정보 획득 효율성에 기여함을 추가로 뒷받침합니다. 본 결과는 의미 메모리, 능동적 정보 획득, 신뢰할 수 있는 의사결정을 연결하는 데 있어 주장 수준의 시점 증거가 지닌 가치를 보여줍니다. 코드는 https://safevantage.github.io 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.