Autonomous Intraluminal Navigation of a Soft Robot using Deep-Learning-based Visual Servoing
원문 초록
Navigation inside luminal organs is an arduous task that requires non-intuitive coordination between the movement of the operator's hand and the information obtained from the endoscopic video. The development of tools to automate certain tasks could alleviate the physical and mental load of doctors during interventions, allowing them to focus on diagnosis and decision-making tasks. In this paper, we present a synergic solution for intraluminal navigation consisting of a 3D printed endoscopic soft robot that can move safely inside luminal structures. Visual servoing, based on Convolutional Neural Networks (CNNs) is used to achieve the autonomous navigation task. The CNN is trained with phantoms and in-vivo data to segment the lumen, and a model-less approach is presented to control the movement in constrained environments. The proposed robot is validated in anatomical phantoms in different path configurations. We analyze the movement of the robot using different metrics such as task completion time, smoothness, error in the steady-state, and mean and maximum error. We show that our method is suitable to navigate safely in hollow environments and conditions which are different than the ones the network was originally trained on.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SafeVantage: 신뢰할 수 있는 임바디드 의사결정을 위한 시점 인지 메모리
SafeVantage: Vantage-Aware Memory for Reliable Embodied Decisions
부분 관측성(partial observability) 환경에서 신뢰할 수 있는 임바디드(embodied) 의사결정을 내리려면 유의미한 관측과 충분한 뒷받침 증거가 필요합니다. 그러나 의미론적(semantic) 점수만으로는 어떤 시점(viewpoint)이 특정 주장을 뒷받침하는지, 또는 추가적인 증거를 어디서 확보해야 하는지 파악할 수 없습니다. 본 연구에서는 각 주장을 뒷받침하는 뷰, 카메라 포즈, 추정된 목표 위치를 보존하여 긍정적 지지(support)와 탐색 범위를 명확히 구분하는 시점 인지(vantage-aware) 의미 메모리 및 능동적 정보 획득 프레임워크인 SafeVantage를 소개합니다. 학습된 후보 관측 가능성(candidate-observability) 모델(model)은 주장 기반 지오메트리를 활용하여 도달 가능한 시점에서의 목표 가시성을 예측합니다. 이러한 예측은 이동 비용과 기하학적으로 구별되는 확증을 고려하여, 최종 결정 손실(loss)의 기대 감소량을 바탕으로 시점 선택을 유도합니다. 이후 보정된 헤드가 지지 증거, 공간적 일관성, 커버리지를 결합하여 'Yes', 'No', 또는 'Abstain(기권)' 결정을 내립니다. 저자들은 232개의 미확인 ProcTHOR 주택과 방법 및 행동 예산당 7,424개의 쌍을 이룬 에피소드에 걸친 범주 존재성 벤치마크(benchmark)에서 SafeVantage를 평가(evaluation)합니다. 검증(validation)을 통해 선정된 동일 예산의 베이스라인과 비교했을 때, SafeVantage는 8회 및 12회 행동 조건에서 각각 24.7%와 12.0%의 매크로-F1 향상을 달성하며, 두 예산 모두에서 더 낮은 위험과 더 높은 응답률을 기록했고 8회 행동 시 이동 거리를 31.7% 단축했습니다. 동일 입력 HM3D 실험에서는 고정 관측 환경에서 더 낮은 선택적 위험을 보였으며, 통제된 ScanNet 개입 실험을 통해 뒷받침 뷰를 복원하는 것이 다운스트림 VLM 응답을 개선함을 입증했습니다. 소거 연구는 후보 관측 가능성이 결정 품질과 정보 획득 효율성에 기여함을 추가로 뒷받침합니다. 본 결과는 의미 메모리, 능동적 정보 획득, 신뢰할 수 있는 의사결정을 연결하는 데 있어 주장 수준의 시점 증거가 지닌 가치를 보여줍니다. 코드는 https://safevantage.github.io 에서 확인할 수 있습니다.
필터링을 통한 LLM 기반 자율 웹 에이전트 성능 향상
Improving LLM-based Autonomous Web Agents with Filtering
대규모 언어 모델(LLM) 기반의 자율 웹 에이전트는 다단계 추론 및 의사결정 능력을 바탕으로 다양한 웹 기반 작업을 자동화하여 상당한 주목을 받아왔다. 이러한 에이전트 개발에서 미해결 연구 과제 중 하나는 웹페이지 입력의 형식이다. 방대하고 종종 무관한 세부 정보를 포함하는 원시 HTML 소스 코드는 제한된 컨텍스트 윈도우(context window)를 가진 LLM에 어려움을 초래한다. 이러한 문제를 해결하기 위해, 본 연구에서는 먼저 WebArena (Zhou et al., 2023) 벤치마크에서 GPT-3.5 및 LLaMA-2-70B와 같은 기준선(baseline) 모델들을 재현하여 공통적인 실패 양상을 식별한다. 그런 다음 LLM 에이전트를 위해 무관한 문맥을 걸러내는 두 가지 검색 전략을 제안한다. 작업과의 관련성에 따라 HTML 요소들의 순위를 매기는 DeBERTa 기반 및 T5 기반 모델을 개발한다. 이들을 Mind2Web 궤적 데이터에서 파인튜닝(fine-tuning)한 후 WebArena로 전이한다. 실험 결과, DeBERTa 기반 모델은 WebArena에서 LLaMA-2-70B LLM 에이전트의 성공률을 1.97%에서 2.96%로 향상시키는 것으로 나타났다. 나아가, Mind2Web에서 0.52, WebArena에서 0.47의 재현율(recall)로 정답 요소를 검색할 수 있는 제로샷(zero-shot) ColBERT 기반 리트리버를 개발한다.
VLM-LLM 추론과 도달 가능성 분석을 통한 안전한 다중 로봇 협업
Safe Multi-Robot Coordination via VLM-LLM Reasoning and Reachability Analysis
로봇마다 센싱 능력, 환경 인식 수준, 모션 실행 역할이 상이한 이종 사물통신(M2M) 로봇 시스템에서는 안전한 협업을 달성하기 어렵습니다. 본 논문에서는 비전 기능이 있는 4족 보행 로봇과 카메라가 없는 로봇 차량으로 구성된 이종 모바일 로봇 팀의 협력적 목표 지향 내비게이션을 위한 중앙 집중식 안전 인식 M2M 프레임워크를 제안합니다. 본 연구의 목표는 정적 및 동적 장애물을 회피하고 로봇 간의 불안전한 상호작용을 방지하면서 두 플랫폼을 목표 영역으로 유도하는 것입니다. 공유 인지의 원리에 따라 비전 기능 로봇은 MQTT 브로커를 통해 중앙 집중식 서버로 의미론적 환경 인식을 제공하며, 카메라가 없는 플랫폼은 자체 주행거리계(odometry), IMU, 상태 피드백과 함께 이 공유된 장면 표현을 활용하여 내비게이션을 수행합니다. 비전-언어 모델(VLM)이 시각 스트림을 해석하고, 추출된 의미론적 데이터는 팽창된 장애물 집합, 안전 회랑, 목표 영역을 포함한 보수적인 미터법 기하학적 제약 조건으로 매핑됩니다. 대규모 언어 모델(LLM)은 상위 수준의 작업 할당을 제안하는 반면, 물리적 명령 권한은 로봇별 조노톱(zonotope) 도달 가능성 게이트로 제한됩니다. 이 검증 엔진은 명령을 승인하기 전에 독립적인 도달 가능 튜브(reachable tube)를 전파하여 장애물 회피, 안전 회랑 포함 여부, 로봇 간 분리 술어를 평가합니다. 경로가 트인 시나리오와 동적 장애물 시나리오 전반에 걸친 온라인 실험을 통해, 이 파이프라인이 안전한 모션을 안정적으로 승인하고, 제약 조건 위반 시 보수적인 재계획 또는 정지 기동을 유발하며, 자문적 의미론적 추론과 정형 검증된 모터 실행 간의 엄격한 구조적 분리를 강제함을 보여줍니다.
공간 트랜스포머로 추론 공간에서 AI 에이전트 집합체 제어
Controlling Collectives of AI Agents in Reasoning Space with Spatial Transformers
대규모 언어 모델(LLM)은 로보틱스에서 계획 및 내비게이션을 위한 흥미로운 새로운 패러다임을 제시하지만, 팀 규모가 커질수록 단순한 다로봇 과제에서도 실패한다. 본 논문은 추론 공간 피드백 제어로 대규모 에이전트형 로봇 집합체를 제어하기 위한 확장 가능하고 분산형 다로봇 아키텍처인 COMPASS를 제안한다. 피드백은 각 로봇에서 로컬로 생성되며, 공간 트랜스포머가 함대 전체의 다중 홉(multi-hop) 메시지를 집계하여 학습된 피드백 토큰으로 만든다. 실험 결과, 언어 모델 집합체는 입력 명령의 구조화된 다양성으로 성능 향상을 보이며, 이는 편향을 상쇄할 수 있다. 이 이점은 규모 전반에 걸쳐 유지된다. 중앙집중형 최신 LLM 정책 및 언어만 사용하는 통신 ablation과 비교했을 때, COMPASS의 결합 설계는 명령된 의도를 정확히 수행하는 응집력 있는 flocking formation을 결정적으로 생성함을 확인했다. 추론 피드백은 컴팩트한 학습된 토큰과 결합할 때 가장 잘 작동함을 보인다. ablation 실험은 원시 상태가 언어 채널에 나타나는 수작업 피드백이 응집력을 파괴함을 보여준다. COMPASS는 모호한 의미의 보지 못한 지시에 제로샷으로 일반화하며, 학습 규모의 최대 16배까지의 군집을 지휘하고, 자연어 명령 하에 최대 1024대의 로봇을 비행시킨다.
PAANI: 강 로봇 시뮬레이션을 위한 온디바이스 시각적 증거 융합 및 설명 가능한 가이던스
PAANI : On Device Visual Evidence Fusion and Explainable Guidance for River Robot Simulation
이동형 하천 모니터링 로봇은 지리적 웨이포인트만으로는 설명할 수 없는 장애물과 수역 경계를 해석해야 한다. 자원이 제한된 플랫폼에서는 불완전한 시각 예측을 시의적절하고 검사 가능한 가이던스로 바꾸는 것이 별도의 과제이다. 객체 레이블이나 조향 명령만으로는 어떤 증거가 결정을 뒷받침하는지, 그 증거가 언제 신뢰할 수 없는지 설명되지 않는다. 우리는 프로젝트에서 학습한 YOLO11n 검출기와 맞춤형 MobileNetV3 Small 의미 분할기를 Arduino UNO Q에서 타임스탬프 정렬 증거 융합과 결합한, 온디바이스 지각-가이던스 아키텍처인 PAANI를 제시한다. bounded tracking은 객체 지속성을 제공하고, 명시적 통로(corridor) 정책은 수면 레이블, 수용된 검출, 긴급도, 마스크 불확실성을 결합한다. 각 최종 권고는 기여한 증거와 정책 근거를 노출한다. ROS 2 인터페이스는 로컬 AI 파이프라인을 별도의 Gazebo 선박, 위치 추정 및 제어 테스트베드와 연결한다. 학습에는 4클래스 검출용 WaterScenes 이미지 10,000장과 분할용 MaSTr1325 이미지 1,127장(분할 검증 이미지 198장 포함)을 사용한다. 선택한 FP32 ONNX 모델은 14.817 MB를 차지한다. 검출기 체크포인트 테스트 mAP(0.5 IoU)는 0.7388이며, 별도로 평가한 직사각형 ONNX 내보내기의 검증 mAP(0.5 IoU)는 0.7367이다. 분할 ONNX 검증 mIoU는 0.9750이다. 5분간 UNO Q 녹화에서 구성된 0.5 Hz 주기로 파이프라인 지연의 중앙값과 95백분위는 각각 467.8 ms와 580.3 ms였다. 평가에서는 검은 입력 오분류와, 진단용 겉보기 운동(apparent motion) 추정기가 충분한 증거를 수집하지 못하게 하는 샘플링 속도 불일치도 확인했다. 이 결과는 모델 정확도 및 온보드 실행과 검증된 수상 충돌 회피를 명확히 구분하면서, 검사 가능하고 재사용 가능한 엣지 로보틱스 기반을 뒷받침한다.
추상 지시로부터 상식 기반 경로 계획
Commonsense-Grounded Path Planning from Abstract Instructions
우리는 추상적 지시를 상식을 따르는 경로로 바꾸는 새로운 경로 계획기인 \emph{commonsense ranked search}(CoRS)를 제안한다. 기존 방법은 사전에 명시된 고려사항은 반영하지만, 사람들 사이에서 일하는 로봇은 명시되지 않은 고려사항도 따라야 한다. 예를 들어 작업자가 지시 없이도 피하는 젖은 바닥이 그렇다. CoRS는 계획 과정에서 이러한 잠재적 고려사항을 추론하기 위해 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)을 상식 지식으로 활용한다. 추상적 지시(\emph{e.g.}, ``move carefully'')와 환경의 각 영역에 대한 시각 관측이 주어지면, CoRS는 각 영역에 대한 고려사항을 도출한다. 예를 들어 ``this wet floor is slippery and worth a detour.''와 같다. 그다음 영역 간 고려사항을 비교하여 로봇이 둘 중 어느 쪽을 더 피해야 하는지 판단한다. 예를 들어 ``the crowd is worse than the wet floor.''와 같다. 이러한 판단은 영역들을 상식 순위로 정렬하고, 그 순위에서 나온 비용이 항상 유효한 경로를 반환하는 기존 탐색을 이끈다. 잠재적 고려사항 하에서의 계획을 위한 벤치마크를 구축했으며, 세 가지 환경, 1350개 문제, 세 단계 추상화 수준의 다섯 가지 지시를 포함한다. 실험 결과 CoRS는 명시되지 않은 고려사항을 발견하고, 우회할 가치가 있는 것은 돌아가며 나머지는 통과하는데, 이는 최근 LLM 기반 경로 계획기들이 달성하지 못하는 행동이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.