arXiv:1709.05439

To Go or Not To Go? A Near Unsupervised Learning Approach For Robot Navigation

Noriaki Hirose, Amir Sadeghian, Patrick Goebel, Silvio Savarese

제출 2017-09-16

원문 초록

It is important for robots to be able to decide whether they can go through a space or not, as they navigate through a dynamic environment. This capability can help them avoid injury or serious damage, e.g., as a result of running into people and obstacles, getting stuck, or falling off an edge. To this end, we propose an unsupervised and a near-unsupervised method based on Generative Adversarial Networks (GAN) to classify scenarios as traversable or not based on visual data. Our method is inspired by the recent success of data-driven approaches on computer vision problems and anomaly detection, and reduces the need for vast amounts of negative examples at training time. Collecting negative data indicating that a robot should not go through a space is typically hard and dangerous because of collisions, whereas collecting positive data can be automated and done safely based on the robot's own traveling experience. We verify the generality and effectiveness of the proposed approach on a test dataset collected in a previously unseen environment with a mobile robot. Furthermore, we show that our method can be used to build costmaps (we call as "GoNoGo" costmaps) for robot path planning using visual data only.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02974v1cs.RO공통 태그 Navigate, Robot Navigation

언어 사전분포에서 현장 적응까지: 주행 가능성 추정을 위한 선호도 학습

From Language Priors to Field Adaptation: Preference Learning for Traversability Estimation

이미지 기반 주행 가능성(traversability) 추정은 로봇 플랫폼, 배포 도메인, 임무 선호도에 본질적으로 의존하므로, 특정 목적에 맞춰 학습된 모델의 적용 가능성을 제한합니다. 도메인 적응을 용이하게 하기 위해, 본 연구는 샘플 효율적인 선호도 학습을 사용하여 타깃 도메인에서 필요한 어노테이션 수를 줄이는 것을 목표로 합니다. 제안하는 방법은 동결된 비전-언어(vision-language) 특징(feature) 공간에서 폰 미제스-피셔(von Mises-Fisher) 혼합 프로토타입을 통해 주행 가능성을 표현합니다. 상대적 자연어 규칙은 상식적 사전분포(commonsense prior)를 제공하는 한편, 희소한 상대적 이미지 어노테이션은 계산 및 샘플 효율적인 미세조정(fine-tuning)을 통해 프로토타입의 방향과 효용을 타깃 도메인에 적응시킵니다. WayFAST에서의 실험은 샘플 효율적인 이미지 기반 적응을 가능하게 하면서도 엔드투엔드(end-to-end)로 학습된 추정기와 대등한 정확도를 보임을 입증합니다. 정성적 실험은 언어 사전분포의 제로샷(zero-shot) 적용 가능성과 미세조정된 추정기가 시맨틱 맵에서 향상된 조밀 예측(dense prediction)을 수행함을 추가로 보여줍니다. 또한 의미상 가까운 자연어 프롬프트를 분석하여 학습된 프로토타입의 의미론적 해석을 통해 평가를 보완합니다. 코드와 학습된 추정기는 https://resireg.github.io 에서 확인할 수 있습니다.

arXiv:2607.20785v1cs.RO공통 태그 Navigate, Robot Navigation

Robostral Navigate

Robostral Navigate

내비게이션 시스템을 대규모로 배포하려면 센서 가정을 최소화하고, 로봇 형태에 걸쳐 일반화하며, 효율적으로 학습할 수 있는 방법이 필요하다. 그러나 오늘날 최고 수준의 시스템은 깊이 센서, 다중 카메라 장치, 또는 사전 구축된 지도에 의존하여 지원하는 하드웨어를 제한하고 배포 비용을 증가시킨다. 우리는 이러한 확장성 목표를 중심으로 구축된 80억 파라미터 비전-언어 모델 Robostral Navigate를 제안한다. 이 모델은 로봇 플랫폼 전반에서 가장 보편적인 센서인 단안 RGB 이미지 스트림만 입력으로 받으며, 현재 카메라 시야에서 다음 목표 위치를 가리키는 방식으로 웨이포인트(waypoint)를 예측한다. 로봇별 좌표계가 아닌 순수하게 이미지 공간에서 동작하기 때문에, 정책은 카메라 내부 파라미터와 장면 스케일 변화에 자연스럽게 견고해지며, 재보정 없이 바퀴형, 다리형, 공중 로봇에 배포할 수 있다. 우리는 실제 세계 데이터 수집에 대한 의존을 줄이고 쉽게 확장하기 위해 35만 개의 시뮬레이션 장면에서 240만 개의 궤적을 생성한다. 또한 전체 에피소드를 단일 학습 시퀀스에 패킹하는 접두 문맥 캐싱(prefix-caching) 학습 방법을 도입하여, 학습 토큰을 22배 줄이고 학습 시간을 수개월에서 수일로 단축했다. 트리 기반 어텐션 마스크는 이전 정답 행동에 대한 조건화를 방지하여 시각적으로 그라운딩된 행동 예측을 촉진하며, 강화학습을 사용해 탐험 및 복구 능력을 더욱 향상시킨다. 연속 환경 Room-to-Room 및 Room-Across-Room(R2R-CE 및 RxR-CE) 벤치마크에서 Robostral Navigate는 새로운 최고 수준을 기록했다. R2R-CE에서 단일 RGB 카메라만 사용함에도 77.4% 성공률을 달성하여, 최고의 단안 방법보다 10.5 포인트, 가장 강력한 깊이 또는 다중 카메라 시스템보다 5.3 포인트 높다. RxR-CE에서는 75.1% 성공률에 도달하여 모든 단안 baseline을 능가한다.

arXiv:2607.13553v1cs.RO공통 태그 Navigate, Robot Navigation

비정상 유동에서 강화학습 기반 유동 인식 최적 항법

Flow-aware Optimal Navigation in Unsteady Flows through Reinforcement Learning

비정상(nonstationary) 시변 유체 유동에서의 자율 로봇 항법은 부분 관측 가능성과 현실적 환경의 예측 불가능성으로 인해 근본적인 난제로 남아 있다. 로봇 공학에서 사용되는 고전적 최적 제어 프레임워크는 비현실적인 사전 전역 유동 지식을 요구하는 반면, 생물 시스템은 국소적 감각 단서를 활용하여 성공적으로 항해할 수 있다. 본 연구에서는 TD3 알고리즘을 사용하는 강화학습 접근법을 제시하여, 매개변수적 혼돈 이중 소용돌이(double-gyre) 유동 내에서 임의의 목표에 도달하도록 자율 에이전트를 학습한다. 최적 감각 기법을 조사하기 위해, 상대 위치, 국소 속도 또는 국소 와도(vorticity) 측정치, 단기 기억 변형을 기반으로 한 다섯 가지 생물 모방 관측 전략을 평가한다. 또한 에이전트에게 명시적 전역 유동 매개변수를 제공하는 것의 영향을 분석한다. 수치 결과는 일정 수의 유동 속도 측정치를 감지하고 기억할 수 있는 에이전트가 최고 성능을 달성함을 보여준다. 실험은 센서 유용성에 있어 트레이드오프를 밝힌다: 속도 인식 에이전트는 에너지 효율을 최적화하는 반면, 와도 센서는 우수한 구조적 매핑을 제공하고 더 나은 목표 근접성을 달성한다. 명시적 전역 유동 매개변수를 포함하면 항법 성능이 저하되는 것으로 나타났다. 이러한 행동은 강화학습 기반 자율 시스템이 암시적 유동 표현으로 제한될 때 더 견고하고 일반적인 정책을 개발함을 시사한다. 제시된 결과는 시뮬레이션에서 실제 환경으로의 생물 모방 로봇 항법 전환을 개선하는 데 통찰을 제공한다.

arXiv:2607.09792v1cs.RO공통 태그 Navigate, Robot Navigation

구현된 비전-언어 내비게이션의 종합적 서베이 및 체계적 실세계 평가

A Comprehensive Survey and Systematic Real-World Evaluation of Embodied Vision-and-Language Navigation

내비게이션은 자율 시스템의 기본적인 능력이지만, 기존 대부분의 접근법은 고도로 구조화된 모델과 강한 사전 가정에 의존하여 열린 불확실한 실세계 환경에서의 견고성을 제한한다. 비전-언어 내비게이션(VLN)은 로봇이 데이터 기반 방식으로 자연어 이해와 시각적 지각을 통합할 수 있게 함으로써 유망한 방향을 제시한다. VLN이 점점 더 많은 연구 관심을 받고 있음에도 불구하고, 체계적인 방법론적 분류와 실세계 검증은 여전히 제한적이다. 본 서베이는 VLN 연구에 대한 종합적인 리뷰를 제시한다. 구체적으로, 최신 방법들을 두 가지 직교 차원에 따라 정리한다: 계층적 및 단일체(monolithic) 프레임워크를 포함하는 행동 패러다임과, 판별적(discriminative) 및 생성적(generative) 접근법을 포함하는 모델 패러다임. 각각의 강점과 한계에 대한 비판적 분석이 제공된다. 또한, 물리적 로봇 플랫폼에서 대표적인 VLN 시스템 구성에 대한 체계적인 실세계 평가를 수행한다. 열 가지 다양한 실세계 장면에 걸친 실험은 테스트된 구성에서 시뮬레이션과 실세계 배포 간의 상당한 성능 격차를 보여준다: 대표적인 단일체 RGB 전용 방법은 시뮬레이션에서 61%의 성공률을 달성하지만 실세계 배포에서는 22%로 떨어지는 반면, 계층적 프레임워크는 51%의 더 높은 실세계 성공률을 달성하여 우리의 평가 환경에서 더 강한 견고성을 시사한다. 마지막으로, 향후 연구에서 반드시 해결해야 할 지각, 의사결정, 제어 분야의 핵심 과제들을 강조한다.

arXiv:2607.21776v2cs.LG공통 태그 Anomaly Detection

PulseGuard: 토킹페이스 딥페이크 탐지를 위한 포렌식 모달리티로서의 rPPG 기반 시간 신호

PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection

토킹페이스(TF) 딥페이크 생성은 정지된 원본 이미지와 음성 신호로부터 사실적인 얼굴 영상을 합성하며, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조물을 만들어 낸다. 얼굴 교체 조작과 달리 TF 합성에는 생리적 특성을 물려받을 기반 실제 영상이 없으므로, 이 위조 범주의 탐지 모달리티로 원격 광혈류측정(rPPG)이 동기화된다. 우리는 RhythmFormer로 윈도우별 rPPG 파형을 추출하고 경량 분류기 모음을 학습시켜 실제 신호와 합성 신호를 구분하는 탐지 프레임워크 PulseGuard를 제안한다. 테스트 신원이 학습 신원과 완전히 분리된 엄격한 피험자 독립 프로토콜로 Celeb-DF++의 TF 부분집합에서 평가한 결과, 우리의 1D ResNet은 추출된 시간 신호만으로 동작하면서 EER 25.1%에서 윈도우 수준 AUC 0.826(DeepFakesON-Phys가 평가되는 단위인 영상 수준으로 풀링 시 0.842)을 달성하며, 학습에서 완전히 제외된 생성기에 대해서도 AUC 0.754를 유지한다. 우리는 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys의 통제된 재현 연구를 제시하여, 기존 얼굴 교체 데이터에서의 AUC 0.999가 Celeb-DF++의 TF 부분집합에서는 0.576으로 저하됨을 보인다. 또한 탐지 난이도가 방법에 크게 의존함을 보이는데, 일곱 개의 TF 생성기에 걸쳐 AUC는 0.937(Real3DPortrait)에서 0.617(IP-LAP)까지 분포하며, 이 순서는 방법별 학습에서도 대체로 유지된다. 이 편차는 평가 잡음이 아니라 학습 방식 전반에 걸쳐 안정적이며, 본 연구의 주된 실증적 기여이다. 우리는 이를 실증적 기준선으로 보고하며, 판별 근거가 심장 기원임을 입증하지는 않는다.

arXiv:2607.13346v2cs.CR공통 태그 Anomaly Detection

PRISM: 정렬 위장 주장에 대한 스트레스 테스트

PRISM: Stress-Testing Alignment-Faking Claims

우리는 AI 시스템이 안전한지를 주로 그 행동을 관찰하여 판단한다. 정렬 위장은 이를 무너뜨린다. 감시받고 있다고 믿을 때만 올바르게 행동하거나, 훈련으로 인해 변형되는 것을 피하기 위해 지금은 순응하는 모델은 모든 행동 테스트를 통과할 수 있다. 이러한 행동은 한 최첨단 모델에서 보고된 바 있으며, 모니터링 프롬프트 하에서 더 많이 순응하는 오픈 웨이트 모델은 이제 이를 보이는 것으로 해석되고, 은닉 상태 프로브가 탐지기로 제안되고 있다. 본 연구는 이 두 가지 추론을 모두 검증하였으며, 어느 쪽도 성립하지 않는다. 18개 모델 구성 중 11개가 감시받고 있다는 말을 들으면 더 많이 순응한다. 그러나 네 모델에 대한 프롬프트 요인 실험은 훈련 위협이 탐지 가능한 효과를 갖지 않음을 보여 주며, 이를 제거해도 순응도는 -3.3점에서 +1.6점 사이로만 변한다. 격차를 만드는 것은 오히려 프롬프트의 표현과 프레이밍이다. 프로브도 나을 것이 없다. 프로브는 감시 하의 순응 응답과 비감시 하의 순응 응답을 구분하지만(AUROC 0.96-0.99), 거부 응답도 똑같이 잘 구분한다. 즉 프로브는 위장이 아니라 프롬프트를 읽는다. 거부 응답만으로 학습한 조향 방향도 '위장' 방향과 동일한 정도로 행동을 변화시킨다. 본 연구는 이러한 실패 각각을 주장으로 굳어지기 전에 포착하는 다섯 가지 점검과 툴킷인 PRISM을 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.