arXiv:2108.08748

FSNet: A Failure Detection Framework for Semantic Segmentation

Quazi Marufur Rahman, Niko Sünderhauf, Peter Corke, Feras Dayoub

제출 2021-08-19

원문 초록

Semantic segmentation is an important task that helps autonomous vehicles understand their surroundings and navigate safely. During deployment, even the most mature segmentation models are vulnerable to various external factors that can degrade the segmentation performance with potentially catastrophic consequences for the vehicle and its surroundings. To address this issue, we propose a failure detection framework to identify pixel-level misclassification. We do so by exploiting internal features of the segmentation model and training it simultaneously with a failure detection network. During deployment, the failure detector can flag areas in the image where the segmentation model have failed to segment correctly. We evaluate the proposed approach against state-of-the-art methods and achieve 12.30%, 9.46%, and 9.65% performance improvement in the AUPR-Error metric for Cityscapes, BDD100K, and Mapillary semantic segmentation datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23673v1cs.CV공통 태그 Semantic Segmentation, Navigate, Autonomous Vehicles

어떤 지형이 더 나은가? 비포장도로 주행 가능성 순위 지정을 위한 VLM 프로토타입 기반 선호도 학습

Which Terrain Is Better? Preference Learning with VLM Prototypes for Off-Road Traversability Ranking

비전 기반 비포장도로 내비게이션에서 로봇은 회피해야 할 장애물뿐만 아니라 어떤 지형이 더 나은지도 파악해야 합니다. 첫 번째 문제는 여유 공간(freespace) 감지나 시맨틱 분할(semantic segmentation)로 처리됩니다. 두 번째 문제는 대개 주행 가능성 점수(traversability score)로 해결되지만, 이러한 점수에는 보편적인 정답(ground truth)이 존재하지 않아 인식이 시맨틱 클래스별로 미리 정의된 값이나 여유 공간 신뢰도에 의존하게 됩니다. 이러한 점수들은 특정 영역이 무엇인지를 나타낼 뿐, 로봇이 어떤 영역을 선호해야 하는지는 알려주지 못합니다. 이에 따라 본 연구에서는 이러한 선호도를 두 영역 간의 비교를 통해 지도(supervision)될 수 있는 가시적 지형 순서 지정인 시각적 주행 가능성 순위 지정(visual traversability ranking)으로 정식화합니다. 표준 어노테이션에는 선호도가 직접 라벨링되어 있지 않지만, 그 방향성이 내포되어 있습니다. 본 논문에서는 이러한 어노테이션을 정렬된 영역 쌍으로 변환하고, 동결된(frozen) 비전-언어 모델(VLM) 패치 토큰(token)에 작은 판독부(readout)를 이 쌍에 맞춰 적합시키는 TravPro를 제안합니다. 토큰은 고정된 프로토타입 뱅크로 한 번 클러스터링되며, 판독부는 프로토타입별 선호도 점수를 학습합니다. 그런 다음 판독부는 모든 패치에 적용되어 픽셀 단위 어노테이션 없이도 희소한 비교를 조밀한 선호도 유사 라벨(pseudo-label)로 변환하는 교사(teacher) 역할을 수행합니다. RGB 학생(student) 모델은 장애물과 배경을 순위 지정에서 제외하는 비지면(non-ground) 마스크와 함께 이 지도들을 조밀한 지형 선호도 맵으로 증류(distill)합니다. 5개의 미확인(unseen) 도메인에서 TravPro는 가장 강력한 기준선(baseline)의 0.783 대비 0.915의 평균 쌍별 정확도(mean pairwise accuracy)를 달성하여, 클래스별 수치로는 표현할 수 없는 노면 상태에 민감한 순서 지정을 생성합니다. 동일한 VLM과 동일한 지도 방식을 사용하더라도 VLM에 프롬프트(prompt)를 주고 지도를 조밀한 타깃으로 사용할 경우에는 이러한 순서가 도출되지 않으며, 중요한 것은 이들을 활용하는 방식입니다.

arXiv:2610.10962v1cs.RO공통 태그 Semantic Segmentation, Navigate

iAm.md: 미지의 개방형 어휘 도메인을 위한 에이전틱 자기성찰 기반 로봇 스킬 자가 평가

iAm.md: Robot Skill Self-Assessment through Agentic Introspection for Unknown Open-Vocabulary Domains

대규모 언어 모델(LLM)의 일반화 능력을 기반으로 하는 에이전틱 AI(Agentic AI)는 체화된(embodied) 작업 계획을 포함하여 광범위한 잠재적 응용 분야를 제공합니다. 예를 들어, 파운데이션 모델(Foundation model) 기반의 체화된 에이전트는 자율 로봇 시나리오에서 그럴듯한 계획을 생성할 수 있습니다. 그러나 제한된 컨텍스트 윈도우(context window)나 다음 토큰(token) 예측 방식에서의 환각(hallucination) 현상으로 인해, 배포된 로봇과 관측된 환경(environment)이 요청된 작업을 실제로 지원하는지 확인하지 않은 채 행동이 생성될 수 있으며, 이를 우리는 "그라운딩 실패(grounding failure)"라고 부릅니다. 최근 파운데이션 모델의 추론 능력 향상 덕분에 자율 로봇 행동 생성 문제는 코드 생성 문제로 공식화될 수 있습니다. 본 논문에서는 배포 환경의 상호 보완적인 증거 형태에 이러한 과정을 고정(anchoring)할 수 있도록 지원하는 마크다운 표준 및 생성 프레임워크인 iAm.md를 제시합니다. 개방형 어휘(open-vocabulary) 시맨틱 매핑을 통해 로컬 비전-언어(vision-language) 검출 및 객체 분할을 결합하고, 이를 이러한 중간 표준화 표현 내의 영구 객체 레코드에 참조시킴으로써 에이전틱 자기성찰(agentic introspection)을 가능하게 합니다. 이어 시뮬레이션된 TIAGo 로봇의 내비게이션 및 매니퓰레이션 작업을 통해 이 새로운 기법을 연구하며, 이러한 표준화된 표현이 스킬 자가 평가와 실행 가능한 작업 일반화를 동시에 어떻게 지원하는지 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.