What Can I Do Around Here? Deep Functional Scene Understanding for Cognitive Robots
원문 초록
For robots that have the capability to interact with the physical environment through their end effectors, understanding the surrounding scenes is not merely a task of image classification or object recognition. To perform actual tasks, it is critical for the robot to have a functional understanding of the visual scene. Here, we address the problem of localizing and recognition of functional areas from an arbitrary indoor scene, formulated as a two-stage deep learning based detection pipeline. A new scene functionality testing-bed, which is complied from two publicly available indoor scene datasets, is used for evaluation. Our method is evaluated quantitatively on the new dataset, demonstrating the ability to perform efficient recognition of functional areas from arbitrary indoor scenes. We also demonstrate that our detection model can be generalized onto novel indoor scenes by cross validating it with the images from two different datasets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Class incremental learning for video action classification
OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?
OccludeBench: Can VLMs Find What's Missing?
비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.
CrowdOcc: 붐비는 실내 환경의 4족 보행 로봇을 위한 단안 시맨틱 장면 완성
CrowdOcc: Monocular Semantic Scene Completion for Quadruped Robots in Crowded Indoor Environments
사람과 장면 간의 가림(occlusion)으로 인해 정적 기하학적 구조가 훼손되고 사람의 점유(occupancy) 예측이 불완전하거나 공간적으로 잘못 배치되는 실제 혼잡한 실내 환경에서, 4족 보행 로봇을 위한 단안 시맨틱 장면 완성(Semantic Scene Completion, SSC)은 여전히 충분히 연구되지 않았습니다. 본 논문에서는 이러한 환경을 위해 RGB-D 데이터셋이자 단안 SSC 프레임워크인 CrowdOcc를 제시합니다. CrowdOcc는 11개의 실내 장면에서 얻은 25.1K 프레임으로 구성되며, 정적·동적 분리를 통해 구축된 시맨틱 점유 주석을 포함합니다. 본 프레임워크는 (i) 가림에 강건한 기하학적 구조를 위해 깊이 인식 리프팅을 표면 법선(surface-normal) 단서로 보완하는 법선 유도 장면 기하학 융합(Normal Guided Scene Geometry Fusion, NGSGF), 그리고 (ii) 3D 공간에서 사람 간 및 국소적 사람-장면 간 관계를 선택적으로 모델링하는 사람 중심 희소 상호작용(Human-Centric Sparse Interaction, HCSI)을 결합합니다. 본 연구의 방법론은 장면이 분리된 CrowdOcc 테스트 세트에서 15.80 IoU, 11.40 mIoU, 46.23 Human IoU를 기록하며 최첨단 SSC 성능을 달성하여, 이전에 보지 못한 실내 장면에 대한 일반화 성능을 입증합니다.
도시를 보는 것인가, 장소를 인식하는 것인가? VLM 도시 센싱에서 스트리트뷰 이미지가 기존 도시 데이터 대비 추가로 제공하는 것
Seeing the City or Recognizing the Place? What Street-View Imagery Adds Beyond Existing Urban Data in VLM Urban Sensing
스트리트뷰 이미지는 도시 속성(urban attribute)을 추론하는 데 점점 더 많이 사용되고 있지만, 예측 정확도만으로는 사진이 동일한 장소에 대해 이미 존재하는 데이터를 넘어서 얼마나 많은 정보를 제공하는지 알 수 없다. 우리는 다섯 개의 공개 자원과 세 개의 VLM에서 얻은 일곱 가지 속성에 대해 이미지 기반 예측과 기존 도시 데이터를 비교한다. 동일한 도시 단위(urban unit)를 이미지, 작업 맥락(task context), 인접 관측값, 공공 기록을 사용하여 평가하며, 이미지 교체와 상충되는 기록을 통해 소스 의존도(source reliance)를 검증한다. 기존 도시 데이터는 도로 손상, 연석 경사로(curb ramp), 주택 가격에서 이미지 전용 모델과 비슷하거나 이를 능가했으며, 인접 공식 통계는 인구(population)에서 최고 이미지 결과에 거의 근접했다. 건물 유형, 건물 용도, 저층 건물의 층수에서는 이미지가 더 많은 정보를 제공했다. 층수의 경우, 이미지의 우위는 가장 가까운 레이블링된 건물까지의 거리가 두 배가 될 때마다 5.7퍼센트포인트 증가했으며, 지붕선(roofline)이 프레임 밖으로 벗어나는 경우가 많은 고층 건물에서는 감소했다. 모델들은 상충되는 기록을 자주 따랐다. OpenFACADES의 층수 주석(annotation)은 OpenStreetMap의 층수 값을 사용하여 생성되었으며, 이미지 전용 재실행(rerun)과는 반대되는 높이 의존적 오류 패턴을 보였다. 따라서 스트리트뷰 이미지의 가치는 시각적 식별 가능성(visual legibility)과 로컬 데이터 커버리지에 따라 달라진다. 이미지를 기존 도시 데이터와 비교하는 것은 이미지 수집을 안내하고 파생된 도시 지도의 출처(provenance)를 명확히 하는 데 도움이 될 수 있다.
방송 스누커 큐볼 식별을 위한 규칙 제약 할당
Rule-Constrained Assignment for Cue-Ball Identification in Broadcast Snooker
정확한 큐볼 식별은 방송 스누커의 계량(metric) 분석에 필수적이다. 기존 시스템은 고정된 흰색 프로토타입에 대해 각 후보를 독립적으로 평가하고, 외관 임계값을 초과하는 후보를 배제한다. 방송 환경에서는 조명 변화로 유색 공이 흰색처럼 보일 수 있으며, 선수와 장비의 침입이 큐볼을 가리거나 경쟁 후보를 유발할 수 있다. 우리는 큐볼 식별을 규칙 제약 할당 문제로 formulation하여, 탐지된 후보를 한정된 스누커 인벤토리—큐볼 1개, 최대 15개의 레드, 알려진 위치의 6색 공—에 공동으로 할당한다. 큐볼은 각 후보를 흰색 슬롯에 할당할 때의 증분(incremental) 비용으로 선택되며, 기존의 외관 검사는 단일 슬롯 경우에 해당한다. 수작업 주석 419샷에서 본 방법은 식별 정확도를 88.1%에서 95.5%로, 홀드아웃(hold-out) 경기장에서는 80.5%에서 95.2%로 향상시킨다. 계량 상태 복구 시스템 CueLift 내에서 할당은 6,241개의 득점 가능 샷에 대해 커버리지를 36.2%에서 55.4%로 확대한다. 2,529샷에 대한 별도 평가에서 모든 샷에 추정치를 할당해도 이 이점이 유지된다.
Evaluating the Performance of TAAF for image classification models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.