arXiv:1906.00590

Panoptic Edge Detection

Yuan Hu, Yingtian Zou, Jiashi Feng

제출 2019-06-03

원문 초록

Pursuing more complete and coherent scene understanding towards realistic vision applications drives edge detection from category-agnostic to category-aware semantic level. However, finer delineation of instance-level boundaries still remains unexcavated. In this work, we address a new finer-grained task, termed panoptic edge detection (PED), which aims at predicting semantic-level boundaries for stuff categories and instance-level boundaries for instance categories, in order to provide more comprehensive and unified scene understanding from the perspective of edges.We then propose a versatile framework, Panoptic Edge Network (PEN), which aggregates different tasks of object detection, semantic and instance edge detection into a single holistic network with multiple branches. Based on the same feature representation, the semantic edge branch produces semantic-level boundaries for all categories and the object detection branch generates instance proposals. Conditioned on the prior information from these two branches, the instance edge branch aims at instantiating edge predictions for instance categories. Besides, we also devise a Panoptic Dual F-measure (F2) metric for the new PED task to uniformly measure edge prediction quality for both stuff and instances. By joint end-to-end training, the proposed PEN framework outperforms all competitive baselines on Cityscapes and ADE20K datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00330v2cs.RO공통 태그 Object Detection, Scene Understanding

장기 객체 탐색을 위한 회고적 개방형 어휘 메모리

Retrospective Open-Vocabulary Memory for Long-Term Object Search

장기 객체 탐색(long-term object search)은 변화하는 환경을 반복적이지만 불균일하게 관측하면서 객체가 주로 어디에 나타나는지 학습해야 합니다. 본 논문에서는 회고적 개방형 어휘 메모리(retrospective open-vocabulary memory)를 중도 절단된 관측값(censored observations)으로부터의 확률적 추론(probabilistic inference) 문제로 정의하며, 핵심 아이디어는 기회당 증거(evidence per opportunity)를 바탕으로 추론하는 것입니다. 즉, 탐지 여부는 로봇이 해당 위치를 관측할 기회에 비례해서만 신념(belief)에 영향을 주어야 합니다. 본 연구에서는 이 원리를 활용하여 질의 시점에만 지정되는 개념에 대한 장기 유병률(long-term prevalence)을 추정하고, 도출된 신념을 능동적 탐색 사전 확률(active-search prior)로 직접 변환하는 ECROM을 제안합니다. 이 문제를 평가하기 위해 반복적인 탐색 경로 전반에 걸쳐 객체 배치와 관측 기회를 독립적으로 변화시키는 10개 HM3D 주택 환경 기반의 통제된 장기 벤치마크(benchmark)를 도입합니다. ECROM은 보류된(held-out) 질의에 대해 각 지표별 가장 강력한 경쟁 메모리 대비 지지 수준 AP(support-level AP)를 4.5점, 탐색 SPL을 4.2점 향상시킵니다. 벤치마크, 데이터셋, 코드는 오픈소스로 공개될 예정입니다. 프로젝트 페이지: https://jiaming.im/ecrom/

arXiv:2610.03015v1cs.CV공통 태그 Object Detection, Scene Understanding

OmniAct3D: 파노라마 3D 검출을 위한 기초 기하학 및 증거 기반 그라운딩 추론 활용

OmniAct3D: Leveraging Foundation Geometry and Evidence-Grounded Reasoning for Panoramic 3D Detection

정확한 3D 검출은 이동형 체화 에이전트(embodied agent)에게 필수적이며, 비전 파운데이션 모델(VFM)은 전이 가능한 시각적 및 기하학적 사전 지식(prior)을 제공합니다. 그러나 기존의 VFM 기반 3D 검출기는 좁은 시야의 단안 영상이나 불연속적인 원근 뷰에 의존하므로 일관된 전방위 인식이 제한됩니다. 반면 정거원통도법(ERP)은 단일 이미지에 연속적인 360도 장면을 인코딩합니다. 하지만 ERP는 기하학 및 시각 정보를 다르게 구성하여 객체 관련 단서를 모델링, 위치 파악 및 보존하기 어렵게 만들기 때문에 직접적인 전이는 여전히 어렵습니다. 본 논문에서는 전이 가능한 VFM 사전 지식을 보존하면서 원근 뷰로 학습된 VFM 검출기를 ERP에 적응시키는 프레임워크인 OmniAct3D를 제안합니다. 기하학적 불일치를 해결하기 위해 ERP-Ray 기하 어댑터(ERGA-Ray)는 구면 시선(viewing ray)과 주기적 공간 구조를 모델링합니다. 전체 장면 맥락에서 증거를 국소화하기 위해 시각-행동 추론 체인(VARC)은 각 가설을 관련 파노라마 증거에 그라운딩(grounding)하고 이를 구조화된 기하학적 행동으로 변환합니다. 고정된 토큰(token) 예산 하에서 손실된 국소 단서를 복구하기 위해 외형 유도 방위 전문가(AGHE)는 방위각 추정을 위해 객체 영역을 더 높은 해상도로 재인코딩합니다. 실험 결과, OmniAct3D는 Spheriverse에서 이전 최고 3D 검출기 대비 2.96 NDS 포인트, PanoMMOcc에서 적응되지 않은 VFM 기준선(baseline) 대비 24.87 mAP 포인트 향상된 성능을 보였습니다. 타깃별 기하 적응을 통해 VARC는 동일 구성 mAP의 95~98%를 유지하여 센싱 구성 전반에서 재사용 가능한 객체 수준 3D 추론 능력을 보여줍니다. 소스 코드는 https://github.com/FeiT-FeiTeng/OmniAct3D 에서 공개될 예정입니다.

arXiv:2609.24031v2cs.CV공통 태그 Object Detection, Scene Understanding

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

arXiv:2609.27076v1cs.CV공통 태그 Object Detection, Scene Understanding

Pro-Bench: 실세계 이종 환경 전반의 프롬프트 강건 오픈어휘 시각적 그라운딩

Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments

오픈어휘 시각적 그라운딩(visual grounding)은 사전 정의된 지각 분류체계(taxonomy)에 의존하지 않고 자연어 쿼리로부터 과제 관련 개체의 위치를 특정함으로써 로봇이 작업할 수 있게 한다. 그러나 기존 벤치마크는 대부분 짧은 카테고리 라벨과 웹에서 수집한 이미지에 의존하여, 오픈어휘 모델이 실제 배포 환경에서 다양한 쿼리와 시각적 조건 하에 견고하게 그라운딩할 수 있는지는 불분명하다. 본 논문은 이종의 실세계 환경에서 오픈어휘 시각적 그라운딩을 위한 프롬프트 조건 벤치마크인 Pro-Bench를 제안한다. Pro-Bench는 독립적인 로봇 도메인(지하, 산업, 실내, 실외, 도시)의 $13k+$ RGB 프레임, $74.5k$ 수동 인스턴스 어노테이션, 범주적·속성·관계·affordance·상태·부분-전체·부정·합성 의미를 아우르는 $515$개 타깃 쿼리를 포함한다. $16$개 오픈어휘 모델 구성을 엄격한 제로샷 추론으로 벤치마킹하여 IoU 임곗값별 위치 특정 정확도, end-to-end 추론 지연, 프롬프트에 따른 성능 변동, 타깃 복구 일관성을 측정했다. 결과에 따르면 프롬프트 강건성은 아키텍처에 강하게 의존한다. 대부분의 모델 구성($10/16$)은 짧은 카테고리 라벨에서 최고 성능을 보이는 반면, 자유 형식 쿼리가 최고 정확도를 내는 경우는 하나뿐이다. 또한 유사한 집계 mAP가 쿼리 재표현에 따른 일관된 타깃 복구의 상당한 차이를 가릴 수 있다. Pro-Bench는 이러한 격차를 체계적으로 평가할 수 있게 하며 프롬프트 강건 시각적 그라운딩을 지원한다. Pro-Bench: https://pro-bench.github.io/.

arXiv:2609.27890v1cs.CV공통 태그 object-detection, Scene Understanding

RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩

RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.

arXiv:2609.28154v1cs.CV공통 태그 Object Detection, Scene Understanding

지리 및 정착 맥락에 걸친 전역 건물·정착지 데이터셋 비교 평가

A comparative assessment of global building and settlement datasets across geographic and settlement contexts

전역 건물 및 정착지 데이터셋은 인구 매핑, 노출 평가, 도시 모니터링, 기타 건축 환경(built environment) 분석을 점점 더 지원하지만, 제품, 지리적 지역, 참조 데이터셋, 공간 스케일, 평가 방법에 걸쳐 비교 근거는 여전히 파편화되어 있다. 본 연구는 Overture Maps, Global Building Atlas, 3D-GloBFP, Google Open Buildings 2.5D Temporal(OBT), Microsoft TEMPO, GHSL, WSF Tracker를 포함한 7개의 전역 또는 준전역 제품을 135개 연구 구역에 걸친 조화된 참조 footprint에 대해 벤치마킹한다. 평가는 탐지(detection), 기하학적 일치, 집계량 정확도에 대한 상보적 척도와 함께 정착 특성에 대한 계층화 분석 및 오류 크기와 시간 정렬에 대한 진단 실험을 결합한다. Overture는 도시 수준 벡터 F1의 중앙값이 가장 높았다(0.786). 래스터 순위는 해상도에 따라 달라졌다. OBT는 10m에서 중앙값 F1이 최고(0.642)였고, WSF Tracker는 100m에서 최고(0.862)였다. 그러나 WSF Tracker는 건축 면적(built-up area)을 상당히 과대 추정했으며, 래스터 제품을 사용할 때 해당 래스터가 건물만 식별하는지 아니면 추가 불투수 표면(impervious surfaces)을 포함하는지 사용자가 이해하는 것이 중요함을 강조한다. 래스터 정확도는 건물 밀도와 일관되게 증가했고(Spearman ρ = 0.58–0.75), 소형 후보 건물은 벡터 제품에서 거짓 양성(false positives)과 불균형하게 연관되었다. WSF Tracker를 참조 영상과 시간적으로 정렬하면 평균 F1이 0.060(중앙값 +0.037) 증가했으며, 이는 보고된 정확도가 급속히 성장하는 지역에서 보수적임을 나타낸다. 본 연구는 지리 및 정착 맥락에 걸친 이질적인 전역 도시 및 정착지 층(layer) 데이터셋을 비교하기 위한 재현 가능한 벤치마크를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.