arXiv:2512.01352v2 cs.CV

OpenBox: 3차원에서 임의의 경계 상자 어노테이션 생성하기

OpenBox: Annotate Any Bounding Boxes in 3D

In-Jae Lee, Mungyeom Kim, Kwonyoung Ryu, Pierre Musacchio, Jaesik Park

제출 2025-12-01

저자 비고

arXiv Comments

Accepted by NeurIPS 2025

한국어 초록

비지도 및 오픈 보캐블러리(open-vocabulary) 3D 객체 검출(3D object detection)은 특히 자율주행 분야에서 최근 주목받고 있으며, 어노테이션 비용 절감과 미학습 객체 인식이 안전성과 확장성 모두에 핵심적입니다. 그러나 기존 접근 방식 대부분은 객체의 물리적 상태를 무시한 채 3D 경계 상자(bounding box)를 일률적으로 어노테이션하고, 어노테이션 개선을 위해 다중 자기 학습(self-training) 반복을 요구하므로 최적화되지 않은 품질과 상당한 연산 오버헤드를 초래합니다. 이러한 과제를 해결하기 위해, 본 논문에서는 2D 비전 파운데이션 모델(vision foundation model)을 활용하는 2단계 자동 어노테이션 파이프라인인 OpenBox를 제안합니다. 첫 번째 단계에서 OpenBox는 교차 모달 인스턴스 정렬을 통해 비전 파운데이션 모델로 처리된 2D 이미지의 인스턴스 수준 단서를 대응하는 3D 포인트 클라우드와 연결합니다. 두 번째 단계에서는 강체성(rigidity) 및 운동 상태에 따라 인스턴스를 분류한 다음, 클래스별 크기 통계를 바탕으로 적응형 경계 상자를 생성합니다. 그 결과, OpenBox는 자기 학습 없이도 고품질 3D 경계 상자 어노테이션을 생성합니다. Waymo Open Dataset(WOD), Lyft Level 5 Perception 데이터셋, nuScenes 데이터셋에서의 실험을 통해 베이스라인 대비 향상된 정확도와 효율성을 입증합니다. 프로젝트 페이지는 https://oliver0922.github.io/OpenBox/ 에서 확인할 수 있습니다.

원문 초록

Unsupervised and open-vocabulary 3D object detection have recently gained attention, particularly in autonomous driving, where reducing annotation costs and recognizing unseen objects are critical for both safety and scalability. However, most existing approaches uniformly annotate 3D bounding boxes, ignoring objects' physical states, and require multiple self-training iterations for annotation refinement, resulting in suboptimal quality and substantial computational overhead. To address these challenges, we propose OpenBox, a two-stage automatic annotation pipeline that leverages a 2D vision foundation model. In the first stage, OpenBox associates instance-level cues from 2D images processed by a vision foundation model with the corresponding 3D point clouds via cross-modal instance alignment. In the second stage, it categorizes instances by rigidity and motion state, then generates adaptive bounding boxes with class-specific size statistics. As a result, OpenBox produces high-quality 3D bounding box annotations without requiring self-training. Experiments on the Waymo Open Dataset (WOD), the Lyft Level 5 Perception dataset, and the nuScenes dataset demonstrate improved accuracy and efficiency over baselines. Our project page is available at: https://oliver0922.github.io/OpenBox/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2512.01352v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22868v1cs.CV공통 태그 Object Detection, Autonomous Driving, 3D Object Detection

종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습

Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving

종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.

arXiv:2609.24151v1cs.CV공통 태그 Object Detection, Autonomous Driving, 3D Object Detection

STAR: 엔드투엔드 인지 레이더를 향한 장면 및 태스크 인지형 4D 레이더 전처리

STAR: Scene- and Task-Aware 4D Radar Preprocessing Towards End-to-End Cognitive Radar

4차원(4D) 레이더(Radar)는 조도 변화와 악천후 조건에서도 견고함을 유지하면서 거리, 방위각, 고각 및 도플러 측정값을 제공하여 환경 인식을 위한 핵심 센서로 부상했습니다. 그러나 일정한 오경보율(CFAR) 검출과 같은 기존의 레이더 전처리 방식은 주로 신호 수준의 기준에 따라 측정값을 선택하므로, 포인트 클라우드 생성 과정에서 다운스트림 인식에 유용한 정보를 폐기할 수 있습니다. 또한 기존의 4D 레이더 인식 파이프라인은 일반적으로 레이더 데이터 처리와 다운스트림 인식을 독립적으로 최적화하므로, 태스크 목표가 전처리 단계를 직접적으로 유도하지 못합니다. 이러한 한계를 해결하기 위해 본 논문에서는 엔드투엔드 학습(training) 프레임워크와 함께 장면 및 태스크 인지형 레이더(STAR) 전처리기를 제안합니다. STAR 전처리기는 장면 컨텍스트와 다운스트림 태스크 목표를 통합하여 태스크 관련 레이더 포인트를 생성함으로써, 레이더 표현이 인식에 맞춰 직접 최적화될 수 있도록 합니다. K-Radar 벤치마크에서 제안하는 방식은 74.3 AP를 달성하여 이전 최고 수준(SOTA)보다 5.6 AP 포인트 앞서는 성능을 보였습니다. 나아가 STAR로 생성된 태스크 관련 포인트를 다양한 기존 3D 검출기에 적용했을 때 대부분의 평가 설정에서 검출 성능이 향상되었으며, 기존 전처리로 생성된 포인트 클라우드 대비 전반적으로 긍정적인 평균 이득을 얻었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.