PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22868v1cs.CV

종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습

Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving

종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.

arXiv:2607.12959v1cs.CV

ViCo3D: 비전 기반 모델을 활용한 LiDAR 기반 협업 3D 객체 검출

ViCo3D: Empowering LiDAR-based Collaborative 3D Object Detection with Vision Foundation Models

차량-만물 연결(V2X) 시스템에서 LiDAR 기반 협업 3D 인지는 일반적으로 에이전트 간 조감도(BEV) 특징을 융합하는 방식에 의존한다. 그러나 현재 BEV 표현은 대개 처음부터 학습된 LiDAR 백본으로 추출되며, 기하학이 지배적이고 일반적인 의미론적 사전지식이 부족하여 특징 수준의 협업 효과를 본질적으로 제한한다. 한편, 대규모 이미지 데이터로 사전학습된 비전 기반 모델(VFM)은 2D 작업에 대해 범용적이고 정보가 풍부한 시각 표현을 학습하는 강력한 능력을 보여 왔으며, 협업을 위한 에이전트별 LiDAR BEV 표현을 향상시킬 잠재력을 갖고 있다. 이러한 잠재력에도 불구하고, 상당한 이미지-포인트 클라우드 모달리티 간극으로 인해 VFM을 LiDAR 기반 3D 검출에 적응시키는 것은 여전히 어렵다. 이 간극을 메우기 위해, 우리는 VFM 기반의 협업 3D 객체 검출 프레임워크인 ViCo3D를 제안한다. 구체적으로 ViCo3D는 세 가지 측면에서 VFM을 LiDAR 기반 협업 인지에 적응시킨다. 첫째, ViCo3D는 포인트 클라우드를 3채널 이미지로 BEV 평면에 투영하여 DINOv2가 LiDAR 입력으로부터 BEV 공간 시각 특징을 추출할 수 있게 한다. 둘째, 이러한 DINOv2 기반 특징을 LiDAR 기하학적 특징과 효과적으로 통합하기 위해 ViCo3D는 단일 에이전트 인코더 내에 다중 스케일 BEV 융합 모듈을 도입한다. 셋째, ViCo3D는 여러 에이전트로부터 상보적인 정보를 집계하기 위해 자차 중심(ego-centric) 교차 에이전트 융합 전략을 채택한다. DAIR-V2X 및 V2XSet에서의 실험은 ViCo3D가 최첨단 3D 검출 성능을 달성함을 보여준다. 주목할 점은 DAIR-V2X에서 기존 방법 대비 최대 1.8배 더 큰 협업 이득을 제공한다는 것이다. 향후 연구를 위해 코드를 공개할 예정이다.

arXiv:2606.11507v1cs.CV

SceneMiner: 통합 BEV 장면 마이닝을 위한 아이덴티티 보존 멀티태스크 미세조정

SceneMiner: Identity-Preserving Multi-Task Fine-Tuning for Unified BEV Scene Mining

주행 로그에서 난이도 높은 안전 위험 장면을 마이닝하는 작업은 난이도 레이블의 부재로 병목이 발생하며, 충돌 위험, 궤적 모호성, 의미적 희소성 중 어떤 단일 프록시도 그러한 장면을 단독으로 찾아내기에 충분하지 않다. 우리는 SceneMiner를 제시한다. 이는 동결된 비전-언어 백본에서 LiDAR나 레이더 없이 단일 순전파로 상호 보완적인 마이닝 신호를 출력하는 통합 카메라 전용 조감도(bird's-eye-view) 파이프라인으로, 텍스트 프롬프트 기반 시나리오 검색을 위한 검색 임베딩, 다중 레이블 장면 태그 분포, 그리고 연속적인 물리 기반 위험 점수를 방출한다(모션 예측은 기여가 아닌 부산물이다). 이러한 멀티 헤드 모델을 구축하는 과정에서 우리의 핵심 발견이 드러났는데, 이를 교차 태스크 간섭(cross-task interference)이라 부르는 실패 모드이다. 하나의 헤드를 추가하거나 업그레이드하면 공유 활성화 스트림이 변화하여 가중치가 동결된 형제 헤드들의 성능이 저하되므로, 매개변수 동결만으로는 충분하지 않다. 우리의 기여인 아이덴티티 보존 멀티태스크 미세조정은 모든 새로운 서브모듈을 제로 초기화하고 공유 스트림에 공급되는 모든 매개변수를 동결함으로써 이 간섭을 제거한다. 이를 통해 마이닝 헤드는 비트 단위로 동일하게 보존되며 약 102k 매개변수만 학습된다. 태깅 헤드는 각 장면을 32개의 시각적 토큰으로 풀링하여 20개 장면 태그에서 mAP 0.4614(micro-F1 0.5557)를 달성하고, 임베딩 헤드는 텍스트 프롬프트 기반 검색을 지원하며 정성적으로 검증되었다. 코드는 다음에서 확인할 수 있다: https://anonymous.4open.science/r/sceneminer_anonymous-64E5

arXiv:2606.08744v2cs.CV

MB-Loc: 야외 LiDAR 장면에서의 다중 평면 조감도(Bird's-Eye View) 위치 추정

MB-Loc: Multi-planar Bird's-eye-view Localization in outdoor LiDAR scenes

글로벌 LiDAR 위치 추정은 자율 내비게이션 시스템의 기본 과제이다. 최근 방법들은 장면 좌표 회귀(Scene Coordinate Regression, SCR)를 수행하며, 밀집된 3D 월드 좌표를 예측함으로써 절대 자세 회귀(Absolute Pose Regression, APR) 방식보다 우수한 정확도를 달성한다. 그러나 SCR 접근법은 두 가지 주요 병목을 야기한다: 원시 3D 기하를 처리하는 데 따른 심각한 계산 비효율성과 센서 시점 변화에 따른 상당한 성능 저하이다. 이러한 한계를 해결하기 위해, 경량이고 시점에 강건한 SCR 프레임워크인 MB-Loc를 제안한다. 무거운 3D 합성곱에 의존하는 대신, 입력 LiDAR 스캔을 2.5D 다중 평면 조감도(Bird's-Eye View, BEV) 표현으로 투영한다. Z축을 따라 포인트 클라우드를 슬라이싱하고 부호 있는 깊이를 이산 2D 평면에 매핑함으로써, MB-Loc는 필수적인 3D 기하 구조를 유지하면서 표준 2D CNN의 계산 용이성을 활용한다. 야외 LiDAR의 고유한 희소성을 처리하기 위해, 확률적 노이즈를 주입하지 않으면서 공간적 불확실성을 명시적으로 모델링하는 KL 정규화 잠재 병목을 도입한다. 마지막으로, 회전 강건성을 보장하기 위해 평면 투영 전에 3D 공간 증강을 적용하여 네트워크가 시점 불변 특징을 암묵적으로 학습하도록 한다. 공개 NCLT 데이터셋에서 광범위한 실험을 수행하고, 제안 방법이 현재 최첨단(state-of-the-art)을 능가함을 보여준다. 실시간 추론 속도로 동작하면서, MB-Loc는 계산 효율성 면에서 기존 3D-SCR 아키텍처를 크게 앞선다.