PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15745v1cs.CV

SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측

SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts

다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.

arXiv:2607.03822v1cs.CV

FDR-Occ: 전 스펙트럼 3D 점유 예측을 위한 인수분해 밀집 라우팅

FDR-Occ: Factorized Dense Routing for Full-Spectrum 3D Occupancy Prediction

비전 기반 3D 점유 예측(3D occupancy prediction)은 근본적으로 2D-에서-3D 뷰 변환에 의존한다. 현재의 주류 패러다임은 명시적 물리 투영을 주로 활용하는데, 이는 라우팅 행렬을 엄격하고 희소한 카메라 광선으로 인위적으로 제한한다. 계산 효율은 높지만, 이는 심각한 지역성 병목(Locality Bottleneck)을 초래하여 네트워크가 전체적 문맥 이해를 형성하지 못하게 하고, 카메라 외부 파라미터(extrinsics)가 신뢰할 수 없거나 부재할 경우 성능이 급격히 저하된다. 이 병목을 극복하기 위해, 우리는 뷰 변환을 비제약 이분 라우팅으로 추상화하고 인수분해 밀집 라우팅(Factorized Dense Routing, FDR)을 제안한다. 계층적 텐서 수축을 통해 밀집 2D-에서-3D 혼합을 근사함으로써, FDR은 다루기 쉬운 준이차(sub-quadratic) 복잡도로 완전 전역 수용 필드를 보장한다. 핵심적으로, 밀집 라우팅에서의 필수적 공간 수축은 근본적인 해상도-문맥 트레이드오프(Resolution-Context Trade-off)를 드러낸다. 이를 해결하기 위해, 우리는 해상도-문맥 분리 아키텍처(Resolution-Context Decoupled Architecture)를 도입한다. 3D 공간을 전역 거시적 위상적 앵커(FDR을 통해)와 정밀한 지역 기하학적 평면(명시적 투영을 통해)으로 인수분해함으로써, 전역 의미 추론과 정확한 표면 위치 추정이 상호 타협 없이 서로를 보완할 수 있게 된다. 광범위한 실험을 통해, 우리의 프레임워크가 Occ3D-nuScenes 및 Occ3D-Waymo 벤치마크에서 최첨단 성능을 달성함을 입증한다. 더욱 주목할 점은, 물리적 외부 파라미터가 제공되지 않는 미보정(uncalibrated) 설정에서 우리의 전역 라우팅이 암묵적 다중 카메라 리그 위상을 내재화하고, 동일한 프로토콜 하에서 물리 투영 기준 모델들보다 실질적으로 강한 구조적 강건성을 보임을 확인하였다.

arXiv:2607.01928v1cs.CV

대역폭 효율적인 협력적 3D 의미론적 점유 예측을 위한 희소성 인식 벡터 양자화

Sparse-Aware Vector Quantization for Bandwidth-Efficient Collaborative 3D Semantic Occupancy Prediction

자율주행 협력 인식에서 3D 의미론적 점유 예측(3D semantic occupancy prediction)의 통신 과부하 문제를 해결하기 위해, VQSOP 프레임워크는 3D 장면의 희소성을 활용하는 SAVQ(Sparse-Aware Vector Quantization) 메커니즘으로 고차원 특징을 공유 코드북의 이산 인덱스로 압축 전송하고, ASR(Adaptive Spatial Refinement) 모듈로 공간 구조를 복원한다. 실험 결과 단일 에이전트 대비 mIoU 4.41% 향상과 함께 최대 82배 통신량 절감을 달성하며 최첨단 성능을 기록했다.

arXiv:2603.23502v2cs.CV

OccAny: 일반화된 비제약 도시 3D 점유

OccAny: Generalized Unconstrained Urban 3D Occupancy

도메인 내(in-domain) 주석과 정밀한 센서 리그(sensor-rig) 사전 정보(priors)에 의존하는 기존 3D 점유(occupancy) 예측 방법들은 확장성과 도메인 외(out-of-domain) 일반화 측면에서 제한적입니다. 최근 비주얼 지오메트리 파운데이션 모델(visual geometry foundation models)은 강력한 일반화 능력을 보여주지만, 주로 범용 목적으로 설계되었으며 도시 점유 예측에 필요한 하나 이상의 핵심 요소, 즉 메트릭(metric) 예측, 복잡한 장면(cluttered scenes)에서의 지오메트리 완성(geometry completion), 도시 시나리오에 대한 적응이 부족합니다. 우리는 이러한 격차를 해결하고 도메인 외(out-of-domain) 보정되지 않은 장면(uncalibrated scenes)에서 작동하여 세그멘테이션(segmentation) 특징과 결합된 메트릭 점유를 예측하고 완성할 수 있는 최초의 비제약(unconstrained) 도시 3D 점유 모델인 OccAny를 제시합니다. OccAny는 다재다능하며 순차적(sequential), 단안(monocular), 또는 서라운드 뷰(surround-view) 이미지에서 점유를 예측할 수 있습니다. 우리의 기여는 세 가지입니다: (i) 최초의 일반화된 3D 점유 프레임워크를 제안하며, (ii) 점유 품질을 개선하면서 마스크(mask) 수준 예측을 가능하게 하는 Segmentation Forcing과, (iii) 지오메트리 완성을 위해 테스트 타임(test-time) 뷰 증강을 가능하게 하는 새로운 시점(novel-view) 지오메트리를 추론하는 Novel View Rendering 파이프라인을 포함합니다. 광범위한 실험을 통해 OccAny가 3D 점유 예측 작업에서 모든 비주얼 지오메트리 베이스라인(baselines)을 능가하며, 두 개의 확립된 도시 점유 예측 데이터셋에서 세 가지 입력 설정에 걸쳐 도메인 내(in-domain) 자기지도(self-supervised) 방법들과 경쟁력 있음을 입증했습니다. 우리의 코드는 https://github.com/valeoai/OccAny 에서 확인할 수 있습니다.