PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27671v1cs.CV

SGDet3D++: 4D 레이더와 카메라 3D 객체 검출을 위한 기하학 기반 의미론

SGDet3D++: Geometry-Grounded Semantics for 4D Radar and Camera 3D Object Detection

4D 레이더는 장거리 기하학과 방사 방향(radial) 운동으로 조밀한 이미지 의미 정보를 보완하지만, 기존 레이더–카메라 검출기는 대체로 모달리티를 어디에(where) 정렬할지만 다루고, 어떤 증거가 진화하는 객체 가설을 지지하는지(whether)는 암묵적으로 남겨 둔다. 이미지 토큰은 가림체(occluder)를 설명할 수 있고, 인근 레이더 반환(return)은 다른 객체에 속할 수 있으며, 자세 정렬(pose-aligned) 메모리 슬롯은 양립하지 않는 운동 정보를 담을 수 있다. 본 연구는 후보 접근과 증거 사용을 분리하는 가설 조건 증거 그라운딩(hypothesis-conditioned evidence grounding)을 제안한다. 의미·기하·시간 증거는 해당 쿼리를 갱신하기 전에 진화하는 3D 상태에 의해 필터링되거나 조건화된다. SGDet3D++는 앵커와 일관된 레이더 지원을 풀링하여 가변(deformable) 이미지 검색을 조건화하는 AGR(Anchor-Grounded Semantic Retrieval), 개별 연관 반환을 어텐션(attention)으로 집계하는 GCR(Geometry-Consistent Anchor Refinement), 현재 방사 방향 운동이 이력과 모순될 때만 이력을 교체하는 DVC(Doppler-Verified Correspondence)를 통해 이 원칙을 구현한다. SGDet3D++는 OmniHD-Scenes에서 비교 대상 중 최강 방법 대비 mAP 3.82, ODS 6.82만큼, ManTruckScenes에서는 mAP 6.82, NDS 9.22만큼 개선했으며, TJ4DRadSet 테스트 비교에서도 나열된 방법들 가운데 최고 성능을 기록했다. 메커니즘 대상 평가에서 AGR은 모든 투영 가림(projected-occlusion) 구간에서 strict AP를 향상시켰고, yaw 정렬 박스 게이트는 target-return 순도를 29.95%에서 58.87%로 높였으며, DVC는 운동 일관 이력의 96.11%를 보존하면서 모순 재현율 75.90%를 유지했다. 코드는 공개될 예정이다.

arXiv:2607.09629v1cs.CV

4DR360: 4D 레이더-카메라 전체 장면 인식에서 결합 3D 검출 및 점유 예측을 위한 상태 추론

4DR360: State Reasoning for Joint 3D Detection and Occupancy Prediction in 4D Radar-Camera Full-Scene Perception

신뢰할 수 있는 자율주행은 전경 객체와 밀집 의미론적 레이아웃을 결합하는 전체 장면 인식을 필요로 한다. 최근 4D 밀리미터파 레이더가 강건하고 저비용의 센서로 부상했지만, 희박한 반환값으로 인해 포괄적인 장면 이해를 위한 레이더-카메라 융합이 필요하다. 기존 레이더-카메라 방법은 주로 검출 최적화에 집중하는 반면, 듀얼 태스크 시스템은 제한된 상호작용으로 박스와 점유를 디코딩한다. 이러한 격차를 해소하고 레이더 기반 멀티태스크 학습을 발전시키기 위해, 우리는 의미론적 점유를 최종 출력이 아닌 지속적인 장면 상태로 모델링하는 360° 전체 장면 인식을 위한 4D 레이더-카메라 프레임워크인 4DR360을 제안한다. 4DR360은 크로스-모달 상태 추론 패러다임을 따르며, 점유 상태가 거친-세밀 특징 집계를 위해 단계별로 모델링되고 전파된다. 구체적으로, 상태 가이드 BEV 향상(SBE, State-guided BEV Enhancement)은 프레임 내 BEV 표현을 강화하고, 도플러 가이드 시간적 융합(DTF, Doppler-guided Temporal Fusion)은 더 긴 시간적 범위에 걸쳐 상태 증거를 보존한다. 모델 외에도, 위성 지도 기반으로 생성된 점유 레이블로 ManTruckScenes를 확장하고, 통합된 크로스-데이터셋 검출 및 점유 프로토콜에서 OmniHD-Scenes와 결합한다. 이를 통한 실험은 하나의 레이더-카메라 멀티태스크 평가 프레임워크 아래 정확도, 강건성, 절제 연구, 그리고 효율성을 다룬다. 코드와 레이블은 논문 채택 시 공개될 예정이다.

arXiv:2607.04098v1cs.CV

Sparse4D-Radar: 4D 레이더-카메라 융합을 통한 효율적이고 강건한 서라운드뷰 3D 객체 검출 프레임워크

Sparse4D-Radar: An Efficient and Robust Framework for Surround-View 3D Object Detection via 4D Radar-Camera Fusion

최근 4D 이미징 레이더는 악천후에 대한 강건성과 대상 속도 출력 능력으로 자율주행 분야에서 큰 주목을 받고 있다. 그러나 주류 4D 레이더-카메라 융합 방법은 전방 뷰 인식만 지원하며, 서라운드뷰 감지를 위한 성숙한 솔루션이 부재하다. 이러한 파이프라인을 360° 전방위로 직접 확장하면 과도한 연산 비용이 발생하여 실제 배포에 제약이 생긴다. 이러한 한계를 극복하기 위해 본 연구는 효율적이고 강건한 서라운드뷰 다중 모달 융합 프레임워크인 Sparse4D-Radar를 제안한다. 먼저 레이더-카메라 특징을 희소 쿼리에 임베딩하는 Deformable Fusion 모듈을 설계하여 경량 기본 버전인 Sparse4D-Radar-Base를 구성한다. 나아가 위치 정확도와 모달리티 안정성을 향상시키기 위해 두 가지 전용 모듈을 추가로 도입한다: Velocity-Consistency Sampling(VCS)은 레이더 속도 단서를 활용하여 특징을 정제함으로써 움직임 인식을 가능하게 하고, Adaptive Modality Gating(AMG)은 특징 신뢰도에 따라 교차 모달 융합 가중치를 동적으로 조정한다. 모든 구성 요소를 결합하여 고정밀 검출 요구를 위한 Sparse4D-Radar-Acc를 구축한다. OmniHD-Scenes에서의 종합 실험을 통해 제안하는 방법이 최신 서라운드뷰 3D 검출 성능을 달성함을 검증한다. 기존 방법 대비 복잡한 주행 환경에서 mAP 7% 이상, ODS 10% 이상의 향상을 달성하면서 약 10 FPS로 동작하여, 검출 정확도, 환경 강건성, 추론 효율성 간의 균형을 효과적으로 실현한다. 오픈소스 코드는 https://github.com/Aiuan/Sparse4D-Radar 에서 확인할 수 있다.

arXiv:2603.00654v3cs.CV

RC-GeoCP: 레이더-카메라 협력 지각을 위한 기하학적 합의

RC-GeoCP: Geometric Consensus for Radar-Camera Collaborative Perception

Collaborative perception (CP) improves scene understanding through multi-agent information sharing, yet LiDAR-centric systems remain costly and vulnerable in adverse weather. Camera--4D radar offers a practical alternative, but their synergy is still underexplored in CP. We introduce RC-GeoCP, which promotes low-cost, weather-resilient, and geometrically stable radar from an ego-level auxiliary cue to a cross-agent collaboration anchor. To resolve misalignment caused by depth ambiguity and spatial dispersion across agents, RC-GeoCP establishes an ego-normalized geometric consensus: the same radar-derived reliability prior is reused to ground local BEV features, select complementary messages, and weight received evidence. Specifically, Geometric Structure Rectification (GSR) aligns visual semantics with geometry derived from radar to generate spatially grounded, geometry-consistent representations. Uncertainty-Aware Communication (UAC) then serves as an information filter that inherits rectified features from GSR, leveraging inter agent disagreement to steer selective communication toward the most informative regions. Finally, the Consensus-Driven Assembler (CDA) aggregates multi-agent information via ego-normalized geometric anchors to form a spatially coherent representation. We establish a unified radar-camera CP evaluation protocol on V2X-Radar and V2X-R, demonstrating a strong accuracy--communication trade-off. Code will be released soon.

arXiv:2606.27556v1cs.CV

자동 긴급 제동을 위한 레이더 유도 카메라 검증: 레이더-카메라 융합에서 객체 검출의 재고

Radar Guided Camera Verification for Automatic Emergency Braking Rethinking Object Detection in Radar Camera Fusion

레이더-카메라 융합은 레이더가 신뢰할 수 있는 거리 및 속도 측정을 제공하고 카메라가 객체에 대한 적절한 시각적 확인을 제공하기 때문에 자동 긴급 제동(AEB) 시스템에서 널리 사용된다. 배포된 시스템의 대부분은 계산 비용이 큰 객체 검출기를 사용하여 이 확인을 수행한다. 하지만 레이더가 이미 대상을 위치 특정했다면, 카메라는 객체를 식별하는 전체 문제를 풀기보다는 장애물의 존재만 검증하면 될 수 있다. 본 연구는 레이더 유도 이미지 관심 영역(ROI) 내에서 장애물 검증을 수행하는 레이더 범위 엣지 밀도 게이트를 제안한다. 이 방법은 학습 데이터, 모델 가중치, 또는 GPU 가속이 필요하지 않으며, brake-by-wire 작동이 가능한 완전한 레이더-카메라 융합 AEB 시스템에 통합되었다. 실제 장비가 탑재된 차량에서 72회의 주행 세션과 131,603개의 카메라 프레임에 대해 평가한 결과, 제안된 방법은 카메라 검색 공간을 최대 98.7% 줄였고, ROI당 평균 처리 지연 시간 0.121 ms, AUC 0.898, 재현율 0.994를 달성했다. 33개의 단계적 위협 시나리오에서, 완전한 AEB 시스템은 놓친 브레이크 이벤트가 0건으로 기록되었다.