PyTorchKR Papers

최신 논문

총 42편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.26567v1eess.SP

대규모 MIMO를 위한 멀티모달 환경 인지 빔 관리: 기하학 기반 가상 기지국 프레임워크

Multi-Modal Environment-Aware Beam Management for Massive MIMO: A Geometry-Driven Virtual Base Station Framework

고주파 대규모 다중 입출력(MIMO) 시스템은 초고속 데이터 전송률을 보장합니다. 그러나 다중 사용자 MIMO(MU-MIMO) 시나리오에서 요구되는 과도한 빔 훈련 오버헤드와 복잡한 조정으로 인해 효율적인 빔 관리는 여전히 어려운 과제로 남아 있습니다. 이러한 병목 현상을 해결하기 위해, 전수 파일럿 기반 빔 훈련을 피하고 다중 사용자 통신을 간소화하고자 특정 현장 지식을 활용하는 환경(environment) 인지 통신이 유망한 패러다임으로 부상했습니다. 본 논문에서는 멀티모달 환경 데이터를 활용하는 해석 가능하고 기하학 기반인 프레임워크를 제안합니다. 구체적으로는 지역 3D 라이다(LiDAR) 포인트 클라우드와 위치 정보를 활용하여 오프라인 가상 기지국(VBS) 데이터베이스를 구축합니다. 포인트 클라우드로부터 재구성된 건물 파사드 전반의 거울 대칭을 통해 지배적인 반사 경로를 모델링함으로써, VBS 데이터베이스는 무선 전파 환경에 대한 간결하고 희소한 설명을 제공합니다. 기하학적 정보와 무선 채널 간의 의미론적 격차(semantic gap)를 메우기 위해, VBS 유도 기하학적 관계로부터 채널 파라미터를 직접 추정하는 대략적 채널 재구성 메커니즘을 개발합니다. 도출된 대략적 빔 공간 표현을 기반으로, 최소한의 온라인 훈련 오버헤드로 대략적 추정치를 정밀화하는 VBS 보조 직교 파일럿(VOP) 기반 부분 빔 훈련 기법을 설계합니다. 마지막으로 조합적 빔 선택 문제를 해결하고 사용자 간 간섭을 관리하기 위해 협력적 빔 선택을 위한 이중 에이전트 듀얼링 더블 심층 Q 네트워크(DD3QN-CBS)라는 계층적 심층 강화학습(reinforcement learning) 프레임워크를 제안합니다. 시뮬레이션 결과는 휴리스틱 및 학습(training) 기반 베이스라인 대비 빔 훈련 효율성과 빔 선택 성능 모두에서 일관된 향상을 입증합니다.

arXiv:2606.03915v2cs.CV

PatchScene: 대규모 장면 완성을 위한 패치 기반 복셀 확산 모델

PatchScene: Patch-based Voxel Diffusion for Large-Scale Scene Completion

본 논문에서는 대규모 라이다(LiDAR) 장면 완성(scene completion)을 위한 새로운 확산(diffusion) 기반 프레임워크인 PatchScene을 제안합니다. 전역 잠재 표현(global latent representation)이나 조밀한 복셀 그리드(dense voxel grid)에 의존하는 기존 방법들과 달리, PatchScene은 국소적인 3D 영역 내에서 세밀한 기하학적 구조를 명시적으로 생성하는 패치 기반 복셀 확산 패러다임을 채택합니다. 공간 및 시간적 규모 모두에서 일관된 재구성을 보장하기 위해, 중첩되는 패치와 인접 프레임을 통합된 생성 과정 내에서 결합하는 신뢰도 기반 시공간 융합(confidence-guided spatio-temporal fusion) 메커니즘을 도입합니다. 또한, 라이다 스캔의 방사형 밀도 패턴을 활용하여 근거리 영역에서 원거리 영역으로 고충실도 정보를 점진적으로 전파함으로써 공간적으로 무제한인 장면 완성을 가능하게 하는 Annular-Flow 확산 전략을 설계합니다. SemanticKITTI 벤치마크에 대한 광범위한 실험을 통해 PatchScene이 모든 표준 지표에서 최고 수준의 성능(SOTA)을 달성하며, 기하학적 정확도와 시간적 일관성 모두에서 이전 접근 방식들을 능가함을 입증합니다. 특히 20m 라이다 범위에서 학습된 모델이 재학습 없이도 50m 장면에 효과적으로 일반화되어, 실제 자율주행 애플리케이션에 대한 강력한 확장성과 일반화 능력을 보여줍니다. 프로젝트 페이지: https://patchscene.github.io/

arXiv:2609.24825v1cs.CV

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

arXiv:2609.24452v1cs.CV

LiDAR 언어 모델은 정말로 시공간적 관계를 이해하는가?

Do LiDAR Language Models Really Understand Spatio-temporal Relationships?

최근의 4D LiDAR 언어 모델들은 객체와 그 객체들 사이의 변화하는 공간적 관계를 추론하는 것을 목표로 한다. 그러나 본 연구의 평가에서, 항상 동일한 선택지를 고르는 것만으로도 두 가지 B4DL 기반 구성의 객관식 정확도에 거의 근접하는 것으로 나타났다. 우리는 150개의 nuScenes 장면에 걸친 10,000개의 질문으로 구성된, 기하학 정보를 참조하는 벤치마크이자 진단 프로토콜인 LiDAR-Hallu를 제안한다. 이 벤치마크는 객체 존재 여부, 자기 중심적(ego-relative) 위치, 거리 순서, 상대적 움직임, 시간적 위치 추정을 다루며, 객체 선택, 시간 비교, 참조 정답 결정에 대한 명시적인 규칙을 포함한다. 우리의 프로토콜은 고정 정답 및 후보 내용 통제, 동일한 프롬프트이지만 정반대의 참조 정답을 갖는 장면 간(cross-scene) 쌍, 그리고 관계별 재현율을 결합한다. 100,000개의 기록된 응답에 대한 분석은 종합 정확도에 가려져 있던 실패들을 드러낸다. 후보 지속 시간만으로도 LiDAR를 관찰하지 않고서 시간 관련 답을 예측할 수 있다. 쌍을 이룬 질문들에서, 모델들은 정반대의 답을 요구하는 장면들에 대해 동일한 답을 내놓는 경우가 빈번했다. 관계별 분석은 나아가 두 구성 모두 테스트된 모든 조건에서 긍정적인 측면 이동(lateral-motion) 사례를 전부 놓친다는 것을 보여준다. 시간 셔플(temporal-shuffle) 대조 디코딩은 실질적인 개선을 거의 제공하지 못하는데, 이는 수정된 부분이 새로운 오류에 의해 대부분 상쇄되고 주요 실패들이 그대로 유지되기 때문이다. 이러한 결과는 시공간적 추론을 평가하려면 개별 답변 정확도에만 의존하기보다는 모델이 질의된 물리적 관계를 실제로 구별하는지를 테스트해야 함을 보여준다. 소스 코드, 체크포인트, 데이터는 https://github.com/Awesome4D/4DMLLM_Hallucination_Bench 에서 공개된다.

arXiv:2609.22868v1cs.CV

종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습

Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving

종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.

arXiv:2607.06782v2cs.RO

PROBE-X: 학습이 필요 없는 교차 FOV 장소 인식

PROBE-X: Learning-Free Cross-FOV Place Recognition

시야각(FOV, field-of-view) 불일치 상황에서는 서로 다른 각도 범위에 걸쳐 LiDAR 특징을 풀링(pooling)하면 압축 검색 키(compact retrieval key)가 왜곡되어 기하학적 검증(geometric verification) 이전에 올바른 매칭이 배제될 수 있습니다. 본 논문은 단일 스캔 기반 교차 FOV 장소 인식(cross-FOV place recognition)을 위한 학습이 필요 없는(learning-free) 방법인 PROBE-X를 제안합니다. 이동(translation) 불확실성을 모델링하는 PROBE의 확률적 점유 표현(probabilistic occupancy representation)을 기반으로, PROBE-X는 알 수 없는 상대 헤딩(relative heading)에 대한 최대 4개의 고정 가설에 조건화된 각도 마스크(angular mask)를 사용하여 링-평균(ring-mean) 검색 키를 구성합니다. 후보 목록은 최대 코사인 유사도(cosine similarity)를 기준으로 병합됩니다. 유지된 각 후보는 자신을 검색해낸 가설 하에서 정렬되며, 정제된 헤딩에서의 각도 중첩(angular overlap)에 대해 기하학적 점수가 부여됩니다. 통제된 FOV 및 이종(heterogeneous) LiDAR 실험 전반에서, PROBE-X는 제한된 FOV 쿼리와 파노라마 데이터베이스 스캔을 사용하는 대부분의 설정에서 평가된 단일 스캔 베이스라인(baseline)보다 높은 Recall@1과 PR-AUC를 달성합니다. 통제된 비대칭 FOV 스윕(sweep)에서는 단일 스캔 PROBE-X가 최대 10개의 누적 스캔으로 평가된 베이스라인보다도 두 지표 모두에서 우수한 성능을 보입니다. 두 가지 어블레이션(ablation) 설정에서, 검색 키 구성 시 각도 마스크를 제거하면 정렬 및 점수 산정이 여전히 각도 지원(support)을 고려하더라도 후보 커버리지와 Recall@1이 감소합니다. 프로젝트 페이지: https://sites.google.com/view/probex-pr

arXiv:2211.01566v2cs.GR

NaRPA: 우주항공학을 위한 내비게이션 및 렌더링 파이프라인

NaRPA: Navigation and Rendering Pipeline for Astronautics

본 논문은 우주 기반 영상 데이터 생성을 위한 광 전달(light transport) 모델링 및 시뮬레이션에서 과학적 광선 추적(ray-tracing)의 응용을 제시한다. 강건한 내비게이션 파이프라인을 위한 시뮬레이션을 지원하고 가상 데이터셋을 생성하는 렌더링 프레임워크로서, 광선 추적 엔진인 우주항공학을 위한 내비게이션 및 렌더링 파이프라인(Navigation and Rendering Pipeline for Astronautics, NaRPA)을 소개한다. 우주-우주 및 지상-우주 간 가상 관측치의 합성을 가능하게 하는 센서 모델과 환경 모델을 제시한다. 본 연구는 NaRPA를 이용해 수동형(passive) 및 능동형(active) 비전 기반 센서를 시뮬레이션하는 능력을 보여줌으로써, 항공우주 시각 내비게이션 알고리즘의 설계, 테스트, 검증을 지원한다. 또한 본 논문은 속도계(velocimeter) LiDAR 모델과 실험 데이터를 이용한 그 통계적 검증을 설명한다.

arXiv:2607.22129v1cs.CV

다중 플랫폼 레이저 스캐닝을 이용한 개별 수목 성장 재구성 프레임워크

A Framework for Individual Tree Growth Reconstruction Using Multi-Platform Laser Scanning

레이저 스캐닝 데이터를 이용한 정확한 수목 단위 산림 모니터링을 위해서는 신뢰할 수 있는 수목 분할, 다중 시점 포인트 클라우드 간 일관된 수목 대응, 그리고 수목 속성 및 그 변화의 정확한 추정이 필요하다. 한대 숲에서 수목 성장을 재구성하는 것은 역사적 줄기 수준 데이터의 부족, 구형 센서로부터 변화 추정으로의 오류 전파, 그리고 측정 불확실성과 비슷한 크기의 성장률로 인해 어렵다. 본 연구는 한대 숲 시험지에서 공중(ALS), 이동형(MLS), 지상 레이저 스캐닝(TLS) 플랫폼의 11개 스캐너로 2014--2025년 사이에 수집한 136개의 포인트 클라우드를 이용하여 개별 수목의 흉고 직경(DBH) 및 줄기 부피 성장을 추정하는 프레임워크를 조사한다. 수목은 MLS 포인트 클라우드에서 심층 학습 기반 분할을 이용해 분할되었으며, 이 방법은 나머지 포인트 클라우드에 전이되어 신뢰할 수 있는 다중 시점 수목 대응을 달성했다. 줄기 곡선은 MLS/TLS 데이터에서 도출되었고, ALS 데이터는 높이 추정에 사용되어 DBH 및 부피 추정과 시계열 분석을 가능하게 했다. 높이 성장 기반 스케일링 모델을 사용하여 시간에 따른 줄기 속성을 재구성하고 성장을 추정했다. 결과는 모델링된 성장이 포인트 클라우드에서 독립적으로 추정된 속성의 차분보다 수동 성장 추정과 더 높은 일치를 보였음을 나타냈다. 모델-수동 5년 및 10년 성장 RMSE는 플롯 난이도에 따라 DBH의 경우 각각 55--111% 및 26--67%였고, 부피의 경우 각각 31--87% 및 21--67%였다. 스케일링 모델은 시간적으로 견고했으며, 오류는 5--6년 후 안정적이거나 안정화되었고, 12년 후 DBH의 최대 RMSE는 8--12%, 부피는 12--23%에 도달했다. MLS/TLS에서 도출한 줄기 측정값과 다중 시점 ALS에서 도출한 높이를 결합하면 다중 수관 하부 스캔 없이도 개별 수목 성장 추정을 위한 견고한 프레임워크를 제공한다.

arXiv:2607.19528v1cs.CV

D3VL: 3D 시계열 데이터와 영상을 활용한 언어 모델 기반 주행 장면 이해

D3VL: Understanding Driving Scenes from 3D Time Series Data and Video with Language Models

최근 다중모달 대규모 언어 모델(MLLM)의 발전은 자율주행을 위한 엔드투엔드 MLLM 개발을 촉발했다. 그러나 지금까지의 주된 초점은 2D 이미지와 영상을 사용하는 MLLM에 맞춰져 있다. 이와 대조적으로, 본 논문은 LiDAR 및 스테레오 카메라와 같은 3D 센서를 사용할 때의 MLLM 효과를 고려한다. LiDAR는 데이터의 희소성과 격자 구조의 부재로 인해 MLLM 내 통합에 독특한 과제를 제기한다. 유사한 이유로 MLLM 파이프라인 내에서 카메라와 LiDAR 데이터의 융합도 흔하지 않다. 그러나 대부분의 자율주행 시스템은 LiDAR 기반 센싱에 의존하며, 3D 데이터를 통합하는 것이 전통적인 3D 장면 인식 작업에서 성능 향상을 입증해 왔다. 본 논문은 2D 및 3D 시계열 데이터를 단일하면서도 단순한 아키텍처로 통합하는 새로운 MLLM 프레임워크인 D3VL을 제안한다. 해당 모델은 교통 장면 이해와 안전과 관련된 질문에 답하는 것을 목표로 한다. D3VL은 2D 및 3D 시계열 데이터 처리에서 KITTI 질의응답(QA) 데이터셋상 기준선 방법 대비 11%의 성능 향상을 보인다. 본 논문은 다양한 주행 조건에서 3D 및 시계열 데이터를 처리하는 모델의 능력을 평가하는 Waymo QA 데이터셋 확장을 추가로 소개한다. D3VL 구현 코드와 WaymoQA 확장은 보조 웹사이트(https://automotivesafety-lvlm.github.io)에서 확인할 수 있다.

arXiv:2607.14463v1cs.LG

LiDAR 포인트 클라우드 분류를 위한 동역학 시스템 오토인코더의 깊이 의존적 은닉 상태 붕괴

Depth-Dependent Hidden-State Collapse in Dynamical System Autoencoders for LiDAR Point-Cloud Classification

우리는 공간 좌표와 Product Coefficient 특징 증강을 사용하여 LiDAR 포인트 클라우드 분류를 위한 동역학 시스템 오토인코더(DSAE)를 연구한다. 실험에서는 인코더 깊이 $K=1,\ldots,5$에서 별도로 학습된 DSAE 아키텍처를 비교하고, Random Forest, kNN, 그리고 다수 클래스 Dummy 기준선으로 결과 은닉 표현을 평가한다. 주요 발견은 $K=5$에서의 은닉 상태 붕괴이다. xyz 입력과 xyz plus Product Coefficient 입력 모두에서 은닉 상태 표준편차는 $10^{-5}$ 크기까지 떨어지며, 세 분류기 모두 동일한 macro F1 점수 $0.224688$에 도달한다. 우리는 클래스 간 은닉 산포가 전체 은닉 산포에 의해 상한이 정해지며, 이는 다시 보고된 은닉 상태 분산에 의해 제어됨을 증명한다. 따라서 거의 일정한 은닉 표현은 상당한 클래스 분리 구조를 유지할 수 없다. Product Coefficient는 현재 DSAE 설정에서 붕괴 이전 macro F1을 개선하지도 않고 $K=5$ 붕괴를 방지하지도 않는다. 이 결과는 큰 깊이에서의 표현 붕괴가 DSAE LiDAR 분류의 구체적인 실패 모드임을 밝힌다.

arXiv:2607.14127v1cs.LG

LiDAR 유래 지형 지능을 활용한 위성 지상국 입지 선정을 위한 설명 가능한 지리공간 AI

Explainable Geospatial AI for Satellite Ground Station Siting Using LiDAR-Derived Terrain Intelligence

대표 혼잡 높이(representative clutter height, RCH)는 무선 전파 및 간섭 분석의 핵심 매개변수로, 단말 혼잡 손실(terminal clutter loss)을 유발하는 지역 장애물의 지배적 높이를 포착한다. 현행 관행은 ITU-R P.452-18 권고에서 토지 이용 유형별로 고정된 혼잡 높이를 사용하는 경우가 많지만, 이는 동일 유형 내 변동을 놓칠 수 있으며 저궤도 위성 지상국 입지 선정 및 스펙트럼 조정(spectrum coordination)에서 보수적인 배제 구역과 부정확한 부지 순위 산정으로 이어질 수 있다. 우리는 공개 지리공간 데이터로부터 RCH를 예측하기 위한 해석 가능하고 전 세계에 배포 가능한 머신러닝 프레임워크를 제안한다. 모델은 미국 지질조사국(USGS) 3D 고도 프로그램(3D Elevation Program)의 LiDAR 유래 레이블로 학습(training)되며, 추론(inference) 시에는 전역 토지 피복, 지형, 인구 통계, 열적, 광학 원격 탐사 산출물에서 특징(feature)을 사용한다. RCH는 강건한 75백분위 혼잡 높이 통계로 정의하고, 여러 회귀 모델을 평가한 뒤 정확도, 효율성, 특징 기여(feature attribution) 분석과의 호환성 때문에 LightGBM을 선택한다. 최종 모델은 평균 절대 오차(mean absolute error) 1.79m, R^2=0.765를 달성하며, ITU 기준선(baseline) 대비 절대 오차를 60% 이상 감소시킨다. 전체 적합도 외에도 RF 계획과 관련된 도메인 지향 기준을 평가한다. 여기에는 미터 단위 오차, 허용 범위 정확도, 과대·과소 추정 꼬리, ITU 혼잡 높이 체계와의 일치, SHAP 기반 물리적 타당성이 포함된다. SHAP 분석 결과 수관(tree canopy) 피복, 토지 피복 의미론(land-cover semantics), 스펙트럼 반사율(spectral reflectance)이 가장 영향력 있는 예측 변수로 확인된다. 분할(segmentation) 유래 특징, 비산림(non-forest) 소거(ablation), 토지 피복 일치 국제 검증(validation)에 대한 연구는 공개 지리공간 데이터가 해석 가능성이나 배포 가능성을 희생하지 않으면서 대규모로 혼잡 모델링을 개선할 수 있음을 보여준다.

arXiv:2505.09433v3cs.CV

스캔 직렬화를 통한 효율적인 LiDAR 반사율 압축

Efficient LiDAR Reflectance Compression via Scanning Serialization

LiDAR 포인트 클라우드의 반사율(reflectance) 속성은 하류(downstream) 작업에 필수적인 정보를 제공하지만, 신경 압축(neural compression) 방법에서는 여전히 충분히 연구되지 않았다. 이를 해결하기 위해, LiDAR 반사율의 고유 특성을 충분히 활용하기 위한 직렬화(serialization) 기반 신경 압축 프레임워크인 SerLiC를 제안한다. SerLiC는 먼저 스캔 순서(scan-order) 직렬화를 통해 3D LiDAR 포인트 클라우드를 1D 시퀀스로 변환하여, 반사율 분석을 위한 장치 중심(device-centric) 관점을 제공한다. 그다음 각 포인트는 센서 스캐닝 인덱스, 방사 거리(radial distance), 이전 반사율을 포함하는 문맥적 표현(contextual representation)으로 토큰화(tokenization)되어, 의존성 탐색을 효과적으로 수행한다. 효율적인 순차 모델링(sequential modeling)을 위해 Mamba를 이중 병렬화(dual parallelization) 방식과 함께 통합하여, 자기회귀(autoregressive) 의존성 포착과 빠른 처리를 동시에 가능하게 한다. 광범위한 실험 결과, SerLiC는 원본 반사율 데이터 대비 2배 이상의 용량 감소(volume reduction)를 달성하며, 최신(state-of-the-art) 방법 대비 압축 비트(compressed bits)를 최대 22% 더 줄이면서 파라미터는 단 2%만 사용한다. 또한 SerLiC의 경량(lightweight) 버전은 111K 파라미터만으로 초당 10프레임(frames per second, fps) 이상을 달성하여, 실제 응용에 매력적이다.

arXiv:2607.12959v1cs.CV

ViCo3D: 비전 기반 모델을 활용한 LiDAR 기반 협업 3D 객체 검출

ViCo3D: Empowering LiDAR-based Collaborative 3D Object Detection with Vision Foundation Models

차량-만물 연결(V2X) 시스템에서 LiDAR 기반 협업 3D 인지는 일반적으로 에이전트 간 조감도(BEV) 특징을 융합하는 방식에 의존한다. 그러나 현재 BEV 표현은 대개 처음부터 학습된 LiDAR 백본으로 추출되며, 기하학이 지배적이고 일반적인 의미론적 사전지식이 부족하여 특징 수준의 협업 효과를 본질적으로 제한한다. 한편, 대규모 이미지 데이터로 사전학습된 비전 기반 모델(VFM)은 2D 작업에 대해 범용적이고 정보가 풍부한 시각 표현을 학습하는 강력한 능력을 보여 왔으며, 협업을 위한 에이전트별 LiDAR BEV 표현을 향상시킬 잠재력을 갖고 있다. 이러한 잠재력에도 불구하고, 상당한 이미지-포인트 클라우드 모달리티 간극으로 인해 VFM을 LiDAR 기반 3D 검출에 적응시키는 것은 여전히 어렵다. 이 간극을 메우기 위해, 우리는 VFM 기반의 협업 3D 객체 검출 프레임워크인 ViCo3D를 제안한다. 구체적으로 ViCo3D는 세 가지 측면에서 VFM을 LiDAR 기반 협업 인지에 적응시킨다. 첫째, ViCo3D는 포인트 클라우드를 3채널 이미지로 BEV 평면에 투영하여 DINOv2가 LiDAR 입력으로부터 BEV 공간 시각 특징을 추출할 수 있게 한다. 둘째, 이러한 DINOv2 기반 특징을 LiDAR 기하학적 특징과 효과적으로 통합하기 위해 ViCo3D는 단일 에이전트 인코더 내에 다중 스케일 BEV 융합 모듈을 도입한다. 셋째, ViCo3D는 여러 에이전트로부터 상보적인 정보를 집계하기 위해 자차 중심(ego-centric) 교차 에이전트 융합 전략을 채택한다. DAIR-V2X 및 V2XSet에서의 실험은 ViCo3D가 최첨단 3D 검출 성능을 달성함을 보여준다. 주목할 점은 DAIR-V2X에서 기존 방법 대비 최대 1.8배 더 큰 협업 이득을 제공한다는 것이다. 향후 연구를 위해 코드를 공개할 예정이다.

arXiv:2607.12110v1cs.CV

ACZ-GSeg: LiDAR 포인트 클라우드를 위한 적응형 동심 구역 기반 2단계 지면 분할

ACZ-GSeg: Adaptive Concentric Zone-based Two-stage Ground Segmentation for LiDAR Point Clouds

지면 분할은 지상 이동 플랫폼에서 자율 주행, 환경 인식, 객체 검출을 위한 기본적인 전제 조건이다. 희소한 장거리 포인트 클라우드, 지면 요철, 복잡한 도로 시나리오에서 비지면 구조물의 간섭으로 인한 지면 점의 과소 분할(under-segmentation) 문제를 해결하기 위해, 본 논문은 적응형 동심 구역(Adaptive Concentric Zone) 모델 기반의 2단계 지면 분할 방법을 제안한다. 먼저, 각 링(ring)의 섹터(sector) 수를 동적으로 결정하여 보다 균형 잡힌 점 분포를 갖는 국소 구역을 형성하는 적응형 동심 구역 모델을 구축한다. 이 모델을 기반으로 2단계 지면 분할 방법을 개발한다. 1차(거친) 분할 단계에서는 최저 높이 시드(seed) 제약과 높이 감쇠(height-decay) 가중치를 도입하여 가중 주성분 분석(PCA) 평면 적합 모델을 구성하고, 이로부터 지면 후보 점들을 추출한다. 2차(정밀) 분할 단계에서는 반사 강도(reflectance intensity) 일관성 제약을 사용하여 고신뢰 지면 점과 불확실 점을 구별하고, 불확실 점은 고신뢰 이웃의 국소 높이 안정성에 기반하여 추가로 정제한다. 실험 결과, 제안 방법은 SemanticKITTI 데이터셋에서 정밀도(Precision), 재현율(Recall), F1-score가 각각 99.12%, 96.24%, 97.66%를 달성했으며, RUBY-PLUS로 수집한 자체 포인트 클라우드에서는 각각 98.72%, 100.00%, 99.36%를 기록했다. 결과는 제안 방법이 근거리에서는 밀집하고 원거리에서는 희소한 LiDAR 포인트 클라우드의 거리 의존적 분포 특성에 효과적으로 적응할 수 있음을 보여준다. 또한 지면 점 재현율을 유지하면서 비지면 점의 오분류를 줄여, 지면 분할의 안정성을 효과적으로 향상시킨다.

arXiv:2607.09787v1cs.CV

LiDAR 레인지 이미지 합성을 위한 적대적 유도 확산

Adversarially Guided Diffusion for LiDAR Range Image Synthesis

LiDAR 시맨틱 분할(semantic segmentation)은 자율주행에서 핵심적인 인식 태스크로, 잘못된 예측이 하위 계획 및 안전이 중요한 의사결정에 영향을 미칠 수 있다. 적대적 공격(adversarial attack), 특히 적대적 예제(adversarial example)는 이미지 분류 및 3D 포인트 클라우드 분할에서 광범위하게 연구되었지만, 3D 포인트 클라우드의 투영인 2D 레인지 이미지 공간에서의 비제한적 적대적 예제(unrestricted adversarial example)는 아직 대부분 탐구되지 않았다. 제안된 방법은, 저자들이 아는 한, 분할 손실로부터의 적대적 가이던스(adversarial guidance)를 활용하는 2D 레인지 이미지 분할에 대한 최초의 확산 기반 비제한적 적대적 공격이다. 샘플링 과정에서 직접 가이던스를 적용함으로써, 이 방법은 구조적인 분할 오류를 유도하면서도 학습된 LiDAR 데이터 매니폴드(manifold)에 가깝게 유지되는 비제한적 적대적 예제를 생성한다. RangeNet++ 및 CENet 분할 네트워크를 사용하여 SemanticKITTI 데이터셋에서 수행한 실험은, 이 공격이 가이던스 강도에 따라 조절 가능한 성능 저하를 제공하고 분할 아키텍처 간에 전이됨을 보여준다. 노름 제한 FGSM 및 SegPGD 기준선과 비교했을 때, 제안된 공격은 제어 가능한 화이트박스(white-box) 및 전이 성능 저하를 달성하면서 경쟁력 있는 분포적·시각적 사실성을 유지하는 뚜렷한 효과성-사실성 트레이드오프를 제공한다.

arXiv:2408.12322v2cs.CV

멀티모달 파운데이션 모델과 기하학을 활용한 제로샷 3D 일반 장애물 탐지

Zero-shot 3D General Obstacle Detection via Multimodal Foundation Models and Geometry

일반 장애물 탐지는 자율주행, 특히 희귀하거나 미지의 객체가 등장하는 롱테일 시나리오에서 매우 중요합니다. 기존 방법들은 지도 학습이나 사전 정의된 카테고리에 의존하여 일반화 능력이 제한됩니다. 본 연구에서는 멀티모달 파운데이션 모델과 기하학적 추론을 결합한 학습-프리(training-free) 방식의 3D 장애물 탐지 접근법을 제안합니다. 핵심 아이디어는 장애물을 도로 표면으로부터의 이탈로 탐지하고, 이를 2D에서 분할한 뒤 시간적 LiDAR 집계를 통해 3D로 위치를 추정하는 것입니다. 해당 파이프라인은 태스크별 학습 없이 제로샷(zero-shot) 방식으로 동작합니다. 실험 결과, 최대 100미터까지 정확한 위치 추정이 가능하며, 파운데이션 모델 사전 정보를 통해 재현율이 10~25% 향상되고 확장 가능한 자동 레이블링이 가능함을 보여줍니다.

arXiv:2607.08391v1cs.RO

LiDAR 객체 검출을 위한 애니타임 입력 해상도 스케일링 탐구

On Exploring Input Resolution Scaling For Anytime LiDAR Object Detection

LiDAR 포인트 클라우드 기반 3D 객체 검출 DNN에 애니타임 컴퓨팅(anytime computing)을 적용하기 위해, 단일 모델로 다중 해상도 추론을 가능하게 하는 프레임워크 MURAL을 제안한다. 데드라인 인식 스케줄러를 통해 런타임에 최적 해상도를 동적으로 선택하며, nuScenes 데이터셋과 자율주행 시뮬레이션 실험에서 기존 애니타임 방법 대비 우수한 정확도-지연 시간 트레이드오프를 달성함을 입증했다.

arXiv:2607.08711v1cs.CV

LTM: 산불 취약 지형을 위한 대규모 지형 모델

LTM: Large-scale Terrain Model for Wildfire-prone Landscapes

산불 취약 지역의 광대한 지형을 실시간으로 3D 재건하기 위해, 기존 수치 표고 모델(DEM)을 기하학적 사전 정보로 활용하는 멀티모달 프레임워크 LTM을 제안하며, 물리 기반 픽셀-픽셀 정합으로 고비용 특징 매칭을 대체해 계산 복잡도를 획기적으로 줄인다. 실제 산불 피해 지역 기반 대규모 지형 시뮬레이터로 검증한 결과, 기존 기법 대비 재건 정확도와 계산 효율성 모두에서 유의미한 향상을 달성했다.

arXiv:2607.06478v1cs.CV

주야간 시각 성능 및 야간 재귀반사율 평가를 통합한 교통 표지판 종합 상태 평가를 위한 VLM 강화 프레임워크

A VLM-Enhanced Framework for Comprehensive Traffic Sign Condition Assessment Integrating Daytime Visual Performance and Nighttime Retroreflectivity Evaluation

교통 표지판은 모든 조명 조건에서 시각적 도구로서 도로 안전의 핵심 구성 요소이다. 도로 교통 제어 장치 통일 매뉴얼(MUTCD)은 가독성 및 색상 대비와 같은 주간 시각적 요소와 야간 재귀반사율 요구사항을 규정하고 있다. 전통적인 평가 방법은 수동 점검에 의존하는데, 미국 연방도로청(FHWA)은 이를 주관적이고 노동 집약적이며 안전 우려가 있다고 지적하는 반면, 재귀반사계는 비용이 높아 소규모 기관이 도입하기 어렵다. 기존 연구의 대부분은 주간 요소 또는 야간 재귀반사율 중 한 가지에만 집중하며, 두 측면을 종합적으로 통합하는 경우는 드물다. 본 연구는 주야간 통합 평가를 통해 교통 표지판을 체계적으로 평가하는 새로운 프레임워크를 개발한다. 제안 방법론은 세 가지 파인튜닝된 비전-언어 모델(VLM)을 활용하여 가독성, 색상, 표면 및 형상 무결성, 주변 환경 조건의 네 가지 주요 요소에 걸쳐 주간 시각 성능을 평가한다. VLM 예측은 감성 분석과 대조적 언어-이미지 사전학습(CLIP) 점수를 통해 수치 점수로 변환되며, 야간 성능은 확립된 보정 절차에 따라 LiDAR 기반 재귀반사율을 사용하여 평가된다. 프레임워크는 이러한 구성 요소들을 유지관리 지침을 위한 종합 표지판 상태 지수(SCI)로 통합한다. 평가 결과, LLaVA와 Qwen이 InternVL보다 우수한 성능을 보였으며, 모든 요소에서 양방향 코사인 유사도 점수 0.67~0.76을 달성하였다. 검증된 교통 표지판 462개 중 68개가 재귀반사율 성능 부족으로 인해 즉각적인 교체가 필요한 것으로 제안 프레임워크에 의해 표시되었다. 본 연구는 종합적인 교통 표지판 상태 평가를 위한 전통적인 수동 점검의 비용 효율적인 대안을 제공한다.

arXiv:2607.06319v1cs.CV

클래스 비지정 모션 예측을 위한 합성-실제 변환

Synthetic-to-Real Translation for Class-Agnostic Motion Prediction

자율주행의 실세계 모션 레이블 취득 비용 문제를 해결하기 위해, 합성 데이터에서 실제 데이터로 모션 지식을 전이하는 SR-Motion 프레임워크를 제안하며, 객체성 인식 모션 예측(objectness-aware motion prediction)과 객체성 보조 모션 향상(objectness-aided motion enhancement) 두 모듈을 통해 도메인 시프트에 취약한 단순 회귀 방식의 노이즈 문제를 완화한다. 또한 SRMP 연구를 위한 최초의 대규모 합성 4D LiDAR 데이터셋인 Motion4D(1,370개 시퀀스, 124K 프레임)를 구축하여 실험적으로 실제 장면에서의 우수한 성능을 검증하였다.