LiDAR 씬 플로우(scene flow)는 의미 분할이나 3D 객체 검출과 달리 클래스 비의존적(class-agnostic) 특성 덕분에 다중 데이터셋 학습이 단일 데이터셋 모델보다 일관되게 우수함을 실증적으로 밝히고, 이를 바탕으로 다양한 센서 배치와 포인트 클라우드 밀도를 가진 여러 대규모 데이터셋을 아키텍처 수정 없이 통합 학습하는 UniFlow를 제안한다. UniFlow는 Waymo와 nuScenes에서 각각 5.1%, 35.2% 성능 향상으로 최고 성능을 달성하며, 학습에 사용되지 않은 TruckScenes와 AEVAScenes에서도 기존 데이터셋 특화 모델 대비 각각 30.1%, 22.5% 높은 제로샷(zero-shot) 정확도를 기록한다.
자율주행 장면에서 사실적인 3D 차량 모델을 복원하는 것은 학습 데이터 합성 및 시뮬레이션 환경 구축에 매우 중요합니다. 그러나 기존 차량 생성 방법의 대부분은 멀티모달 센서(즉, 다중 시점 이미지와 LiDAR 포인트 클라우드)를 충분히 활용하지 못하며, 신경 렌더링 기반 재구성에 의존하여 낮은 품질의 메시를 생성합니다. 최근 네이티브 3D 생성 모델이 상당한 발전을 이루었지만, 임의의 다중 시점 입력을 위해 설계되지 않았으며 실제 주행 이미지에 어려움을 겪는 경우가 많습니다. 본 연구에서는 자율주행 데이터셋의 LiDAR와 이미지 센서를 네이티브 3D 생성 모델에 통합하여 실제 환경에서의 3D 차량 생성을 위한 TRELLIS의 멀티모달 버전인 MM-TRELLIS를 제안합니다. 구체적으로, 다중 시점 이미지는 조건부 입력으로 순환 적용되며, LiDAR 포인트 클라우드는 기하학적 정확도와 교차 시점 일관성을 보장하기 위한 테스트 시점 가이던스를 제공합니다. 디노이징 과정에서 먼저 가이던스 포인트 클라우드를 모델 사전 분포에 정렬한 후, 생성된 기하 구조와 가이던스 포인트 클라우드 간의 일관성을 강제합니다. 마지막으로, 부유 잡음(floater)을 억제하고 깔끔한 메시를 생성하기 위해 3D Gaussian Splatting의 불투명도에 기반한 복셀 필터링 전략을 도입합니다. Waymo 데이터셋에 대한 포괄적인 실험을 통해 우리의 방법이 고충실도 3D 차량 생성에서 기존 방법들보다 우수한 성능을 발휘함을 입증합니다. 코드는 https://github.com/HongliXiao/MM-TRELLIS 에서 확인할 수 있습니다.
포인트 클라우드 기반 모델이 포인트 클라우드 비디오 이해 분야를 크게 발전시켰음에도 불구하고, 기존의 매개변수 효율적 미세조정(PEFT) 방법들은 여전히 두 가지 핵심적인 한계를 갖는다: 대규모 포인트 클라우드 데이터셋에 대한 과도한 어노테이션 비용과 심각한 메모리 병목 현상. 본 논문에서는 데이터셋을 무분별하게 확장하는 대신 기존 데이터에서 더 풍부한 지도 신호를 추출하는 것을 목표로 한다. 또 다른 핵심 원칙은 미세조정의 메모리 사용량이 전체 미세조정 대비 대폭 감소되어야 한다는 것으로, 이는 현재의 PEFT 기법에서 여전히 달성하기 어려운 과제이다. 이러한 과제들에 의해 동기를 부여받아, 우리는 세 가지 핵심 요건인 데이터, 매개변수, 메모리 효율성을 식별하고, 세 가지 차원 모두에서 탁월한 성능을 발휘하는 통합 프레임워크 PoinTriE를 제안한다. 사전학습 단계에서는 강체 변환을 통해 의사 모션 궤적을 합성하고, 이를 원시 포인트 클라우드에서 도출한 텍스트 코퍼스 및 2D 프로젝션과 쌍을 이룬다. 이후 다중 모달 대조 학습, 강체 회전 예측, 모션 분포 발산을 통해 최적화되는 Geometric-Motion Duality Network를 제안하여 밀집 자기지도(self-supervision)를 생성한다. 미세조정 단계에서는 사전학습된 백본을 고정하고 LoRA 유닛으로 구성된 경량의 시공간 사이드 네트워크(Spatio-temporal Side Network)만을 업데이트한다. 그래디언트 흐름 마스킹 전략을 갖춘 PoinTriE는 메모리 소비와 매개변수 오버헤드를 동시에 줄인다. 광범위한 실험을 통해 PoinTriE가 행동 인식 및 의미론적 분할 태스크에서 새로운 최첨단 결과를 달성함을 확인한다.
We study multi-sensor fusion for 3D semantic segmentation that is important to scene understanding for many applications, such as autonomous driving and robotics. Existing fusion-based methods, however, may not achieve promising performance due to the vast difference between the two modalities. In this work, we investigate a collaborative fusion scheme called perception-aware multi-sensor fusion (PMF) to effectively exploit perceptual information from two modalities, namely, appearance information from RGB images and spatio-depth information from point clouds. To this end, we project point clouds to the camera coordinate using perspective projection, and process both inputs from LiDAR and cameras in 2D space while preventing the information loss of RGB images. Then, we propose a two-stream network to extract features from the two modalities, separately. The extracted features are fused by effective residual-based fusion modules. Moreover, we introduce additional perception-aware losses to measure the perceptual difference between the two modalities. Last, we propose an improved version of PMF, i.e., EPMF, which is more efficient and effective by optimizing data pre-processing and network architecture under perspective projection. Specifically, we propose cross-modal alignment and cropping to obtain tight inputs and reduce unnecessary computational costs. We then explore more efficient contextual modules under perspective projection and fuse the LiDAR features into the camera stream to boost the performance of the two-stream network. Extensive experiments on benchmark data sets show the superiority of our method. For example, on nuScenes test set, our EPMF outperforms the state-of-the-art method, i.e., RangeFormer, by 0.9% in mIoU. Our source code is available at https://github.com/ICEORY/PMF.
리만 다양체 접공간에 놓인 벡터 특징을 위해 벡터 확산 맵에서 영감을 받은 벡터 확산 웨이블릿(VDWs)을 제안하고, 이를 기하 그래프 신경망 VDW-GNNs에 통합한다. 이론적으로 기존 확산 웨이블릿과 유사한 프레임 이론적 성질과 회전·평행이동 대칭성을 증명했으며, 합성 포인트 클라우드와 풍속장·신경 활동 측정 데이터에서 효과를 입증했다.
현재의 end-to-end 다중 뷰 3D 재구성 방법들은 인상적인 결과를 달성하지만, 장면이 완전히 방해 요소가 없고 교차 뷰 기하가 완벽하다는 제한적인 정적 가정에 의존한다. 이러한 이상화된 입력에 대한 의존은 일시적인 방해 요소와 가려림이 존재하는 실세계 환경에서 최첨단 방법조차 실패하게 만든다. 이를 해결하기 위해, 불일치하는 뷰로부터 강건한 재구성을 수행하는 end-to-end 프레임워크인 Visual Geometry Transformer in the Wild (VGTW)를 제안한다. 핵심적으로, 뷰 간 일관된 구성 요소는 보존하면서 방해 요소의 영향을 받은 영역을 분리하고 억제한다. 구체적으로, 어텐션 메커니즘에서 깨끗한 특징과 방해 요소에 오염된 특징을 분리하면서 이미지 간 특징 일관성을 강제하는 Distractor-aware Training (DAT) 전략을 도입한다. 이를 가능하게 하기 위해, 픽셀 수준의 방해 요소 마스크를 포함하여 수집한 새 데이터셋의 supervision을 이용해 보조 마스크 예측 헤드와 함께 모델을 학습한다. 그 결과 얻은 VGTW 모델은 깨끗하고 방해 요소가 없는 포인트 클라우드를 직접 출력하는 순전파 신경망이다. 놀랍게도, 추가적인 3D supervision 없이도 작동하며 계산적으로 효율적이고 기존 파이프라인과 호환된다. 광범위한 실험을 통해 우리 접근법을 검증하였으며, 다양한 실세계 시나리오에서 최첨단 성능과 강건한 일반화를 입증하였다.
경사면 위험은 고속도로 인프라에 대한 주요 안전 위협이며, 그 변화는 일반적으로 느린 표면 변형으로 나타난다. 기존의 수동 점검은 효율이 낮고 작업 안전성이 부족하며, 특히 심하게 악화된 경사면에서 그 문제가 두드러진다. 따라서 넓은 면적의 경사면 관측 및 분석이 가능한 자동화된 고정밀 솔루션에 대한 긴급한 필요가 있다. 본 연구는 무인항공기(UAV) 탑재 Light Detection and Ranging(LiDAR)를 이용한 경사면 위험 탐지를 위한 고도로 자동화된 워크플로를 개발하는 것을 목표로 한다. 제안된 워크플로는 공유 데이터 수집 및 지표면 추출 단계, RandLA-Net 기반 단일 관측 위험 선별 분기, 격자 단위 고도 차분에 기반한 다중 에포크 변형 모니터링 분기로 구성된다. 제안 시스템의 효과를 검증하기 위해 실제 고속도로 경사면 환경에서 다수의 UAV 탑재 LiDAR 데이터 수집 비행을 수행했다. 결과는 해당 워크플로가 식생 피복 하에서도 사용 가능한 지표면 포인트 클라우드를 추출하고, 단일 관측 포인트 클라우드로부터 잠재적 위험 구역을 식별하며, 다중 에포크 격자 차분을 이용해 센티미터 수준의 고도 변화를 정량화할 수 있음을 보여준다. 본 연구는 경사면 점검을 위한 종단 간(end-to-end) UAV 탑재 LiDAR 기반 워크플로를 확립하고, 통제 실험, 현장 시험, 시뮬레이션 기반 검증을 통해 그 실현 가능성을 입증함으로써 자동화된 경사면 위험 모니터링 및 지능형 조기 경보를 위한 실행 가능한 솔루션을 제공한다.
포인트 클라우드로부터의 표면 재구성은 AR/VR 및 실내 스캐닝을 포함한 소비자용 3D 캡처에 있어 중요합니다. 로컬 패치 부호 없는 거리 장(Unsigned Distance Field, UDF) 방식은 경량화되고 일반화가 가능하지만, 그 정확도는 서포트 반경에 의존합니다. 기존에는 이 반경이 고정되거나, 이질적인 국소 기하학을 포착하지 못하는 1차원 곡률 휴리스틱을 통해 선택되었습니다. 본 논문에서는 연속적인 서포트 반경을 예측하여 고정된(frozen) LoSF-UDF 백본에 결합되는 학습된 쿼리별 반경 선택기를 제안합니다. 이 선택기는 캐시된 UDF 오차 곡선에 대한 포물선 보간으로부터 얻은 오프-그리드(off-grid) 목표 반경을 사용하여 학습됩니다. 실험 결과, 미세 규모의 재구성 정확도가 향상됨을 확인했습니다.
LiDAR 장소 인식은 사전 포인트 클라우드 맵 상의 위치를 결정합니다. 가장 많이 연구된 지상 수준 LiDAR 장소 인식은 사전 방문 요구 사항, 불완전한 커버리지, 제한된 관점의 문제가 있습니다. 미리 획득한 전체 커버리지의 항공 레이저 스캐닝(ALS) 데이터를 공중 사전 맵으로 사용하면 이러한 단점을 극복할 수 있어, 교차 뷰 장소 인식이 필요하고 유리합니다. 그러나 공중-지상 LiDAR 장소 인식은 공중과 지상 포인트 클라우드 간의 도메인 격차 및 초기 검색 중의 오탐(false positive)과 같은 중요한 문제에 직면합니다. 이러한 문제를 해결하기 위해, 우리는 공중-지상 LiDAR 장소 인식을 위한 새로운 검색 및 재순위화 프레임워크를 제안합니다. 인접한 포인트 클라우드 패치가 앵커 패치와 유사한 의미를 공유한다는 사전 지식을 기반으로, 우리의 검색 네트워크는 다중 스케일에서 패치 수준 자기지도 학습 모듈을 도입하고 장면 수준 학습과 통합하여 공중 및 지상 포인트 클라우드 간의 전역 특징 식별력을 향상시킵니다. 또한, ALS 포인트 클라우드의 구조화된 공간 분포를 활용하여, 이웃 정보를 최대한 활용하고 이웃 특징을 기반으로 각 특징을 정제한 후 최종 순위화를 위해 유사도 행렬을 업데이트하는 데 사용하는 확장된 상호(Expanded Reciprocal, ER) 재순위화 알고리즘을 도입합니다. 광범위한 실험을 통해 우리의 검색 네트워크는 기존 최첨단(SOTA) 방법보다 우수하며, CS-Urban-Scenes 데이터셋에서 평균 Recall@1 9.8% 향상 및 평균 Recall@1% 3.2% 향상을 달성하고 CS-Campus3D 데이터셋에서도 최고의 성능을 보임을 입증했습니다. 또한, 우리의 ER 재순위화 알고리즘은 추가 학습 없이 CS-Campus3D에서 평균 Recall@1을 4.9%, CS-Urban-Scenes에서 10.2% 더 향상시킵니다.
도메인 적응은 3D 비전, 특히 3D 포인트 클라우드를 시각 및 텍스트 데이터와 정렬하는 멀티모달 파운데이션 모델에서 중심적인 과제로 남아 있습니다. 이러한 모델들이 강력한 일반적인 능력을 보여주지만, 제한된 데이터로 하위 도메인에 적용할 때는 종종 과적합과 재앙적 망각으로 이어집니다. 이를 해결하기 위해 우리는 3D 대규모 멀티모달 모델(LMM)의 도메인 일반화 가능한 튜닝을 위해 설계된 정규화된 미세조정 프레임워크인 ReFine3D를 소개합니다. ReFine3D는 선택적 층 튜닝을 두 가지 목표 지향적 정규화 전략과 결합합니다: 증강된 포인트 클라우드 간의 다중 뷰 일관성과 대규모 언어 모델이 생성한 동의어 기반 프롬프트를 통한 텍스트 다양성입니다. 또한, 강인성을 더욱 향상시키기 위해 포인트 렌더링 비전 감독과 신뢰도 기반 집계를 갖춘 테스트 타임 증강 메커니즘을 통합합니다. 다양한 3D 도메인 일반화 벤치마크에 대한 광범위한 실험 결과, ReFine3D는 기본-새로운 클래스 일반화를 1.36%, 데이터셋 간 전이를 2.43%, 손상에 대한 강인성을 1.80%, 퓨샷 정확도를 최대 3.11% 향상시키며, 최소한의 추가 계산 오버헤드로 이전 최신 기법을 능가함을 보여줍니다.
우리는 산림 포인트 클라우드의 시맨틱 및 인스턴스 분할을 위한 센서 및 플랫폼 독립적인 프레임워크인 SegmentAnyTreeV2를 제안합니다. 이 모델은 직렬화 기반 Point Transformer v3 백본을 경량 시맨틱 헤드 및 나무 중심 크로스-어텐션(cross-attention) 마스크 디코더와 결합합니다. 시맨틱 예측은 인스턴스 디코딩을 나무 클래스 복셀로 제한하는 반면, 인스턴스 인식 쿼리 초기화, 일대다 시드 감독, 비대칭 마스크 스코어링은 밀도가 높고 구조적으로 복잡한 수림에서의 분리를 개선합니다. 또한, 우리는 다양한 바이옴, 숲 구조 및 라이다(LiDAR) 플랫폼에 걸쳐 427개의 장면과 26,496개의 주석이 달린 나무를 포함하는 확장된 벤치마크인 FOR-instance v3를 소개합니다. FOR-instanceV2 테스트 분할에서 SegmentAnyTreeV2는 90.5% 정밀도(precision), 80.2% 재현율(recall), 85.0% F1, 90.7% 커버리지, 87.6% 시맨틱 mIoU를 달성하여 인스턴스 검출 및 마스크 완전성 측면에서 이전의 학습 기반 방법들을 능가합니다. 독립적인 사이트에서의 제로샷(zero-shot) 평가는 강력한 크로스 도메인 일반화를 추가로 입증합니다.
포인트 클라우드는 단순성과 기하학적 충실도 덕분에 3D 형상과 장면을 표현하는 가장 널리 채택된 형식입니다. 그러나 센서 노이즈와 오클루전(occlusion)으로 인해 심화된 본질적인 비순서(unordered) 및 불규칙한 특성은 머신러닝 기반 방법론에 독특한 도전 과제를 제시합니다. 이러한 문제를 해결하기 위해 순서성을 갖는 형식으로 변환하거나, 국소 기하학을 추출하고, 순열 불변(permutation-invariant) 또는 셀프 어텐션(self-attention) 기반 처리를 포함하는 다양한 전략이 개발되었습니다. 본 논문에서는 3D 비전의 세 가지 기본 과제인 포인트 클라우드 분류, 부분 분할(part segmentation), 시맨틱 분할(semantic segmentation)을 위한 심층 학습 모델에 초점을 맞춥니다. 우리는 포인트 클라우드 데이터를 형식적으로 정의하는 것으로 시작하여, 그 구조적 특성에 대해 심도 있게 논의합니다. 그런 다음 백본(backbone) 구조를 기준으로 주요 연구를 분류하고, 널리 사용되는 벤치마크에서의 성능을 평가합니다. 단순한 실증적 비교를 넘어, 아키텍처의 혁신과 한계점에 대한 통찰을 제공합니다. 또한 3D 포인트 클라우드 이해를 위한 남아있는 과제와 유망한 미래 방향을 제시합니다.
포인트의 비정형 및 불규칙한 특성은 정확한 포인트 클라우드 품질 평가(PCQA)에 있어 중요한 도전 과제를 야기하며, 특히 정확한 지각적 특징 대응(correspondence)을 설정하는 데 있어 그렇습니다. 이를 해결하기 위해 우리는 멀티스케일 암시적 구조 유사성 측정(MS-ISSM)을 제안합니다. 기존의 점 대 점 매칭과 달리, MS-ISSM은 방사 기저 함수(RBF)를 활용하여 국소 특징을 연속적으로 표현하며, 왜곡 측정을 암시적 함수 계수의 비교로 변환합니다. 이 접근 방식은 불규칙한 데이터에 내재된 매칭 오류를 효과적으로 회피합니다. 또한, 우리는 멀티스케일 특징 차이를 지각 점수로 강건하게 매핑하는 ResGrouped-MLP 품질 평가 네트워크를 제안합니다. 네트워크 아키텍처는 잔차 블록과 채널별 어텐션(attention) 메커니즘과 통합된 그룹화된 인코딩 전략을 채택하여 기존의 평탄한 다층 퍼셉트론(MLP)에서 탈피했습니다. 이러한 계층적 설계는 모델이 고(High), 중(Medium), 저(Low) 스케일에 걸쳐 가장 두드러진 왜곡 특징에 적응적으로 집중하면서 휘도, 색도 및 기하학의 고유한 물리적 의미를 보존할 수 있게 합니다. 여러 벤치마크에 대한 실험 결과, MS-ISSM이 신뢰성과 일반화 측면 모두에서 최첨단 메트릭을 능가함을 입증합니다. 소스 코드는 다음에서 확인할 수 있습니다: https://github.com/ZhangChen2022/MS-ISSM.
정확한 현장별 채널 정보는 차세대 무선 네트워크 최적화에 매우 중요하다. 다양한 접근법 가운데, 기준 신호 수신 전력(RSRP) 측정값으로 채널 다중경로 각도 파워 스펙트럼(APS)을 모델링하는 국소 통계 채널 모델링(LSCM)이 효율적인 네트워크 최적화를 위해 설계된 최첨단 방법으로 부상했다. 그러나 LSCM은 효과적임에도 측정값이 없는 대부분의 위치에서 APS를 예측할 수 없어, 대규모 실세계 시나리오에서의 적용 가능성이 크게 제한된다. 이 문제를 해결하기 위해, 희소 무선 측정과 밀집 LiDAR 기반 기하 정보를 통합하여 미측정 옥외 격자에 APS를 외삽하는 최초의 프레임워크인 포인트 클라우드 보조 접선 가우시안 스플래팅(PC-TGS)을 제안한다. PC-TGS는 환경 산란체를 이방성 3D 가우시안으로 표현하며, 원시 포인트 클라우드의 완화 평균 재매개변수화(relaxed-mean reparameterization)를 통해 초기화 및 정제한다. 접선 평면 투영은 각 가우시안을 국소 각도 영역에 정확히 매핑하고, 깊이 인식 전자기적 스플래팅 과정이 그들의 기여를 집계한다. 실용적 배포를 위해 APS 빈 통합을 위한 폐형식 가우시안 가중 평균(GWA)을 유도하고 증명 가능한 오차 상한을 제공한다. LiDAR 스캔 도시 규모 데이터셋(500만 점, 6,310개 RSRP 샘플)에서의 평가는 PC-TGS가 최첨단 베이스라인 대비 더 나은 APS 및 RSRP 예측 성능과 APS 외삽 작업에서 더 빠른 추론 시간을 달성함을 보여준다. 이러한 결과는 PC-TGS가 대규모 무선 디지털 트윈에서 기하 정보를 인식하고 데이터 효율적인 채널 예측을 가능하게 할 잠재력을 시사한다.
파라메트릭 컴퓨터 지원 설계(CAD)는 최종 형상과 부품을 편집할 수 있는 방법을 결정하는 순서가 지정된 구축 이력을 모두 기록합니다. 따라서 편집 가능한 CAD 연구를 위한 데이터셋은 검증된 형상과 함께 모델링 연산, 파라미터, 특징 의존성을 제공해야 합니다. 우리는 Qt/C++ OpenCASCADE 기반 CAD 시스템인 Flluma 내의 실행 가능한 파이썬 프로그램에 의해 모델이 생성되는 코드 기반 멀티모달 CAD 데이터셋인 FllumaOne을 소개합니다. 각 샘플은 프로그램을 구조화된 특징 트리, 학습 지향 중간 표현, STEP 형상, 표면 점군, 자연어 설명, 메타데이터 및 8개의 표준 가시 엣지 렌더링과 정렬합니다. 주요 릴리스인 FllumaOne-100K는 4개의 템플릿 수준 복잡도 범위에 걸쳐 100,000개의 승인된 샘플을 포함합니다. 프로그램은 커널 형상, 솔리드 유효성 및 내보내기 검사 후에만 실행되고 보존됩니다. 릴리스 보고서는 또한 모달리티 완전성과 분할 수준 중복 테스트를 기록합니다. 80,000개의 샘플로 학습된 Qwen2.5-Coder-1.5B LoRA 기준선은 홀드아웃된 10,000개 샘플 테스트 분할에서 99.98%의 파이썬 구문 유효성, 99.97%의 Flluma 빌드 성공률, 99.14%의 STEP 내보내기 유효성을 달성했습니다. 표면 점군으로 변환된 9,909개의 예측에 대해 평균 정규화 샤피어 거리는 0.002124입니다. 이 데이터셋은 조건부 CAD 재구성, 실행 가능한 프로그램 합성, 특징 트리 예측, B-Rep 분석, 검색, 설계 완성 및 편집 가능한 리버스 엔지니어링을 지원합니다.
부분-전체 정합(partial-to-full registration)은 다양한 오버랩 비율, 변동하는 포인트 밀도, 노이즈의 존재로 인해 여전히 어려운 과제로 남아 있다. 트랜스포머가 포인트 클라우드 처리에서 강력한 가능성을 보여왔음에도 불구하고, 기존 방법들은 대부분 전역 컨텍스트 집계에만 국한되어 정확한 대응 관계 추정에 필수적인 세밀한 국소 기하학 정보를 간과하는 경향이 있다. 본 논문에서는 합성곱(convolution)과 트랜스포머 모듈을 결합한 거친-세밀 아키텍처(coarse-to-fine architecture)를 갖추고, 크로스-어텐션 메커니즘을 사용하여 부분 포인트 클라우드와 전체 포인트 클라우드 간의 국소 및 전역 정보를 융합하는 학습 기반 포인트 클라우드 정합 프레임워크인 GAPR-Net을 제안한다. 이를 위해 변환 불변(transformation-invariant) 포인트별 기하학적 특징 표현을 제안하며, 이는 개별 포인트가 인접 포인트에 대해 갖는 상대적 기하학적 특징을 강건하게 포착할 수 있다. 제안된 방법의 효과를 평가하기 위해 경골(tibia), 대퇴골(femur), 골반(pelvis), 흉부 연골(thoracic cartilage)을 포함한 기하학적으로 다양한 4개의 뼈에 대해 실험을 수행하였다. 전체 정합 재현율(registration recall)은 94.2%에 달하며, RMSE 1.992 mm의 낮은 오차와 회전 및 변환에 대해 각각 0.908 및 0.974의 R² 값을 달성하였다. 실험 결과는 제안된 방법이 부분-전체 포인트 클라우드 정합 문제를 효과적으로 해결함을 입증한다. 제안된 방법은 부분 관측만을 이용하여 고정밀 3D 포인트 클라우드 정합을 가능하게 하며, 컴퓨터 보조 수술에서의 정밀 수술 내비게이션 및 로봇 중재 시술을 위한 핵심 토대를 제공한다. 코드는 더블 블라인드 심사 완료 후 공개될 예정이다.
고정밀도 로봇 조작에는 세밀한 공간 추론(spatial reasoning)이 필요하지만, 깊이 모호성(depth ambiguity)과 원근 스케일(perspective scale) 문제로 인해 RGB만을 사용하는 정책으로는 달성하기 어려운 경우가 많습니다. 포인트 클라우드(point clouds)와 같이 3D 정보를 직접 활용하는 정책은 순수 이미지 기반 정책보다 더 강력한 기하학적 사전(geometric prior)을 제공하지만, 그 성능은 여전히 작업에 크게 의존적입니다. 우리는 이러한 차이가 신경망(neural networks)이 저주파 함수(low frequency functions)를 학습하려는 스펙트럴 바이어스(spectral bias) 때문일 수 있다고 가정하며, 이는 특히 느리게 변화하는 데카르트 특징(Cartesian features)에 조건화된 아키텍처에 영향을 미칩니다. 따라서 우리는 포인트 클라우드를 데카르트 공간에서 고차원 푸리에 공간으로 매핑하여, 포인트 클라우드 인코더(point cloud encoder)가 고주파 특징(high-frequency features)에 직접 접근할 수 있도록 제안합니다. 우리는 RoboCasa 및 ManiSkill3 벤치마크(benchmarks)의 도전적인 조작 작업과 실제 로봇 설정에서 푸리에 특징(Fourier features)의 사용을 실험적으로 검증했습니다. 단순함에도 불구하고, 우리는 푸리에 특징이 다양한 인코더 아키텍처와 벤치마크에서 상당한 이점을 제공하며 하이퍼파라미터(hyperparameters) 전반에 걸쳐 견고하다는 것을 확인했습니다. 결과는 푸리에 특징이 데카르트 특징보다 기하학적 세부 사항을 더 효과적으로 활용하게 하여, 포인트 클라우드 기반 모방 학습(point cloud-based imitation learning)을 위한 범용 도구로서의 잠재력을 보여줍니다. 소스 코드와 비디오는 프로젝트 페이지에서 확인할 수 있습니다: https://fourier-il.github.io/fourier-il
비접촉 신체 측정 기술은 스마트 헬스 모니터링, 디지털 헬스 애플리케이션, 원격 환자 평가 분야에서 점점 더 중요해지고 있다. 전통적인 인체 계측(anthropometric) 측정은 일반적으로 신체 접촉과 전문 인력을 필요로 하므로, 원격 의료 환경에서의 확장성이 제한될 수 있다. 본 연구에서는 3D 포인트 클라우드(point cloud) 데이터를 활용하여 인체 측정값을 추정하는 깊이 카메라 기반 프레임워크를 제안한다. Orbbec Astra 2 깊이 카메라를 사용하여 참가자의 RGB 이미지, 깊이 맵(depth map), 3D 포인트 클라우드를 촬영하였다. 촬영된 포인트 클라우드는 Open3D, NumPy, OpenCV를 포함한 Python 기반 도구를 사용하여 배경으로부터 인체를 분리하는 처리를 수행하였다. 신장 및 팔 너비(arm span) 등 주요 인체 계측값을 산출하였으며, 3D 포인트 클라우드 상의 공간 필터링과 랜드마크 선택을 결합한 후 카메라 내부 파라미터(camera intrinsic parameters)를 이용하여 산출된 측정값을 해당 RGB 이미지에 투영하는 방식으로 측정치를 획득하였다. 선형 측정 외에도 복셀(voxel) 기반 점유 분석과 메시(mesh) 기반 표면 재구성 방법을 사용하여 근사 신체 부피와 가시 표면적을 추정하였다. 단일 깊이 촬영을 통한 실험 결과, 신체 접촉 없이 깊이 카메라 데이터만으로도 정확한 신체 측정값과 기하학적 추정치를 얻을 수 있음을 확인하였다. 본 연구는 스마트 헬스케어 애플리케이션을 위해 깊이 센싱과 지능형 헬스 모니터링 및 생성형 AI 모델을 통합하는 미래 실시간 시스템의 기반을 마련한다.
포인트 클라우드 시맨틱 세그멘테이션은 세밀한 국소 기하학과 광범위한 전역 장면 구조를 모두 포착하는 아키텍처를 필요로 합니다. 트랜스포머 기반 네트워크는 세밀한 국소 특징(feature) 집계에 집중하여 강력한 성능을 보여주었으나, 전역 문맥은 주로 인코더-디코더 단계에 걸친 스킵 연결을 통해 전달되는데, 우리는 이것이 완전한 장면 이해에는 불충분하다고 주장합니다. 우리는 스킵 연결을 학습 가능한 전역 특징 추출 모듈로 보강하면, 네트워크가 국소 세부 사항으로 들어가기 전에 장면 수준의 지식을 습득하여 더 풍부하고 문맥에 기반한 표현으로 이어질 것이라고 가정합니다. 이를 위해 우리는 포인트 클라우드 트랜스포머 백본의 스킵 연결과 함께 공유된 웨이블릿 신경 연산자(WNO) 분기를 통합하는 PT-WNO(Point Transformer with Wavelet Neural Operator)를 제안합니다. 각 인코더-디코더 전이 단계에서 포인트 특징은 조밀한 3D 볼륨 그리드에 투영되며, 여기서 WNO는 학습 가능한 웨이블릿 분해 및 재구성을 통해 다중 스케일 전역 스펙트럼 문맥을 포착합니다. 이러한 전역 특징은 경량 어댑터를 통해 네트워크로 다시 융합되며, 기존 스킵 연결을 대체하는 것이 아니라 보완합니다. 4개의 대규모 3D 포인트 클라우드 벤치마크에 대한 실험은 PT-WNO의 효과를 입증합니다. S3DIS (Area 5)에서 PT-WNO는 71.59% mIoU를 달성하여 Point Transformer v3 (PTv3) 기준선(baseline)보다 +1.03포인트 높은 성능을 보였습니다. DALES에서는 81.05% mIoU를 달성했습니다(기준선 대비 +1.47). ScanNet v2에서 PT-WNO는 76.19% mIoU를 기록하여 기준선(76.36%)과 대등한 경쟁력을 유지했습니다.
포인트 클라우드 분할에서의 새 클래스 발견은 알려진 클래스에서 지식을 전이하여 포인트 클라우드 내 미라벨 새 클래스를 자동으로 식별하고 분할하는 것을 목표한다. 기존 방법은 주로 클래스 할당 및 새 클래스 추론에 페어(pairwise) 연관을 사용하는데, 이는 알려진 클래스와 새 클래스 간의 복잡한 관계를 포착하는 능력을 제한하고 부정확한 의미 분할을 초래할 수 있다. 이 문제를 해결하기 위해, 우리는 클래스 간 고차 연관을 모델링하고 기존의 페어 관계를 넘어 알려진 클래스에서 새 클래스로의 협력적 추론을 가능하게 하는 하이퍼그래프 기반 프레임워크를 제안한다. 또한 기존 방법은 의미 특징 추출에 집중하는 경향이 있으며 포인트 클라우드의 기하 정보에 대한 관심이 부족하다. 공간 구조를 더 잘 활용하기 위해, 우리는 클래스 수준의 기하 단서 표현을 강화하는 기하 인식 프로토타입(Geometric-Aware Prototypes)을 제안한다. 하이퍼엣지(hyperedge)를 통해 기하 정보를 전파하여, 제안 방법은 클래스 간 공간 분포 이해를 개선하고 더 정확한 분할을 달성한다. SemanticKITTI 및 SemanticPOSS 데이터셋에서의 실험은 우리 방법의 효과성과 우수성을 입증한다.