옥트리 보간의 명시적 사전 정보와 신경망 회귀의 암묵적 잔차를 결합한 하이브리드 방법인 OREN을 제안하여, 포인트 클라우드로부터 실시간으로 비절단(Euclidean) 부호 거리 함수(SDF)를 재구성한다. 체적 기반 방법에 필적하는 연산·메모리 효율성과 신경망 방법에 필적하는 정확도 및 미분 가능성을 동시에 달성하며, 로보틱스 및 컴퓨터 비전의 다운스트림 태스크에서 최신 기술(state of the art)을 능가하는 확장 가능한 솔루션을 제공함을 실험으로 입증한다.
수중 환경의 빛 감쇠 및 산란으로 인한 어노테이션 부재 문제를 해결하기 위해, Wat3R는 교사-학생 아키텍처 기반의 크로스 도메인 준지도 학습(semi-supervised learning) 프레임워크로 VGGT를 수중 도메인에 적응시키며 어노테이션 없이 실제 수중 영상만으로 학습한다. 크로스 뷰 일관성 손실(Cross-View Consistent Loss)과 새로 구축한 Water3D 데이터셋을 통해 수중 다시점 깊이 추정 및 포인트 클라우드 재구성에서 최고 성능(SOTA)을 달성했다.
수목 성장은 대기 중 CO2가 얼마나 격리되어 목질 바이오매스에 일시 저장되는지를 결정한다. 동시에, 수목 성장은 기온 상승, 빈번해진 가뭄, 늦서리, 그리고 기후 변화와 관련된 기타 극단적 현상의 영향을 받는다. 수목의 직경 생장(2차 생장)을 수목경(dendrometer)으로 연속 측정하는 방법은 잘 확립되어 있는 반면, 슈트 신장(1차 생장)의 모니터링은 적합한 측정 기법의 부재로 인해 대체로 간과되어 왔다. 그 결과, 기후 변화가 수목의 1차 생장에 미치는 영향은 아직 충분히 이해되지 않은 상태다. 본 연구는 수관 전체에 걸쳐 슈트 신장을 측정하고 모니터링하는 기반으로서, 자생 낙엽수를 3D로 재건하는 것을 목표로 한다. 이를 위해 저비용 UAV 사진측량과 다중 카메라 CraneCam 시스템을 실제 환경에서 활용하는 방안을 탐색하였다. 데이터는 두 연구 지역에서 전체 생장 시즌에 걸쳐 수집되었다. 본 논문은 센서 평가, 사진측량 데이터 취득 및 처리 전략을 제시하며, 결과로 생성된 사진측량 3D 포인트 클라우드의 정확도, 해상도, 완전성 분석에 특히 초점을 맞춘다. 결과에 따르면, 250g 미만의 소비자용 UAV를 사용하여 수목 전체에 대해 5~6mm의 3D 포인트 정확도를 달성하였으며, UAV 유형에 따라 3D 재건 완전성은 92%에서 98% 사이로 나타났다. 또한, 가는 슈트와 같은 세밀한 구조물 재건 능력을 평가하기 위해 3D 프린팅된 새로운 실측 기준 가지(ground-truth branch)를 도입하였다. 마지막으로, 운영상의 과제와 사진측량 포인트 클라우드를 기반으로 한 수목 전체의 스켈레톤화(skeletonization)를 향한 초기 실험에 대해 논의한다.
포인트 클라우드 시계열에서 식물의 위상 변화와 비동기적 기관 성장을 모델링하기 위해, GrowFields는 식물을 개별 기관으로 분해한 뒤 각 기관을 정준 좌표 프레임으로 정렬하고 기관별 잠재 코드(latent code)에 조건화된 공유 신경 변형 필드를 학습하는 합성적 4D 신경 필드 표현을 제안한다. 4가지 식물 종의 성장 시퀀스 실험에서 기존 방법들 대비 공간적 정밀도, 시간적 일관성, 형태학적 충실도 모든 측면에서 일관된 성능 향상을 보였다.
커넥티드 자율주행차(CAV)의 LiDAR 인식에 사용되는 공개 3D 포인트 클라우드 데이터셋에 대한 포이즈닝 공격이 GAN 기반 데이터 증강 과정을 거친 후에도 정화(sanitization) 효과를 회피하고 증강된 데이터셋 전반에 걸쳐 전파됨을 실험적으로 검증한다. 오염된 샘플이 증강 후 오히려 증폭되어 범용 분류기의 의사결정을 교란할 수 있음을 보이며, 관련 코드와 데이터셋을 공개하여 재현성을 지원한다.
기존 VLA 모델의 3D 기하학 이해 부족과 시간적 일관성 결여 문제를 해결하기 위해, Lift3D-VLA는 3D 포인트 클라우드를 사전학습된 2D 위치 임베딩과 정렬하는 모델 리프팅 전략, 현재 기하구조 재구성과 미래 변화 예측을 동시에 수행하는 GC-MAE(Geometry-Centric Masked Autoencoding), 그리고 LLM의 여러 층을 활용한 층별 시간적 행동 모델링을 통합한 통합 VLA 프레임워크를 제안한다. MetaWorld와 RLBench에서 기존 최고 성능 VLA 대비 각각 10.8%, 11.1% 높은 평균 성공률을 달성하며 실제 환경에서도 강화된 일반화 성능을 보인다.
엔드투엔드 자율주행 평가를 위한 생성형 센서 시뮬레이션 프레임워크 Point as Skeleton을 제안하며, 포인트 클라우드 스켈레톤을 조건으로 활용해 자기회귀 영상 생성 시의 오류 누적을 안정화한다. Reset-and-Roll 추론 기법으로 폐루프(closed-loop) 롤아웃을 지원하고, nuScenes와 nuPlan 실험에서 시각적 충실도가 높은 폐루프 주행 시뮬레이션 가능성을 입증했다.
포인트 클라우드와 자연어 질의를 받아 명시적 3D 세그멘테이션 마스크와 실세계 단위의 계측값을 동시에 출력하는 통합 대규모 멀티모달 모델(LMM) Ground3D-LMM을 제안하며, 객체·파트 수준의 그라운딩과 계측 추론을 단일 대화형 인터페이스에서 지원한다. ScanNet 및 ScanNet++ 기반으로 약 250만 개의 질의응답 쌍을 포함하는 대규모 데이터셋과 3D Grounded Measurement 태스크를 새롭게 정의하고, 다양한 벤치마크 실험에서 강력한 기준선 성능을 보였다.
우리는 플로우 매칭 모델을 기반으로 하는 3D 형상 간 매핑을 위한 새로운 신경망 표현 방식을 소개한다. 이 방식은 계산 효율적이며, 대규모 학습이나 데이터 기반 절차 없이 다양한 표현 형식 간의 형상 매칭을 지원한다. 3D 형상은 고정된 앵커 분포로부터의 연속적이고 가역적인 플로우 매핑에 의해 유도되는 확률 분포로 표현된다. 소스 형상과 타깃 형상이 주어지면, 역 플로우(소스에서 앵커로)와 순방향 플로우(앵커에서 타깃으로)의 합성을 통해 두 표면 간의 포인트를 매핑한다. 포인트별 태스크 맞춤형 임베딩으로 형상을 인코딩함으로써, 이 구성은 포인트 클라우드, 메시, 부호 거리 필드(SDF), 체적 데이터에 걸쳐 형상 간 매핑의 가역적이고 모달리티 독립적인 표현을 제공한다. 결과적인 표현 방식은 형상 매칭의 다양한 벤치마크와 어려운 설정에서 일관되게 높은 커버리지와 정확도를 달성한다. 형상 매칭을 넘어, 우리의 프레임워크는 UV 매핑과 인체 원시 포인트 클라우드 스캔의 등록을 포함한 다른 태스크에서도 유망한 결과를 보여준다.
방향 및 순서 정보가 없는 3D 포인트 클라우드에서 표면을 재구성하는 문제를 해결하기 위해, NumGrad-Pull은 트라이-플레인(tri-plane) 기반의 명시적-암시적 하이브리드 표현과 수치 그래디언트(numerical gradient)를 결합하여 부호 거리 함수(SDF) 학습의 속도와 안정성을 개선한다. 점진적 플레인 확장 전략과 보완적 샘플링 기법을 통합한 통합 풀링 프레임워크로, 다양한 벤치마크에서 기존 방법 대비 로컬 세부 사항의 충실도와 재구성 품질이 향상됨을 입증했다.
3D 기하학에서 회전·병진·반사를 포함한 부분 외재적 대칭을 정답 어노테이션 없이 탐지하는 자기지도 대조 학습 프레임워크 SymCL을 제안하며, 측지선 패치(geodesic patch) 임베딩을 유클리드 군 불변 잠재 공간에서 밀도 기반 클러스터링하여 단일 순전파로 다중 인스턴스 대칭 그룹을 동시에 복원한다. 새로운 벤치마크 SymPartNet에서 정량 평가하고, 학습 분포 밖의 다양한 형상에 대한 클래스 비의존적 일반화를 시연한다.
우리는 대규모 시퀀스에 대해 빠른 G-ICP 등록과 구면 래스터화(spherical rasterization) 기반 밀집 매핑을 긴밀하게 결합한 가우시안 스플래팅(Gaussian Splatting) SLAM을 위한 실시간 LiDAR 기반 프레임워크를 제시한다. 외형 대신 LiDAR 기하를 활용하여, 추적으로 추정된 지역 공분산(local covariance)을 재사용해 거리 인식 스케일(range-aware scale)로 가우시안을 초기화하고, 기하 인식 맵 최적화를 위한 표면 법선(surface normal)을 도출한다. 나아가 지역 복잡도를 측정하고 평면 영역에서의 가지치기와 구조적으로 풍부한 영역에서의 선택적 조밀화(densification)를 유도하는 공분산 기반 기하 점수(covariance-derived geometry score)를 도입하며, 최적화된 가우시안과 LiDAR 특화 신뢰도 단서를 피드백하여 추적 강건성을 향상시킨다. Newer College 데이터셋에서 본 방법은 실시간 속도($>$20 FPS)로 순수 온라인 궤적을 사용하여 86.78%의 F-score를 달성하며, 다른 데이터셋에서의 추가 실험을 통해 안정성과 확장성을 확인한다.
포인트 클라우드 기반 이해는 실내 건물 구성 요소와 관련된 시설 운영 및 유지보수의 중요한 기반 기술이 되었다. 그러나 기존 방법들은 구성 요소의 기능이나 자연어 상호작용에 대한 설명 없이 이산적인 레이블만을 출력한다. 본 논문은 실내 구성 요소를 위한 포인트 클라우드 중심의 멀티모달 대규모 언어 모델(MLLM)인 Building-MLLM을 제안하며, 포인트 클라우드와 인스트럭션을 모델링하여 단순 인식(Simple Recognition), 복합 캡셔닝(Complex Captioning), 다중 엔지니어링 질의응답(Multi-Engineering Question Answering) 태스크에 걸쳐 응답을 생성한다. Building-MLLM은 네 가지 도메인 특화 메커니즘을 통해 의미 집중 문제를 해결한다: 태스크 관련 의미론을 위한 포인트 정보 향상기(Point Information Enhancer), 기하학적 침식을 방지하는 기하 보존 정규화(Geometry-Preserving Regularization), 도메인 안정화를 위한 고정된 텍스트 접두 문맥(fixed textual prefix), 그리고 인식과 추론의 균형을 맞추는 다차원 LoRA이다. 다중 제약 점진적 인스트럭션 생성 엔진을 개발하여 4,198개의 객체, 37,782개의 인스트럭션 팔로잉 쌍, 47개의 카테고리로 구성된 합성 포인트 클라우드-텍스트 데이터셋을 구축하였다. 실험 결과, Building-MLLM은 세 가지 태스크 유형에서 각각 88.00%, 65.10%, 68.14%를 달성하여 우수한 실내 구성 요소 언어 이해 능력을 입증하며, 다른 실세계 데이터셋에 대한 전이 추론에서 초기 일반화 가능성을 제공한다.
작업 관련 근골격계 질환(WMSDs)은 지속적인 인간공학적 평가를 필요로 한다. 신속 전신 평가(REBA)는 표준 관찰 도구이지만, 수동 모니터링은 노동 집약적이며 비전 기반 자동화는 프라이버시 문제를 야기한다. 본 논문은 밀리미터파(mmWave) 레이더를 활용한 프라이버시 보존 인간공학적 평가를 위한 새로운 종단간(end-to-end) 멀티태스크 학습 프레임워크를 제안한다. 시공간 백본(spatio-temporal backbone)이 3D 인체 골격을 재구성하며, 이는 후속 회귀 헤드(regression head)가 REBA 위험 점수를 생성하기 위한 생체역학적 기반으로 활용된다. 레이더 포인트 클라우드의 희소성을 극복하기 위해, 생체역학적 한계와 시간적 평활도 제약을 통합한 다중 목적 손실 함수를 활용한다. 또한, 기존 데이터셋의 고위험 자세 불균형 문제를 해결하기 위해 오버샘플링 전략을 구현한다. MMFi 데이터셋에 대한 실험 결과, 본 프레임워크는 분류 정확도(Categorical Accuracy) 77.78%와 추론 지연 시간 5.70 ms의 실시간 성능을 달성함을 보였다. 본 방법은 고위험 REBA MAE 0.93을 달성하며, 고위험 시나리오에서 직접 회귀(direct regression) 및 2단계 파이프라인 모두를 크게 능가함으로써, 비침습적 산업 인간공학 평가를 위한 강건한 솔루션을 제공한다.
프라이버시 민감 환경에서의 3D 포인트 클라우드 분류를 위해 13개의 연합학습(FL) 알고리즘과 10개의 지식 증류(KD) 목적 함수를 아우르는 130쌍 교차 조합을 총 504회 학습 실험으로 체계적으로 벤치마킹하였으며, ModelNet40과 두개골유합증 임상 데이터셋에서 평가하였다. 극단적인 non-IID 레이블 불균형 하에서 FL만으로는 성능이 크게 저하되고, KD는 교사 모델 대비 74.51% 작은 학생 모델로 압축하면서도 정확도를 유지하나, 하드 레이블 교차 엔트로피 항을 포함한 증류는 붕괴된 연합 교사(8.50%)에서도 92.94%의 학생을 만들어내는 평가 함정이 존재함을 밝히고, 레이블 없는 증류로 FL-KD 파이프라인을 평가할 것을 권고한다.
DINOv2, V-JEPA 2 같은 동결된 2D 기반 모델(foundation model)의 패치별 특징을 4D 포인트 클라우드 인코더로 증류하는 Cross4D-JEPA를 제안하며, 전역 임베딩 대신 각 3D 포인트를 대응 패치 특징에 밀집 매핑하는 교차 모달 대응과 마스킹·네거티브 없는 포인트별 코사인 손실로 학습한다. MSR-Action3D, NTU-RGB+D 60 등 4개 벤치마크에서 단일 모달 및 전역 교차 모달 기준선을 일관되게 능가하며, 성능 향상의 핵심은 교사 모달리티가 아닌 대응의 세밀도(granularity)임을 분석을 통해 확인했다.
파노라마 데이터에 대한 메트릭 순전파 3D 재구성은 대규모 파노라마 RGB-D 학습 데이터의 부족으로 인해 아직 충분히 탐구되지 않은 분야이다. 우리는 1만 개의 실내 장면(실제 1천 개, 합성 9천 개)과 29만 9천 개의 파노라마 시점 및 정밀한 메트릭 어노테이션을 포함하는 하이브리드 데이터셋 Realsee3D와, 이를 기반으로 학습된 메트릭 파노라마 3D 재구성용 순전파 신경망 Argus를 제시한다. Realsee3D의 희소하고 비순서적인 캡처 환경에서는 좌표 앵커를 잘못 선택할 경우 전역적 포즈 드리프트가 발생할 수 있다. Argus는 학습된 공시야(covisibility) 모듈을 통해 메트릭 월드 프레임을 고정할 기하학적으로 최적인 참조 뷰를 선택함으로써 이 문제를 해결한다. 다중 작업 학습을 더욱 향상시키기 위해, 양방향 픽셀-월드 매핑을 단계별 감독과 교차 좌표 결합 제약이 적용된 해석 가능한 세부 단계로 분해하여 예측 브랜치 간의 기하학적 일관성을 강화한다. Realsee3D 벤치마크에서 Argus는 카메라 포즈 추정, 깊이 추정, 포인트 클라우드 재구성 분야에서 최첨단 메트릭 성능을 달성한다. 프로젝트 페이지: https://argus-paper.realsee.ai.
위성 이미지 상에서 단일 지상 시점 포인트 클라우드 프레임을 쿼리로 삼아 대규모 위치를 추정하는 문제는 여전히 어려운 과제다. 기존 LiDAR-이미지 크로스뷰 위치 추정 방법들은 포인트 클라우드와 위성 이미지 간의 제한된 시맨틱 정렬 및 모달리티 간극으로 인해 대규모 시나리오에서 어려움을 겪는다. 본 논문에서는 GeoISF라 불리는 대규모 LiDAR-이미지 지리적 위치 추정 파이프라인을 소개한다. GeoISF는 WordNet을 활용하여 구성된 인스턴스 시맨틱 포레스트를 도입하며, 다수의 프레임에서 시맨틱 트리를 통합함으로써 시간적 시맨틱 표현 및 변별력을 강화한다. 환경의 시맨틱 표현을 공유 매개체로 활용함으로써 GeoISF는 모달리티 간극을 효과적으로 좁히고 시맨틱 매칭 정확도를 향상시킨다. 광범위한 실험을 통해 GeoISF가 대규모 크로스뷰 위치 추정에서 우수한 성능을 보임을 입증하였으며, KITTI 데이터셋의 R@10 지표에서 병렬 LiDAR-이미지 방법 대비 13.22배 향상된 결과를 달성하였다. 제안된 방법은 대규모 LiDAR-이미지 크로스뷰 위치 추정의 기존 한계를 극복하며, 이러한 시나리오에 내재된 연산 및 정확도 과제에 대한 견고한 해결책을 제시한다. 더 넓은 연구 커뮤니티를 위해 코드를 온라인 오픈소스 자원으로 공개할 예정이다.
대비 언어-이미지 사전학습(CLIP)과 정렬하여 3D 인코더를 사전학습하는 방식은 3D 장면 이해를 위한 일반화 가능한 표현을 학습하는 유망한 방향으로 떠오르고 있다. 본 논문에서는 다중 뷰 컬러 포인트맵으로부터 통합 장면 표현을 학습하고, 이미지 외관과 기하를 공동으로 모델링하는 트랜스포머 기반 인코더 UniScene3D를 제안한다. 견고한 컬러 포인트맵 표현 학습을 위해, 뷰 간 기하 및 의미적 일관성을 강제하는 새로운 교차-뷰 기하 정렬(cross-view geometric alignment)과 그라운딩된 뷰 정렬(grounded view alignment)을 도입한다. 시점 그라운딩, 장면 검색, 장면 유형 분류, 3D VQA에 대한 광범위한 로우샷 및 과제별 미세조정 평가에서 최신 성능을 입증하였다. 이러한 결과는 통합 3D 장면 이해를 위한 우리 접근법의 효과를 보여준다. https://yebulabula.github.io/UniScene3D/
어수선한 장면에서 7 자유도(7-DOF) 매니퓰레이터의 모션 실행 가능성을 원시 RGB-D 포인트 클라우드로 직접 예측하는 문제를 다루며, 88개 스캔 객체와 190개 테이블톱 장면, 270만 개 파지 가능성 라벨로 구성된 대규모 벤치마크와 MLP·볼륨 CNN·포인트 클라우드 트랜스포머 분류기 비교를 제시한다. 최고 모델 GRASPFC-PTX는 신규(Novel) 객체에서 AUROC 0.996을 달성하고 샘플링 기반 모션 플래너(SBMP)보다 현저히 빠른 예측을 제공한다.