PyTorchKR Papers

최신 논문

총 82편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19828v2cs.CV

3D-PLOT-LLM: 3D 대규모 언어 모델을 위한 부분 수준 객체 토큰

3D-PLOT-LLM: Part-Level Object Tokens for 3D Large Language Models

3D multimodal large language models (3D MLLMs) describe a 3D object as a whole but cannot address, name, or reason about its parts. Prior part-aware attempts add segmentation decoders, heavier 3D encoders, or bounding-box grammars at substantial parameter cost. We take a fundamentally different path: we reorganize the input token stream so that parts become directly addressable through the LLM's own vocabulary. Our model, 3D-PLOT-LLM, partitions the frozen point encoder's patches into K locally coherent regions and inserts, before each region's patch tokens, a learnable per-region marker and a reserved vocabulary token <part_k>; a Marker-Space Refinement (MSR) module then conditions each marker on its region's spatial statistics and adjacency neighbors. The model thus cites parts in its output and follows prompts that refer to parts by token, a capability absent from prior object-level 3D MLLMs. To probe this interface, we construct PartVerse-QA, a vocabulary-level part-QA benchmark adapted from PartVerse mesh annotations (77K training pairs and 588 held-out queries on disjoint object splits), on which 3D-PLOT-LLM reaches caption-to-slots Jaccard 0.459 and Exact-match 13.78%, with a slot-to-caption GPT-4o judge of 44.68. On the text-description track of the 3DCoMPaT-GrIn part-aware grounded description benchmark, 3D-PLOT-LLM outperforms PointLLM, Kestrel, PARIS3D, and SegPoint on every reported text metric, and ShapeLLM on 3 of 4, with up to +3.03 GPT-4o judge over PointLLM. On Objaverse whole-object captioning, adding PartVerse-QA at Stage 2 yields +0.65 SBERT and +1.85 GPT-4o over PointLLM, and tops PointLLM-PiSA on 4 of 5 traditional metrics despite its part-grounded objective. All with under 1M new trainable parameters on a frozen point encoder, an order of magnitude below prior part-aware 3D MLLMs, and no learned part detector, segmentation decoder, or bounding-box head.

arXiv:2610.15734v1cs.CV

ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기

ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning

본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.

arXiv:2610.13891v1cs.CV

눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리

Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection

라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.

arXiv:2607.00148v2cs.RO

3D 포인트 월드 모델: 포인트 완성을 통한 더 정확한 다이나믹스 학습

3D Point World Models: Point Completion Enables More Accurate Dynamics Learning

부분 포인트 클라우드의 폐색(occlusion)과 누적 예측 오차 문제를 해결하기 위해, 3DPWM은 SAM3 기반 객체 분할과 포인트 클라우드 완성(completion)을 월드 모델 파이프라인에 통합하여 완전한 3D 기하 구조에서 행동 조건부 다이나믹스를 학습한다. 다양한 로봇 구현체와 테이블탑 조작 벤치마크 실험에서 100~300+ 스텝의 장기 롤아웃을 안정적으로 수행하며 베이스라인 대비 sim-to-real 전이 성능을 2.5배 향상시켰다.

arXiv:2506.15971v2cs.CV

잠재 공간 연결을 통한 이종 모달 비지도 도메인 적응

Heterogeneous-Modal Unsupervised Domain Adaptation via Latent Space Bridging

비지도 도메인 적응(Unsupervised Domain Adaptation, UDA)은 레이블이 있는 소스 도메인과 레이블이 없는 타겟 도메인 간의 도메인 격차를 효과적으로 해소하지만, 두 도메인이 동일한 모달리티를 공유한다고 가정한다. 이종 도메인 적응(Heterogeneous Domain Adaptation, HDA)은 대신 도메인 간 서로 다른 특징(feature) 공간을 다루지만, 레이블이 있는 타겟 샘플이나 소스와 타겟 도메인을 연결하는 쌍을 이룬 데이터를 필요로 한다. 레이블이 있는 소스 도메인과 완전히 레이블이 없는 타겟 도메인이 각각 완전히 다른 모달리티(예: 2D 이미지와 3D 포인트 클라우드)를 가지는 경우에는 두 방법 모두 적용할 수 없다. 이러한 한계를 해결하기 위해, 우리는 두 모달리티 모두에서 쌍을 이룬 관측치를 포함하는 레이블이 없는 브리지 도메인을 통해 모달리티 간 지식을 전달하는 새로운 설정인 이종 모달 비지도 도메인 적응(Heterogeneous-Modal Unsupervised Domain Adaptation, HMUDA)을 도입한다. 이때 브리지 도메인의 분포는 소스 및 타겟 도메인의 분포와 다를 수 있다. HMUDA 설정에서 학습하기 위해, 우리는 잠재 공간 연결(Latent Space Bridging, LSB)을 제안한다. 이는 쌍을 이룬 브리지 샘플에 대한 특징(feature) 일관성 손실(loss)이 모달리티 격차를 줄이고, 클래스 중심 정렬 손실(loss)이 소스-타겟 간 불일치를 줄이는 이중 분기(dual-branch) 프레임워크이다. 2D-to-3D 및 3D-to-2D 전이를 모두 포함하는 8가지 벤치마크 설정에 대한 광범위한 실험을 통해 LSB가 최첨단(state-of-the-art) 성능을 달성함을 입증한다.

arXiv:2604.04614v3cs.LG

다수준 불완전 다중 모달 EHR 기반 원내 사망률 예측을 위한 임상 포인트 클라우드 패러다임

A Clinical Point Cloud Paradigm for In-Hospital Mortality Prediction from Multi-Level Incomplete Multimodal EHRs

다중 모달 전자 건강 기록(EHR)의 심층 학습(deep learning) 기반 모델링은 임상 진단 및 위험 예측을 위한 중요한 접근법으로 자리 잡았습니다. 그러나 다양한 임상 워크플로우와 프라이버시 제약으로 인해, 원시 EHR은 불규칙한 샘플링, 모달리티 결측, 희소한 레이블 등 본질적으로 다수준(multi-level)에서 불완전성을 지닙니다. 이러한 문제는 시간적 불일치, 모달리티 불균형, 제한된 지도 신호를 초래합니다. 기존 다중 모달 방법론의 대부분은 데이터가 비교적 완전하다고 가정하며, 불완전성을 다루도록 설계된 방법조차 대개 이러한 문제 중 한두 가지만을 개별적으로 다룹니다. 그 결과 엄격한 시간/모달 정렬에 의존하거나 불완전한 데이터를 폐기하는 경우가 많아 원시 임상 의미론을 왜곡할 수 있습니다. 이 문제를 해결하기 위해 우리는 다수준 불완전 EHR을 위한 통합 임상 포인트 클라우드 패러다임인 HealthPoint(HP)를 제안합니다. HP는 이종 임상 이벤트를 콘텐츠, 시간, 모달리티, 케이스로 정의되는 연속적인 4차원 공간의 점으로 표현합니다. 임의의 점 쌍 간의 상호작용을 모델링하기 위해, 이 네 가지 차원에 걸친 고차 종속성을 효율적으로 포착하는 저순위 관계형 어텐션(Low-Rank Relational Attention) 메커니즘을 도입합니다. 나아가 세립화된 모델링과 계산 효율성 간의 균형을 맞추기 위해 계층적 상호작용 및 샘플링 전략을 개발합니다. 이 프레임워크를 기반으로 구축된 HP는 유연한 이벤트 수준 상호작용과 세립화된 자기지도학습을 가능하게 하여, 강건한 모달리티 복원과 레이블 없는 데이터의 효과적인 활용을 지원합니다. 위험 예측을 위한 대규모 EHR 데이터셋에 대한 실험은 HP가 다양한 수준의 불완전성 하에서도 일관되게 최고 수준(SOTA)의 성능과 강력한 강건성을 달성함을 보여줍니다.

arXiv:2610.03468v1cs.CV

포인트 클라우드로부터 포장 재배 옥수수의 엔드투엔드 절차적 모델링을 위한 비전-언어 모델(VLM) 기반 파이프라인

A Vision-Language Model (VLM)-based Pipeline for End-to-End Procedural Modeling of Field-Grown Maize from Point Clouds

포장에서 재배된 작물의 편집 가능한 3D 모델은 대량 표현형 분석(high-throughput phenotyping) 및 인실리코(in silico) 육종 시험을 지원하지만, 스캔된 포인트 클라우드로부터 이를 구축하려면 기관 수준의 세그멘테이션(segmentation) 및 피팅(fitting)이 필요합니다. 절차적 생성기(procedural generator)는 기관 수준의 매개변수 집합을 분석에 적합한 3D 모델로 변환할 수 있으나, 해당 매개변수 집합을 얻기 위해서는 식물 개체당 수 시간의 수작업 튜닝이 필요하거나 종 특이적 라벨로 학습된 세그멘테이션 모델이 필요합니다. 본 연구에서는 수작업 튜닝이나 종 특이적 학습 데이터 없이도 원시 3D 포인트 클라우드로부터 절차적 옥수수 모델을 재구성하는 자동화된 파이프라인을 제시합니다. 멀티모달 비전-언어 모델(VLM)이 렌더링된 정사영 뷰(orthographic views)에서 잎의 중심선(midline)에 주석을 답니다. 결정론적 기하학 알고리즘은 이 주석을 포인트 클라우드로 역투영하고, 뷰 간 합의(cross-view consensus)를 통해 3D 잎으로 병합하며, 방향 가중 표면 그래프 상에서 중심선을 완전한 엽신(blade)으로 확장합니다. 측정된 기관 매개변수는 비균일 유리 B-스플라인(NURBS) 기반 절차적 모델 생성기를 위한 식물 기술자(plant descriptor)를 구성합니다. 이후 각 잎 표면은 미분 가능한 NURBS 피팅을 통해 해당 스캔 포인트를 기준으로 정교화됩니다. 이 파이프라인은 MaizeField3D 데이터셋의 유전형이 다양한 100개 포장 재배 옥수수 식물체에서 중앙값 5.4 mm의 식물 전체 챔퍼 거리(Chamfer distance)를 달성했습니다. 재구성된 모델은 수동 주석 기반의 기존 반자동 파이프라인보다 스캔 데이터에 더 근접했습니다. 파이프라인은 해당 라벨을 입력으로 사용하지 않고도 0.5 이상의 IoU(intersection-over-union)에서 1,023개 중 1,017개(99.4%)의 큐레이션된 참조 잎을 복원했습니다. 이러한 결과는 하류 기하학 단계에서 보정할 수 있을 때 VLM 주석이 유용한 기관 수준의 측정값이 될 수 있음을 보여줍니다. 이를 통해 현대적인 표현형 분석 실험 규모에서 편집 가능한 3D 식물 자산의 자동 생성이 실현 가능해집니다.

arXiv:2610.02840v1cs.RO

PointWAM: 정밀한 로봇 조작을 위한 3D 월드 액션 모델링

PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation

월드 액션 모델(World action model)은 학습된 내부 월드 다이내믹스가 정확한 동작을 유도할 수 있도록, 월드 다이내믹스 예측과 로봇 액션 예측을 함께 학습합니다. 기존 접근 방식들은 일반적으로 월드를 RGB 프레임이나 그에 대응하는 잠재 표현(latent)으로 나타내면서 액션을 엔드이펙터 포즈 또는 관절 각도로 예측하지만, 정밀한 조작(dexterous manipulation)의 핵심인 3D 공간 구조 및 접촉 기하학을 포착하는 데 어려움을 겪는 경우가 많습니다. 본 논문에서는 월드를 장면(즉, 환경)과 손(즉, 행위자)으로 분해하고, 공유된 시공간 좌표계 내에서 두 요소를 3D 포인트 궤적으로 함께 예측하는 3D 월드 액션 모델인 Point World Action Model(PointWAM)을 소개합니다. 이러한 명시적이고 분리된(disentangled) 표현은 작업별 객체나 키포인트를 선택할 필요 없이 대규모 인간 시연 비디오에 대한 효과적인 사전학습을 가능하게 합니다. 컬러 포인트 클라우드와 언어 지시가 주어지면, PointWAM은 시간에 따라 장면과 손이 3D 공간에서 어떻게 함께 변화하는지 예측한 후, 예측된 손 움직임을 로봇 액션으로 리타기팅(retargeting)합니다. 인간 비디오에 대한 사전학습은 DexJoCo 평균 성공률을 56.9% 포인트 향상시키며, 장면 궤적에 대한 지도(supervision)는 손만 단독으로 예측하는 것보다 10.9% 포인트를 더 개선합니다. 두 가지를 모두 적용했을 때, PointWAM은 10개의 DexJoCo 작업에서 기존 최고 수준(SOTA) 성능을 11.7% 포인트 앞서며 실제 로봇에서도 강력한 VLA 모델들을 능가합니다.

arXiv:2610.01148v2cs.CV

OptimusMesh: 희소 잠재 피벗을 통한 포인트 클라우드 기반 컴팩트 자기회귀 메시 생성

OptimusMesh: Compact Autoregressive Mesh Generation from Point Clouds via Sparse Latent Pivots

포인트 클라우드(point cloud)로부터 컴팩트하고 기하학적으로 충실한 3D 메시(mesh)를 직접 생성하는 것은 여전히 근본적인 과제입니다. 포인트 클라우드는 순서가 없고 희소한 반면, 메시는 불규칙한 구조와 다양한 위상(topology)을 나타냅니다. 그 결과 기존의 많은 접근법은 암시적 표현(implicit representation)에 의존한 후 표면 추출이나 재구성을 수행합니다. 이러한 파이프라인은 효과적이지만 과도하게 조밀하거나 지나치게 매끄러운 메시를 생성할 수 있어, 연산 비용이 많이 드는 후처리 및 단순화 작업을 요구하는 경우가 많습니다. 본 논문에서는 희소 잠재 피벗(sparse latent pivot) 조건화를 활용하여 포인트 클라우드로부터 컴팩트한 삼각형 메시를 직접 생성하는 프레임워크인 OptimusMesh를 제시합니다. 핵심 아이디어는 2,048개의 방향성을 갖는 입력 포인트를 단 16개의 희소 잠재 피벗으로 압축하여, 기하학적 조건화 집합을 128배 줄이는 것입니다. 이러한 피벗은 먼저 메시 정점(vertex)을 생성한 다음 생성된 정점과 동일한 피벗을 조건으로 삼각형 면(face)을 예측하는 2단계 자기회귀(autoregressive) 프레임워크 전반에서 공유되는 컴팩트한 구조적 표현을 제공합니다. 257개의 디코더 조건화 토큰을 사용하는 최근의 포인트 클라우드 조건부 자기회귀 평가 대상 방법들과 비교했을 때, OptimusMesh는 단 16개만을 사용하여 조건화 시퀀스 길이를 16.1배 단축합니다. 실험 결과에 따르면 OptimusMesh는 비교 대상인 최근 자기회귀 방법들 중 가장 컴팩트한 출력을 생성하며, 경쟁력 있는 기하학적 충실도와 분포 품질을 유지하면서도 25.7%~94.1% 더 적은 면을 사용합니다.

arXiv:2610.01589v1cs.CV

PAGER: 기하학적 및 관계적 증류를 통한 부분-전역 정렬

PAGER: Partial-to-global Alignment via Geometric and Relational Distillation

사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.

arXiv:2609.28222v1cs.CV

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

arXiv:2609.24787v1cs.CV

산림 포인트 클라우드를 위한 파운데이션 모델을 향하여

Toward a foundation model for forest point clouds

산림 조사는 대규모 3D 포인트 클라우드에서 산림 특성을 도출하기 위해 인공지능(AI) 모델에 점점 더 의존하고 있습니다. 현재의 모델들은 대개 단일 작업, 센서 및 산림 유형에 특화되어 있어, 어노테이션, 연산, 전문 지식 측면에서 적응 비용이 많이 듭니다. 본 연구에서는 단일 사전학습(pre-training) 모델이 다양한 산림 조사 환경에 걸쳐 전이 가능한 표현을 학습할 수 있는지 묻습니다. 언어 모델링과 컴퓨터 비전(CV)의 최근 발전에 영감을 받아, 3D 임업을 위한 파운데이션 모델(FM)을 향한 첫걸음을 내딛습니다. LitePT를 백본으로 사용하여, 산림 시맨틱 및 인스턴스 분할, 수종 분류(classification), 수령 회귀 벤치마크에서 새로운 최고 성능(state of the art)을 달성하는 강력한 지도학습 기준선(baseline)을 먼저 구축합니다. 그런 다음 다양한 산림 생태계에 걸쳐 항공, UAV 및 모바일 레이저 스캐닝을 아우르는 대규모 레이블 미지정 코퍼스를 구축하고, 자기지도학습을 사용하여 동일한 백본을 사전학습합니다. 다양한 어노테이션 예산 하에서 네 가지 대표적인 임업 작업에 대해 스크래치 학습(training from scratch), 지도 사전학습, 자기지도 사전학습을 비교함으로써 표현 학습 전략을 체계적으로 평가합니다. 스크래치 학습과 비교하여, 자기지도 사전학습은 모델(model) 수렴(convergence)을 가속화하고 어노테이션이 부족할 때 일관되게 성능을 향상시킵니다. 작업 특화 지도 사전학습과 비교할 때, 자기지도 사전학습은 다운스트림 임업 작업 전반에 걸쳐 더 전이 가능한 표현을 생성합니다. 이러한 발견은 사전학습된 표현이 가장 가치 있는 실질적인 영역을 규명하며, 산림 시맨틱보다는 인스턴스 구별이 범용 3D 산림 파운데이션 모델로 나아가는 주된 남은 장애물임을 시사합니다. 코드와 모델은 https://github.com/prs-eth/ForPT 에서 확인할 수 있습니다.

arXiv:2609.24151v1cs.CV

STAR: 엔드투엔드 인지 레이더를 향한 장면 및 태스크 인지형 4D 레이더 전처리

STAR: Scene- and Task-Aware 4D Radar Preprocessing Towards End-to-End Cognitive Radar

4차원(4D) 레이더(Radar)는 조도 변화와 악천후 조건에서도 견고함을 유지하면서 거리, 방위각, 고각 및 도플러 측정값을 제공하여 환경 인식을 위한 핵심 센서로 부상했습니다. 그러나 일정한 오경보율(CFAR) 검출과 같은 기존의 레이더 전처리 방식은 주로 신호 수준의 기준에 따라 측정값을 선택하므로, 포인트 클라우드 생성 과정에서 다운스트림 인식에 유용한 정보를 폐기할 수 있습니다. 또한 기존의 4D 레이더 인식 파이프라인은 일반적으로 레이더 데이터 처리와 다운스트림 인식을 독립적으로 최적화하므로, 태스크 목표가 전처리 단계를 직접적으로 유도하지 못합니다. 이러한 한계를 해결하기 위해 본 논문에서는 엔드투엔드 학습(training) 프레임워크와 함께 장면 및 태스크 인지형 레이더(STAR) 전처리기를 제안합니다. STAR 전처리기는 장면 컨텍스트와 다운스트림 태스크 목표를 통합하여 태스크 관련 레이더 포인트를 생성함으로써, 레이더 표현이 인식에 맞춰 직접 최적화될 수 있도록 합니다. K-Radar 벤치마크에서 제안하는 방식은 74.3 AP를 달성하여 이전 최고 수준(SOTA)보다 5.6 AP 포인트 앞서는 성능을 보였습니다. 나아가 STAR로 생성된 태스크 관련 포인트를 다양한 기존 3D 검출기에 적용했을 때 대부분의 평가 설정에서 검출 성능이 향상되었으며, 기존 전처리로 생성된 포인트 클라우드 대비 전반적으로 긍정적인 평균 이득을 얻었습니다.

arXiv:2609.23534v1cs.CV

PosEviLoc: 언어 기반 3D 위치 추정을 위한 위치 조건부 공간 증거

PosEviLoc: Position-Conditioned Spatial Evidence for Language-Based 3D Localization

언어 기반 3D 위치 추정(localization)은 주변 객체와 그 공간적 관계에 대한 설명으로부터 목표 위치를 포함하는 포인트 클라우드 서브맵을 검색하는 작업이다. 기존 방법들은 일반적으로 질의(query)와 서브맵을 전역 디스크립터(global descriptor)로 압축하는데, 이는 객체 수준의 의미와 설명 간 공간적 일관성을 모호하게 만들 수 있다. 본 논문에서는 대략적인(coarse) 텍스트-투-포인트 클라우드 위치 추정을 위한 질의 위치 인식(query-position-aware) 프레임워크인 위치 조건부 증거 위치 추정(Position-Conditioned Evidence Localization, PosEviLoc)을 제안한다. 전역 매칭에 의존하는 대신, PosEviLoc은 명시적인 의미적 및 공간적 증거를 사용하여 각 후보 서브맵을 평가한다. 이 방법은 방향을 객체 위치와 가상의 질의 위치에 의해 공동으로 결정되는 관계로 모델링한다. 그 결과로 생성되는 질의-위치 공간 증거 필드(Query-Position Spatial Evidence Field, QSEF)는 각 가상 위치에서 지지되는 질의 설명의 비율을 측정하며, 증거 필드를 구성하는 데 실제(ground-truth) 질의 자세(pose)를 사용하지 않고도 설명들 간의 일치도를 명시적으로 포착한다. 다중 레벨 증거 판독(Multi-Level Evidence Readout, MER)은 이러한 증거를 압축된 표현으로 요약하며, 경량 MLP가 이를 검색 점수(retrieval score)로 변환한다. 다섯 개의 벤치마크(benchmark)에서 PosEviLoc은 재현율@1(Recall@1) 기준으로 MNCL을 평균 17퍼센트포인트(percentage point) 앞선다. 플러그 앤 플레이(plug-and-play) 재랭커(reranker)로 사용될 경우, MNCL을 평균 16퍼센트포인트 개선한다. 또한 PosEviLoc은 기존 방법들에 비해 훨씬 적은 파라미터(parameter)를 도입하며 더 빠른 추론(inference) 속도를 달성한다.

arXiv:2607.24052v1cs.CV

PointCHR: 곡률 인식 쌍곡 정류를 통한 포인트 클라우드 분석

PointCHR: Point Cloud Analysis via Curvature-Aware Hyperbolic Rectification

3D 포인트 클라우드에서 고곡률 영역은 중요한 세밀한 기하학적 의미를 담고 있지만, 공간 분포에서 뚜렷한 롱테일 희소성을 보인다. 유클리드 공간에서 다항식 부피 증가의 본질적 한계로 인해, 이러한 복잡한 기하학적 특징을 균일한 스케일의 특징 공간 내에서 충분히 해석하기 어렵게 되는 경우가 많다. 결과적으로 이러한 영역은 저곡률 영역이 지배하는 매끄러운 전역 특징에 자주 가려져 네트워크의 판별력을 제한한다. 이 문제를 해결하기 위해 포인트 클라우드 분석을 위한 곡률 인식 쌍곡 정류(curvature-aware hyperbolic rectification, CHR)인 PointCHR을 제안한다. CHR은 쌍곡 다양체(hyperbolic manifold) 근처에서 지수적 부피 확장이라는 성질을 활용하여, 학습 가능한 곡률 유도 방사형 정류 메커니즘을 제시한다. PointCHR은 고곡률 포인트를 더 큰 유효 임베딩 용량을 갖춘 경계 영역으로 적응적으로 투영함으로써, 유클리드 설정에 내재된 표현 혼잡(representation crowding) 문제를 효과적으로 완화한다. 광범위한 실험을 통해 PointCHR이 백본(backbone)이 세밀한 기하학적 세부 정보를 포착하는 능력을 크게 향상시키며, 여러 벤치마크에서 최첨단(state-of-the-art) 성능을 달성함을 보였다.

arXiv:2607.23958v1cs.CV

RODR: 분리된 매니폴드 표현을 위한 리만 직교 분리 정규화

RODR: Riemannian Orthogonally Decoupled Regularization for Disentangled Manifold Representation

포인트 클라우드 노이즈 제거는 본질적으로 기하학적 복원 과제로, 노이즈가 있는 이산 ambient-space 샘플로부터 R^3에 임베드된 매끄러운 2차원 리만 매니폴드의 고유 구조를 재구성하는 것을 목표로 한다. 기하학적 표현 학습에서 현대의 매니폴드 인식 인코더와 생성적 수송(transport) 모델이 눈부신 진전을 이뤘음에도, 근본적인 목표-기하학 불일치는 여전히 충분히 탐구되지 않았다. 이론적으로, 우리는 이러한 불일치된 결합이 기하학적 그래디언트 간섭을 유발하며, 상충하는 최적화 목표가 구조적 열화와 포인트 군집화를 초래함을 확인했다. 우리는 법선(fitting) 성분과 접선(distribution) 성분을 분리함으로써 최적화 궤적을 재구성하는 리만 직교 분리 정규화(RODR)를 제안한다. 벡터-어텐션 및 엔트로피 인식 적응형 전략의 안내 하에, RODR은 샘플링 균일성을 유지하면서 고충실도 기하학적 세부를 효과적으로 보존한다. 실험 결과 RODR은 최신(state-of-the-art) 베이스라인에 필적하는 성능을 달성하며, 분포 규칙성의 개선과 국소적 응집의 효과적 감소를 시사한다. 본 연구는 포인트 클라우드 처리에서 분리된 기하학적 최적화를 위한 범용적이고 해석 가능한 프레임워크를 제시한다.

arXiv:2607.24074v1cs.AI

MiSS: 포인트 클라우드 분류기를 위한 최소 충분 연합의 논리 기반 설명

MiSS: A Logic-Driven Explanation of Minimal Sufficient Coalitions for Point Cloud Classifiers

MiSS를 제안한다. MiSS는 교란 상대적 충분성 추론을 통해 3D 포인트 클라우드 분류기를 설명하는 블랙박스, 쿼리 기반 프레임워크이다. MiSS는 슈퍼포인트 분할을 해석 가능한 추상화 층으로 취급하며, 지정된 교란 분포 하에서 기하학적 영역의 최소 연합으로부터 원래 예측을 인증할 수 있는지를 묻는다. 예측기의 불리언 특징 공간 또는 화이트박스 논리 인코딩을 요구하는 가역적(abductive) 설명기와 달리, MiSS는 후보 제안과 검증을 분리한다: 가중 MaxSAT 절차는 휴리스틱 적응형 카디널리티 하한, 인증된 정확 크기 폴백, 안전하게 조여진 상한, 차단 절, 그리고 이전 오라클 평가로부터 학습된 대리 획득 휴리스틱을 사용하여 연합을 제안하고, 블랙박스 통계 오라클은 예측 쿼리로부터 충분성을 결정한다. 이 시스템은 통계적으로 검증된 충분 연합을 이진 기여도(attribution)로 반환하며, 인증된 탐색이 완료되면 최소 카디널리티가 보장된다. PointNet 및 PointMLP 분류기를 사용한 ModelNet40과 ShapeNet에서의 실험은 대부분의 설정에서 규칙 기반 베이스라인보다 더 높은 정밀도와 커버리지를 보이며, 전수 탐색보다 낮은 설명 시간을 보인다.

arXiv:2607.22129v1cs.CV

다중 플랫폼 레이저 스캐닝을 이용한 개별 수목 성장 재구성 프레임워크

A Framework for Individual Tree Growth Reconstruction Using Multi-Platform Laser Scanning

레이저 스캐닝 데이터를 이용한 정확한 수목 단위 산림 모니터링을 위해서는 신뢰할 수 있는 수목 분할, 다중 시점 포인트 클라우드 간 일관된 수목 대응, 그리고 수목 속성 및 그 변화의 정확한 추정이 필요하다. 한대 숲에서 수목 성장을 재구성하는 것은 역사적 줄기 수준 데이터의 부족, 구형 센서로부터 변화 추정으로의 오류 전파, 그리고 측정 불확실성과 비슷한 크기의 성장률로 인해 어렵다. 본 연구는 한대 숲 시험지에서 공중(ALS), 이동형(MLS), 지상 레이저 스캐닝(TLS) 플랫폼의 11개 스캐너로 2014--2025년 사이에 수집한 136개의 포인트 클라우드를 이용하여 개별 수목의 흉고 직경(DBH) 및 줄기 부피 성장을 추정하는 프레임워크를 조사한다. 수목은 MLS 포인트 클라우드에서 심층 학습 기반 분할을 이용해 분할되었으며, 이 방법은 나머지 포인트 클라우드에 전이되어 신뢰할 수 있는 다중 시점 수목 대응을 달성했다. 줄기 곡선은 MLS/TLS 데이터에서 도출되었고, ALS 데이터는 높이 추정에 사용되어 DBH 및 부피 추정과 시계열 분석을 가능하게 했다. 높이 성장 기반 스케일링 모델을 사용하여 시간에 따른 줄기 속성을 재구성하고 성장을 추정했다. 결과는 모델링된 성장이 포인트 클라우드에서 독립적으로 추정된 속성의 차분보다 수동 성장 추정과 더 높은 일치를 보였음을 나타냈다. 모델-수동 5년 및 10년 성장 RMSE는 플롯 난이도에 따라 DBH의 경우 각각 55--111% 및 26--67%였고, 부피의 경우 각각 31--87% 및 21--67%였다. 스케일링 모델은 시간적으로 견고했으며, 오류는 5--6년 후 안정적이거나 안정화되었고, 12년 후 DBH의 최대 RMSE는 8--12%, 부피는 12--23%에 도달했다. MLS/TLS에서 도출한 줄기 측정값과 다중 시점 ALS에서 도출한 높이를 결합하면 다중 수관 하부 스캔 없이도 개별 수목 성장 추정을 위한 견고한 프레임워크를 제공한다.

arXiv:2607.21840v1cs.CV

Trans-Unet을 활용한 뇌 주름 형태 예측을 위한 고충실도 3D 포인트 클라우드 학습

Toward High-Fidelity 3D Point-Cloud Learning for Brain Folding Morphology Prediction Using Trans-Unet

3D 공간에서 고충실도 포인트 클라우드 특징을 학습하는 것은 순열 불변성, 국소 컨텍스트 부족, 세밀한 표면 재구성의 어려움, 높은 계산 비용 등 상당한 과제를 수반한다. 본 논문에서는 이러한 문제를 해결하기 위해, 먼저 3D 포인트 클라우드 데이터를 2D 그리드 영역으로 변환한 다음, 합성곱 신경망(CNN)과 셀프 어텐션(self-attention) 메커니즘을 통합한 U자형 하이브리드 모델을 사용하는 새로운 프레임워크인 Trans-Unet을 제안한다. 제안된 Trans-Unet은 사전 정의된 유한 요소법 뇌 패치 성장 모델에서 도출된 고해상도 3D 포인트 클라우드 데이터(표면 40,401개 포인트, 섬유 2,382개 포인트)로부터 정밀한 특징을 효과적으로 학습하고 재구성하여, 뇌 주름 패턴을 정확하게 예측할 수 있다. 여러 기법을 결합함으로써 Trans-Unet은 상호 보완적인 강점을 활용한다. 3D-2D 변환은 세밀한 구조 정보를 보존하면서 계산 비용과 차원의 저주를 크게 줄이고, 합성곱 블록은 계층적·저수준 국소 표현을 포착하며, 셀프 어텐션 메커니즘은 전역적·고수준 의미와 장거리 의존성을 모델링한다. 데이터셋은 대규모 유한 요소 모델로 생성된 뇌 표면 패치와 섬유 정보를 모두 포함하는 3D 포인트 클라우드로 구성된다. Trans-Unet은 초기 상태(state 0 또는 states 0-2)에서 최종 상태(state 3)까지의 뇌 표면 주름을 예측하는 데 적용된다. 실험 결과, Trans-Unet은 뇌 패치 성장에 대한 고해상도 예측을 달성하며, 충실도와 정확도 모두에서 기존 방법을 능가함을 보여준다.

arXiv:2512.03424v4cs.CV

DM3D: 오프셋 유도 특징 리샘플링을 통한 동적 Mamba 기반 포인트 클라우드 이해

DM3D: Dynamic Mamba via Offset-Guided Feature Resampling for Point Cloud Understanding

상태 공간 모델(SSM)은 포인트 클라우드의 긴 토큰 시퀀스를 선형 복잡도로 모델링하지만, 순서 없는 포인트 클라우드를 직렬화해야 한다. 기존 방법들은 주로 더 나은 토큰 순서를 설계하거나 학습함으로써 이 요구사항을 해결한다. 그러나 잘 구성된 순서라도 불규칙한 3D 표면에서 모든 지역 관계를 보존할 수는 없다. 고정된 시퀀스는 여전히 인덱스상으로는 가깝지만 3D 공간에서는 멀거나 서로 다른 객체 부분에 속하는 점들을 섞을 수 있다. 우리는 기본 토큰 순서를 유지하면서 지역적 특징 지원과 상태 전파를 적응적으로 조정하는 동적 Mamba 아키텍처인 DM3D를 제안한다. 첫째, 지역 특징 문맥에 따라 DM3D는 전역 순열(permutation)을 구성하지 않고 공간 및 시퀀스 오프셋을 학습한다. 이어서 공간 오프셋은 3D 공간에서 샘플링 앵커를 조정하고, 시퀀스 오프셋은 지역 시퀀스 윈도우 내에서 특징 리샘플링을 유도하여, 서로 다른 슬롯이 각자의 정체성을 유지하면서 겹치는 지역 지원에서 특징을 가져올 수 있게 한다. 이 설계는 원래 순회(traversal)의 전역 prior를 보존하면서 각 토큰이 더 적합한 지역 문맥을 집계할 수 있게 한다. 둘째, 상태 업데이트는 인접 시퀀스 위치에 있는 점들 사이의 3D 거리에 의해 변조(modulated)되어, 이 점들이 공간적으로 멀리 떨어져 있을 때 정보 전파를 줄인다. DM3D는 ModelNet40에서 95.2% 정확도, ScanObjectNN의 PB_T50_RS 분할에서 93.3% 정확도, ShapeNetPart에서 84.8% 클래스 mIoU를 달성한다. 벤치마크 데이터셋에 대한 광범위한 실험은 DM3D가 강력하고 경쟁력 있는 성능을 달성함을 보여주며, 포인트 클라우드 이해를 위한 지역 특징 적응의 효과를 검증한다.