SLiDE: Self-supervised LiDAR De-snowing through Reconstruction Difficulty
원문 초록
LiDAR is widely used to capture accurate 3D outdoor scene structures. However, LiDAR produces many undesirable noise points in snowy weather, which hamper analyzing meaningful 3D scene structures. Semantic segmentation with snow labels would be a straightforward solution for removing them, but it requires laborious point-wise annotation. To address this problem, we propose a novel self-supervised learning framework for snow points removal in LiDAR point clouds. Our method exploits the structural characteristic of the noise points: low spatial correlation with their neighbors. Our method consists of two deep neural networks: Point Reconstruction Network (PR-Net) reconstructs each point from its neighbors; Reconstruction Difficulty Network (RD-Net) predicts point-wise difficulty of the reconstruction by PR-Net, which we call reconstruction difficulty. With simple post-processing, our method effectively detects snow points without any label. Our method achieves the state-of-the-art performance among label-free approaches and is comparable to the fully-supervised method. Moreover, we demonstrate that our method can be exploited as a pretext task to improve label-efficiency of supervised training of de-snowing.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ViTok: PHI-S 및 마스크드 이미지 모델링을 활용한 AM-RADIO 스타일 다중 교사 지식 증류에서의 조밀한 의미론 개선
ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling
본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.
창발적 객체 바인딩은 유한한 공간적 지평을 가진다
Emergent Object Binding Has a Finite Spatial Horizon
사전학습된 비전 트랜스포머(Vision Transformer)는 두 이미지 패치가 동일한 객체에 속하는지 여부를 인코딩합니다. 이 IsSameObject 신호는 동결된 패치 임베딩(embedding)에서 높은 정확도로 디코딩할 수 있으며, 이는 자기지도 사전학습(self-supervised pre-training)만으로도 객체 바인딩(object binding)이 창발(emerge)함을 시사합니다. 본 논문에서는 이러한 단일 정확도 수치가 해당 신호의 구조를 가리고 있음을 보여줍니다. 바인딩은 국소적입니다. 동일한 객체의 두 패치가 바인딩된 것으로 디코딩될 확률은 패치 간의 거리에 따라 단조 감소하며 0이 아닌 하한선(floor)에서 평탄해지는데, 이러한 감쇠는 유한한 길이 스케일을 가진 지수 함수로 잘 설명됩니다. 이러한 감쇠 현상은 객체 크기 전반, 세 가지 프로브(probe) 계열 전반, ADE20K와 COCO 데이터셋 모두, 그리고 DINO 및 CLIP 백본 전반에서 유지되며, 이는 디코더가 아닌 표현(representation) 자체의 특성임을 나타냅니다. 바인딩을 유한한 범위를 갖는 국소적 공간 일관성으로 해석하면 종합 점수로는 설명되지 않던 일련의 동작들을 설명할 수 있습니다. 즉, 바인딩은 큰 객체에서 약화되고, 서로 다른 클래스의 객체보다 동일한 클래스의 구별되는 객체를 덜 안정적으로 분리하며, 객체의 부분들을 전체와 그룹화합니다. 반면에 객체 크기를 통제하면 가림(occlusion)에 의해서는 영향을 받지 않습니다. 저자들은 교란 변수를 통제하여 각각의 동작을 매핑합니다. 예비 관찰로서 지평(horizon)과 그 하한선은 DINOv2와 DINOv3에서 서로 다른 깊이로 구성되어 있으며, 프로브된 레이어 수가 적고 두 모델 간의 교란 변수가 존재함을 고려할 때 이는 시사점을 주는 결과로서 보고합니다.
분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가
Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation
선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.
3D 의료 분할을 위한 신뢰도 인식 교사-학생 지식 증류
Confidence-Aware Teacher-Student Distillation for 3D Medical Segmentation
의료 이미지 분할 모델은 일반적으로 대량의 밀집 주석이 달린 체적 데이터에 의존하여, 작업과 영상 방식 전반에 걸친 확장성을 제한한다. 본 연구는 극단적인 주석 희소성 하에서 전체 3D 해부학적 구조를 예측하는 문제를 다룬다. 체적당 단일 2D 슬라이스에 점 프롬프트(point prompt) 집합만 입력으로 요구하는, 자동 3D 의료 분할용 주석 효율적 교사-학생 프레임워크를 제안한다. 파운데이션 모델이 오프라인 교사로 작동하며, 선택된 슬라이스의 점 프롬프트를 이용해 학생 학습 전에 전체 체적 의사 주석과 이에 대응하는 공간적 신뢰도 점수를 생성한다. 노이즈가 있는 의사 주석의 오류 전파를 줄이기 위해, 과제별 3D 학생 네트워크를 신뢰도 인식 최적화(optimization) 전략으로 학습한다. 교사의 사전 계산된 신뢰도 점수를 활용해, 이 전략은 의사 주석 중 정적으로 불확실한 영역을 손실(loss) 계산에서 명시적으로 제외하고, 동시에 신뢰도가 더 높은 영역을 강조한다. 3D 심장 MRI 데이터셋(dataset)에서 평가한 결과, 제안 프레임워크는 최신 준지도(semi-supervised) 방법을 능가하며 이미지 분할 성능을 최대 43.6% 향상시킨다. 또한 체적당 소수의 양성 점 프롬프트만으로 수동 주석 부담을 크게 줄이면서, 교사 대비 표면 경계 정밀도(precision)를 최대 14.7% 개선하고, 완전 지도 학습 상한 대비 성능 격차의 최대 34.1%를 회복한다.
SAFe: 이상 인식 분할을 위한 세그먼트 유도 특징 밀도 집계
SAFe: Segment-guided Aggregation of Feature Densities for Anomaly-aware Segmentation
시각 분할 시스템은 실제 배포 시 학습 분포 밖의 객체를 만나며, 지각 단계에서 장면 파싱(scene parsing)에 의존하는 신뢰할 수 있는 자율 시스템을 저해한다. 최근 많은 방법은 자기지도(self-supervised) 파운데이션 모델로 이상 이미지 영역에서 낮은 가능도를 내는 밀도 추정기(density estimator)를 학습하는 방식으로 이를 다룬다. 유망하지만, 이러한 방법은 특징 의미론이 빈약하거나 공간적 일관성이 부족해, 둘 다 중요한 후속 의사결정을 훼손한다. 우리는 자기지도 표현 위의 클래스 조건부 밀도 추정에 기반한 생성적 방법인 SAFe로 이 문제를 해결한다. SAFe는 고정(frozen) DINOv3 특징 위에서 클래스 조건부 정규화 가능도 추정치를 산출하는 경량 정규화 흐름(normalizing flow)을 학습한다. 전역 의미론과 국소 디테일을 모두 포착하기 위해 트랜스포머 특징의 밀도 추정과 다중 스케일 합성곱 특징에 대한 밀도 점수를 결합한다. SAM3에 기반한 방법 독립적 후처리 단계를 도입하여, 위치별 가능도를 공간적으로 일관된 세그먼트로 연결하고 거짓 양성을 억제하며, 재학습 없이 인스턴스 수준 이상 탐지를 가능하게 한다. 후처리는 유사도 기반 응집적 클러스터링(agglomerative clustering)으로 이상 객체들 가운데 새로운 범주를 추가로 구분한다. SAFe는 PANIC, OoDIS, SMIYC ObstacleTrack에서 새로운 최고 성능(state of the art)을 달성하고 ISSU 벤치마크에서도 강한 성능을 보인다.
산림 포인트 클라우드를 위한 파운데이션 모델을 향하여
Toward a foundation model for forest point clouds
산림 조사는 대규모 3D 포인트 클라우드에서 산림 특성을 도출하기 위해 인공지능(AI) 모델에 점점 더 의존하고 있습니다. 현재의 모델들은 대개 단일 작업, 센서 및 산림 유형에 특화되어 있어, 어노테이션, 연산, 전문 지식 측면에서 적응 비용이 많이 듭니다. 본 연구에서는 단일 사전학습(pre-training) 모델이 다양한 산림 조사 환경에 걸쳐 전이 가능한 표현을 학습할 수 있는지 묻습니다. 언어 모델링과 컴퓨터 비전(CV)의 최근 발전에 영감을 받아, 3D 임업을 위한 파운데이션 모델(FM)을 향한 첫걸음을 내딛습니다. LitePT를 백본으로 사용하여, 산림 시맨틱 및 인스턴스 분할, 수종 분류(classification), 수령 회귀 벤치마크에서 새로운 최고 성능(state of the art)을 달성하는 강력한 지도학습 기준선(baseline)을 먼저 구축합니다. 그런 다음 다양한 산림 생태계에 걸쳐 항공, UAV 및 모바일 레이저 스캐닝을 아우르는 대규모 레이블 미지정 코퍼스를 구축하고, 자기지도학습을 사용하여 동일한 백본을 사전학습합니다. 다양한 어노테이션 예산 하에서 네 가지 대표적인 임업 작업에 대해 스크래치 학습(training from scratch), 지도 사전학습, 자기지도 사전학습을 비교함으로써 표현 학습 전략을 체계적으로 평가합니다. 스크래치 학습과 비교하여, 자기지도 사전학습은 모델(model) 수렴(convergence)을 가속화하고 어노테이션이 부족할 때 일관되게 성능을 향상시킵니다. 작업 특화 지도 사전학습과 비교할 때, 자기지도 사전학습은 다운스트림 임업 작업 전반에 걸쳐 더 전이 가능한 표현을 생성합니다. 이러한 발견은 사전학습된 표현이 가장 가치 있는 실질적인 영역을 규명하며, 산림 시맨틱보다는 인스턴스 구별이 범용 3D 산림 파운데이션 모델로 나아가는 주된 남은 장애물임을 시사합니다. 코드와 모델은 https://github.com/prs-eth/ForPT 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.