arXiv:2201.04833

SnapshotNet: Self-supervised Feature Learning for Point Cloud Data Segmentation Using Minimal Labeled Data

Xingye Li, Ling Zhang, Zhigang Zhu

제출 2022-01-13

원문 초록

Manually annotating complex scene point cloud datasets is both costly and error-prone. To reduce the reliance on labeled data, a new model called SnapshotNet is proposed as a self-supervised feature learning approach, which directly works on the unlabeled point cloud data of a complex 3D scene. The SnapshotNet pipeline includes three stages. In the snapshot capturing stage, snapshots, which are defined as local collections of points, are sampled from the point cloud scene. A snapshot could be a view of a local 3D scan directly captured from the real scene, or a virtual view of such from a large 3D point cloud dataset. Snapshots could also be sampled at different sampling rates or fields of view (FOVs), thus multi-FOV snapshots, to capture scale information from the scene. In the feature learning stage, a new pre-text task called multi-FOV contrasting is proposed to recognize whether two snapshots are from the same object or not, within the same FOV or across different FOVs. Snapshots go through two self-supervised learning steps: the contrastive learning step with both part and scale contrasting, followed by a snapshot clustering step to extract higher level semantic features. Then a weakly-supervised segmentation stage is implemented by first training a standard SVM classifier on the learned features with a small fraction of labeled snapshots. The trained SVM is used to predict labels for input snapshots and predicted labels are converted into point-wise label assignments for semantic segmentation of the entire scene using a voting procedure. The experiments are conducted on the Semantic3D dataset and the results have shown that the proposed method is capable of learning effective features from snapshots of complex scene data without any labels. Moreover, the proposed method has shown advantages when comparing to the SOA method on weakly-supervised point cloud semantic segmentation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.05711v1cs.LG공통 태그 Self-Supervised Learning, Contrastive Learning

사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습

From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model

강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.

arXiv:2609.39172v2quant-ph공통 태그 Self-Supervised Learning, Contrastive Learning

지문 인식을 위한 하이브리드 양자-고전 자기지도학습의 너비 일치 비교

A Width-Matched Comparison of Hybrid Quantum-Classical Self-Supervised Learning for Fingerprint Recognition

지문 인식은 널리 배포된 생체 인식 기술이지만, 지도학습(supervised training)에는 대규모의 라벨링된 등록 데이터셋이 필요합니다. 자기지도학습(SSL)은 이러한 요구 조건을 없애주며, 학습된 표현을 풍부하게 만들기 위해 하이브리드 양자-고전(hybrid quantum-classical) 모델이 제안되었습니다. 기존의 양자 SSL 연구들은 단일 대조 목적식(contrastive objective)만을 고려했기 때문에, 보고된 이점이 목적식에 따른 것인지 아니면 양자 회로에 기인한 것인지 불분명합니다. 본 연구에서는 대조 방식인 SimCLR 및 MoCo v2와 비대조 방식인 BYOL 등 세 가지 SSL 프레임워크에 QuFeX 양자 특징 추출 모듈을 삽입하고, 인코더 특징에 대한 k-최근접 이웃(k-nearest-neighbor) 식별을 사용하여 SOCOFing 지문 데이터셋 및 CIFAR-10 대조군에서 일치된 표현 너비(8 큐비트와 동일한 8개 특징)로 각 하이브리드 모델을 고전적 대응 모델과 비교합니다. 단일 실행 실험에서 하이브리드 모델은 두 대조 목적식 모두에서 분명히 더 높은 점수를 기록한 반면, BYOL의 경우 다중 시드(multi-seed) 분석에서 유의미한 차이가 나타나지 않아 어떠한 이점이든 SSL 목적식에 따라 달라짐을 시사합니다. 하드웨어 효율적인 회로(QNet)는 동일한 성능 향상을 보이지 않았습니다. 회로 아키텍처, 학습 가능한 매개변수 수, 비선형성 및 8-큐비트 회로의 고전적 시뮬레이션 가능성을 고려하여 이러한 성능 향상이 양자 회로에 기인한 것인지 검토합니다.

arXiv:2610.02903v1cs.CV공통 태그 Self-Supervised Learning, Semantic Segmentation

ViTok: PHI-S 및 마스크드 이미지 모델링을 활용한 AM-RADIO 스타일 다중 교사 지식 증류에서의 조밀한 의미론 개선

ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling

본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.

arXiv:2610.01403v1cs.AI공통 태그 Semantic Segmentation, Contrastive Learning

대조 어텐션을 통한 스파이킹 트랜스포머의 스펙트럼 바이어스 완화

Contrastive Attention Mitigates Spectral Bias in Spiking Transformers

스파이킹 트랜스포머(Spiking Transformer)는 스파이킹 신경망(SNN)의 에너지 효율성과 셀프 어텐션(self-attention)의 표현력을 결합하여, 고성능 및 에너지 효율적 연산을 위한 유망한 아키텍처를 제시합니다. 그러나 인공 신경망(ANN) 대응 모델에 비해 여전히 성능 격차가 존재합니다. 이러한 격차를 이진 활성화(binary activation) 때문으로 보았던 선행 연구들과 달리, 본 논문은 다중 스케일 스펙트럼 분석(multiscale spectral analysis)을 통해 스파이킹 뉴런과 스파이킹 셀프 어텐션(SSA)이 모두 저주파 통과 필터(low-pass filter)로 작동함을 밝혀냅니다. 이러한 특성은 고주파 성분의 소실로 이어집니다. 이 문제를 해결하기 위해, 생물학적 시각 시스템의 에지 검출 및 차분 감지(differential sensing) 특성에서 영감을 얻은 스파이킹 대조 어텐션(Spiking Contrastive Attention, SCA) 패러다임을 제안합니다. 전역 대조 집계(global contrastive aggregation)를 통해 대조 프로토타입을 추출하고 국소 차분 정제(local differential refinement)를 적용함으로써, SCA는 고주파 정보를 효과적으로 강화합니다. 광범위한 실험을 통해 SCA가 범용적인 모듈로서 이미지 분류, 시맨틱 분할(semantic segmentation), 이벤트 기반 추적(event-based tracking) 전반에 걸쳐 스파이킹 트랜스포머의 성능을 일관되게 향상시킴을 입증합니다. 나아가 더 낮은 복잡도를 달성하여 기존 SSA 대비 뛰어난 효율성을 제공합니다. 이러한 결과는 에너지 효율적인 스파이킹 트랜스포머를 위한 기초적인 구성 요소로서 SCA의 잠재력을 입증합니다.

arXiv:2609.24031v2cs.CV공통 태그 Self-Supervised Learning, Contrastive Learning

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

arXiv:2610.00006v1cs.CV공통 태그 Self-Supervised Learning, Semantic Segmentation

창발적 객체 바인딩은 유한한 공간적 지평을 가진다

Emergent Object Binding Has a Finite Spatial Horizon

사전학습된 비전 트랜스포머(Vision Transformer)는 두 이미지 패치가 동일한 객체에 속하는지 여부를 인코딩합니다. 이 IsSameObject 신호는 동결된 패치 임베딩(embedding)에서 높은 정확도로 디코딩할 수 있으며, 이는 자기지도 사전학습(self-supervised pre-training)만으로도 객체 바인딩(object binding)이 창발(emerge)함을 시사합니다. 본 논문에서는 이러한 단일 정확도 수치가 해당 신호의 구조를 가리고 있음을 보여줍니다. 바인딩은 국소적입니다. 동일한 객체의 두 패치가 바인딩된 것으로 디코딩될 확률은 패치 간의 거리에 따라 단조 감소하며 0이 아닌 하한선(floor)에서 평탄해지는데, 이러한 감쇠는 유한한 길이 스케일을 가진 지수 함수로 잘 설명됩니다. 이러한 감쇠 현상은 객체 크기 전반, 세 가지 프로브(probe) 계열 전반, ADE20K와 COCO 데이터셋 모두, 그리고 DINO 및 CLIP 백본 전반에서 유지되며, 이는 디코더가 아닌 표현(representation) 자체의 특성임을 나타냅니다. 바인딩을 유한한 범위를 갖는 국소적 공간 일관성으로 해석하면 종합 점수로는 설명되지 않던 일련의 동작들을 설명할 수 있습니다. 즉, 바인딩은 큰 객체에서 약화되고, 서로 다른 클래스의 객체보다 동일한 클래스의 구별되는 객체를 덜 안정적으로 분리하며, 객체의 부분들을 전체와 그룹화합니다. 반면에 객체 크기를 통제하면 가림(occlusion)에 의해서는 영향을 받지 않습니다. 저자들은 교란 변수를 통제하여 각각의 동작을 매핑합니다. 예비 관찰로서 지평(horizon)과 그 하한선은 DINOv2와 DINOv3에서 서로 다른 깊이로 구성되어 있으며, 프로브된 레이어 수가 적고 두 모델 간의 교란 변수가 존재함을 고려할 때 이는 시사점을 주는 결과로서 보고합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.