Dense Depth Distillation with Out-of-Distribution Simulated Images
원문 초록
We study data-free knowledge distillation (KD) for monocular depth estimation (MDE), which learns a lightweight model for real-world depth perception tasks by compressing it from a trained teacher model while lacking training data in the target domain. Owing to the essential difference between image classification and dense regression, previous methods of data-free KD are not applicable to MDE. To strengthen its applicability in real-world tasks, in this paper, we propose to apply KD with out-of-distribution simulated images. The major challenges to be resolved are i) lacking prior information about scene configurations of real-world training data and ii) domain shift between simulated and real-world images. To cope with these difficulties, we propose a tailored framework for depth distillation. The framework generates new training samples for embracing a multitude of possible object arrangements in the target domain and utilizes a transformation network to efficiently adapt them to the feature statistics preserved in the teacher model. Through extensive experiments on various depth estimation models and two different datasets, we show that our method outperforms the baseline KD by a good margin and even achieves slightly better performance with as few as 1/6 of training images, demonstrating a clear superiority.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
표현 차이 증류
Representational Difference Distillation
지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.
CRISP: 절 재구성 기반 해석 가능한 신경기호 명제를 위한 프레임워크
CRISP: A Framework for Clause-Reconstructed Interpretable NeuroSymbolic Propositions
심층 신경망(neural network)은 계층화된 수치 변환을 통해 높은 정확도를 달성하지만, 결정 근거가 명시적 규칙이 아닌 은닉 활성화에 인코딩되어 있어 결정을 검증하기 어렵습니다. 본 논문에서는 이진 신경망 교사 모델의 마지막 층(layer) 활성화 벡터(LLAV)를 세틀린 머신(TM) 절(clause)로 재구성하는 프레임워크인 CRISP를 소개합니다. CRISP는 교사 모델의 마지막 직전 층 로짓(logit) 전 활성화를 부호 기준 이진화하고, 각 LLAV 뉴런에 개별 TM(ITM)을 하나씩 할당합니다. 재구성된 각 은닉 비트는 불리언화(Booleanized)된 입력 특성에 대한 명제 절로 표현되어, 명명된 입력 임계값에서 명명된 교사 뉴런까지의 직접적인 기호적 추적을 제공합니다. CRISP는 BinaryConnect 합성곱 신경망(BCCNN) 교사 모델과 완전 이진 신경망(BNN) 교사 모델을 사용하여 MNIST, KMNIST, FashionMNIST(FMNIST), SVHN, CIFAR10에서 평가되었으며, 다양한 비트 심도에서의 이진 임계값 처리, 서모미터 인코딩(thermometer encoding), 사분위수 비닝(quartile binning)에 대한 추가 연구도 수행되었습니다. 실험 결과에 따르면 테스트된 BNN 설정에서 LLAV 부호 이진화는 교사 헤드 정확도를 저하시키지 않는 반면, ITM 재구성 오차가 주된 제한 요인인 것으로 나타났습니다. 사분위수 1비트 불리언화는 SVHN에서 87.52%의 테스트 충실도로 가장 높은 재구성 충실도를 보였고 CIFAR10에서도 경쟁력 있는 성능을 보였으며, 재구성된 LLAV는 FMNIST에서 78.41%의 교사 헤드 정확도를 유지했습니다. 풀링된 절-근거 시각화는 학습된 ITM 리터럴(literal)이 중앙 집중형 벤치마크에서 객체 영역에 집중됨을 보여줍니다. 따라서 CRISP는 이진 신경망 교사 모델의 최종 은닉 표현을 검사할 수 있는 절 수준의 경로를 제공합니다.
ViTok: PHI-S 및 마스크드 이미지 모델링을 활용한 AM-RADIO 스타일 다중 교사 지식 증류에서의 조밀한 의미론 개선
ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling
본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.
이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.
GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환
GTR: Gated Token Recurrence for Efficient Dense Prediction
셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
자연 환경에서의 기하 조건화 시각적 장소 인식
Geometry-Conditioned Visual Place Recognition in Natural Environments
자연 환경에서의 시각적 장소 인식(VPR)은 반복적인 식생, 두드러진 랜드마크의 희소성, 통행마다 큰 외관 및 시점 변화로 인해 여전히 어렵다. 동일 장소에 대한 시각적 관측은 크게 달라질 수 있지만, 그 이면의 공간 구조는 종종 더 지속적이다. 우리는 Depth-Aware Distillation(DAD)을 통해 이러한 상호 보완적 기하 일관성을 활용하며, DAD는 깊이 센서 없이 Geometric Foundation Model(GFM)이 추론한 기하에 대해 사전학습된 Vision Foundation Model(VFM)의 토큰 표현을 조건화한다. 기하를 추가 입력 모달리티로 취급하는 대신, DAD는 이미지 정렬 깊이를 VFM 토큰 공간에 투영하고 채널 단위 기하 조건화를 통해 시각 표현을 선택적으로 변조한다. 2단계 교사 안내 학습 전략은 먼저 기하 조건화 표현을 사전학습된 외관 공간에 고정한 뒤, 장소 판별을 위해 이를 정제한다. WildCross 벤치마크에서 평가한 결과, DAD는 동등한 외관 전용 기준선 대비 시퀀스 간 평균 재현율 Recall@1을 61.41%에서 66.37%로, Recall@5를 65.86%에서 72.49%로 향상시켰으며, 역방향 통행과 장기 외관 변화에서 가장 큰 이득을 보였다. 이 결과는 시각적 외관이 신뢰할 수 없게 될 때 GFM에서 유도한 기하가 VPR에 지속적인 구조적 사전(prior)을 제공할 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.