Direct Distillation between Different Domains
원문 초록
Knowledge Distillation (KD) aims to learn a compact student network using knowledge from a large pre-trained teacher network, where both networks are trained on data from the same distribution. However, in practical applications, the student network may be required to perform in a new scenario (i.e., the target domain), which usually exhibits significant differences from the known scenario of the teacher network (i.e., the source domain). The traditional domain adaptation techniques can be integrated with KD in a two-stage process to bridge the domain gap, but the ultimate reliability of two-stage approaches tends to be limited due to the high computational consumption and the additional errors accumulated from both stages. To solve this problem, we propose a new one-stage method dubbed ``Direct Distillation between Different Domains" (4Ds). We first design a learnable adapter based on the Fourier transform to separate the domain-invariant knowledge from the domain-specific knowledge. Then, we build a fusion-activation mechanism to transfer the valuable domain-invariant knowledge to the student network, while simultaneously encouraging the adapter within the teacher network to learn the domain-specific knowledge of the target data. As a result, the teacher network can effectively transfer categorical knowledge that aligns with the target domain of the student network. Intensive experiments on various benchmark datasets demonstrate that our proposed 4Ds method successfully produces reliable student networks and outperforms state-of-the-art approaches.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
파도 아래의 기하학: 희소 뷰 수중 3D 가우시안 스플래팅을 위한 밀집 사전 정보
Geometry beneath the Waves: Dense Priors for Sparse-View Underwater 3D Gaussian Splatting
수중 3D 복원(3D reconstruction)은 희소 뷰(sparse view) 조건에서 여전히 어려운 과제로 남아 있는데, 산란(scattering), 흡수(absorption), 부유 입자(suspended particles)가 특징(feature) 대응관계와 기하 추정(geometric estimation)을 저해하기 때문이다. 피드포워드(feed-forward) 기하 파운데이션 모델(foundation model)이 전통적인 Structure-from-Motion의 대안을 제공하지만, 이를 수중 환경에 직접 적용하면 노이즈가 많고 단편화된 기하가 생성되어 이후의 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)을 제한한다. 우리는 피드포워드 기하를 수중 저하(degradation)에 적응시키고 그 밀집 기하학적 사전(dense geometric prior)을 뷰 합성(view synthesis)에 활용하는 희소 뷰 수중 복원 프레임워크를 제안한다. 첫째, LoRA와 교사-학생(teacher-student) 증류(distillation)를 사용하여 VGGT를 적응시키며, 합성적으로 저하된 수중 이미지로 학습(training)하면서도 깨끗한 기하학적 감독(supervision)을 보존한다. 이를 통해 사전학습(pretrained)된 예측 헤드(prediction head)를 수정하지 않고도 수중 외관 왜곡(appearance distortion)에 대한 견고성(robustness)을 향상시킨다. 둘째, 예측된 밀집 기하는 중간 단계의 3DGS 표현을 초기화하여 기하 기반(geometry-guided) 가상 뷰(pseudo-view)를 생성하며, 이는 뷰 중첩(view overlap)을 늘리고 이후의 RUSplatting 최적화를 위한 특징(feature) 트랙을 강화한다. SeaThru-NeRF와 Submerged3D에서의 실험은 희소 뷰 조건에서 복원 품질이 향상됨을 보여준다. SeaThru-NeRF에서 본 방법은 RUSplatting의 PSNR을 24.37에서 27.11 dB로 향상시키고 SSIM을 0.7611에서 0.8634로 증가시키며, Submerged3D에서는 최고의 평균 PSNR과 LPIPS를 달성한다. 이러한 결과는 견고한 희소 뷰 수중 3D 복원을 위한 도메인 적응(domain-adapted) 기하학적 사전의 잠재력을 보여준다.
PAGER: 기하학적 및 관계적 증류를 통한 부분-전역 정렬
PAGER: Partial-to-global Alignment via Geometric and Relational Distillation
사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.
AnalogDepth: 아날로그 비디오 전송 환경에서 FPV 드론을 이용한 다중 시점 기하학
AnalogDepth: Multi-view Geometry from FPV drones under Analog Video Transmission
아날로그 비디오 전송(VTX)은 낮은 지연 시간, 가벼운 무게, 저비용 덕분에 FPV 드론에서 여전히 널리 사용된다. 그러나 아날로그 VTX는 표준 학습 증강에 사용되는 디지털 이미지 손상(예: AWGN)과는 근본적으로 다른, 복잡하고 공간적으로 구조화된 이미지 열화를 겪는다. 본 연구는 이러한 유형의 노이즈가 최신 피드포워드 시각 기하학 파운데이션 모델인 Depth Anything 3(DA3)의 정확도를 심각하게 저하시킨다는 것을 보인다. 이러한 격차를 해소하기 위해, 우리는 DINOv2 백본에 주입된 Low-Rank Adaptation(LoRA)을 활용한 학생-교사 지식 증류를 통해 DA3를 아날로그 FPV 영상에 적응시키는 매개변수 효율적 학습 파이프라인인 AnalogDepth를 제시한다. 노이즈를 분석적으로 합성하는 대신, 우리는 다양한 조건에서 촬영된 정적 FPV 녹화 영상으로부터 노이즈 뱅크를 구축하고, 실제 노이즈 주입을 PSD 매칭 가우시안 합성 및 AWGN 기준선과 비교한다. 세 곳의 실내 장면에서 촬영된 여섯 개의 실제 FPV 비행 시퀀스에 대한 실험 결과, 우리의 노이즈 뱅크를 이용한 학습이 사전학습된 DA3 기준선 및 두 가지 가우시안 노이즈 변형과 비교하여 프레임별 깊이 RMSE와 3D 재구성 챔퍼 거리(Chamfer distance)를 일관되게 감소시킨다는 것을 보여준다. 이러한 결과는 실제 아날로그 전송 노이즈의 공간적 구조를 재현하는 것이 효과적인 적응에 필수적임을 보여준다.
심각한 분포 이동 환경의 비디오를 위한 이중 지식 증류 기반 테스트 시간 적응
Test-Time Adaptation via Dual Distillation for Videos Under Severe Distribution Shifts
심층 학습 모델은 여러 컴퓨터 비전(CV) 작업에서 최첨단 성능을 달성해 왔다. 그러나 예상치 못한 분포 이동으로 인해 실제 환경에 적용할 때 심각한 성능 저하를 겪는다. 테스트 시간 적응(TTA)은 소스 데이터에 접근하지 않고, 타깃 도메인의 비레이블 데이터를 사용하여 추론 시점에 테스트 분포에 동적으로 적응함으로써 이 문제를 해결하려 한다. 그러나 연속적이고 시간적으로 상관된 데이터(예: 비디오)에 적응하거나, 타깃 도메인에 심각한 도메인 이동이 존재하는 시나리오에서는 TTA가 여전히 어려운 문제로 남아 있다. 이러한 이유로, 문헌에서 이와 같은 극한 조건 하의 비디오 TTA를 탐구한 연구는 많지 않다. 이러한 한계를 극복하기 위해, 우리는 도메인 간격을 메우기 위해 경량 투영 어댑터에 의존하는 온라인 적응 프레임워크인 이중 지식 증류 기반 테스트 시간 적응(TADD)을 제안한다. 어댑터 모듈은 소스 도메인에서 사전학습된 후, 우리가 제안한 상보적 손실을 사용하여 타깃에 적응된다: (i) 제로샷 지식 증류는 사전학습된 비전-언어 모델(VLM)의 도메인 불변 특징과의 정렬을 장려하고, (ii) 타깃 지식 증류는 사전학습된 어댑터에 인코딩된 소스 도메인의 판별적 지식을 유지한다. 고정된 CLIP 백본 위에 구축된 우리 방법은 추론 동안 유일하게 갱신 가능한 구성 요소로 이 경량 투영 어댑터를 도입한다. 우리는 UCF-HMDB, Daily-DA, Sports-DA의 세 가지 잘 알려진 비디오 행동 인식 벤치마크에서 광범위한 평가를 수행했다. 폐쇄 집합(closed-set) 시나리오에서의 실험은 우리 방법이 최첨단 TTA 기준선을 일관되게 능가함을 보여준다. 특히, 우리의 TTA 접근법은 UCF-HMDB에서 최대 +3.81%, Daily-DA에서 +2.63%, Sports-DA에서 +3.03%만큼 이전 방법 대비 향상된다.
UnDA: 의료 영상에서 교차 모달 지식 전이를 위한 비쌍 도메인 정렬
UnDA: Unpaired Domain Alignment for Cross-Modal Knowledge Transfer in Medical Imaging
다중 모달 기반 접근법은 서로 다른 모달리티가 상보적인 정보를 제공하기 때문에 다운스트림 태스크에서 단일 모달리티 접근법보다 종종 더 우수한 성능을 보이지만, 실제 시나리오에서는 쌍을 이룬 임상 데이터를 확보하는 것이 여전히 큰 과제로 남아 있다. 교차 모달 지식 증류가 이를 해결하지만, 기존 방법들은 큰 모달리티 간격과 불확실한 소스 도메인 예측으로부터 발생하는 노이즈 전파에 종종 어려움을 겪는다. 이러한 과제를 극복하기 위해, 우리는 비쌍 교차 모달 지식 증류를 위한 앵커 기반 프레임워크인 UnDA를 제안한다. 우리 접근법은 어텐션 기반 풀링 메커니즘을 통해 의미적으로 구조화된 클래스 토큰을 추출하는 백본 불문 정렬 모듈(Alignment Module)을 도입한다. 견고한 지식 전이를 보장하기 위해, 예측 신뢰도에 따라 특징 수준 정렬에 동적으로 가중치를 부여하여 노이즈가 많은 지도를 효과적으로 억제하는 불확실성 가중 최적 수송(Uncertainty-Weighted Optimal Transport, UCT-OT)을 제안한다. 또한, 클래스별 ProtoNCE 목적 함수는 안정적인 프로토타입 메모리를 유지하여 비쌍 배치 전반에 걸쳐 전역 판별력을 강화한다. 엄격한 비쌍 설정 하에서 대표적인 분할(segmentation) 태스크에 대한 평가는 대상 모달리티에서 정확도와 경계 정밀도의 일관된 향상을 보여 주며, 쌍을 이룬 데이터셋 없이도 이질적인 데이터 소스 간에 의미 있는 구조적 지식을 전이할 수 있음을 입증한다.
RIM: UAV 교차 도메인 전역 시각적 위치 추정을 위한 검색-내-매칭(Retrieval-In-Matching) 프레임워크
RIM: A Retrieval-In-Matching Framework for Cross-Domain Global Visual Localization of UAVs
원격 감지 참조 지도를 이용한 무인항공기(UAV)의 전역 시각적 위치 추정은 점점 더 많은 관심을 받고 있다. 그러나 UAV와 참조 영상 간의 촬영 시점 및 촬영 플랫폼 차이는 상당한 교차 도메인 외형 및 시점 변화를 유발하여, 견고한 6자유도(6-DoF) 자세 추정을 어렵게 한다. 우리는 위치, 고도, 방향에 걸쳐 Google 3D Tiles에서 UAV 시점의 참조 뷰를 샘플링하여 이러한 변화를 해결한다. 2단계 교차 도메인 미세조정 레시피는 자세가 유사한 양성(positive)과 지리적으로 먼 하드 네거티브(hard negative)를 사용하여 SALAD를 적응시키며, 국소 기하학적 일관성이 Top-K 후보를 재순위화한다. 또한 Retrieval-In-Matching(RIM)을 제안한다. 이는 적응된 DINOv2-B 검색기(retriever)를 고정하고, 그 토큰 필드를 얕은 VGG19 디테일 스트림과 함께 재사용하는 국소 디스크립터(local-descriptor) 디코더를 지식 증류(distillation)한다. 따라서 쿼리 측 DINOv2-B의 한 번의 순전파(forward)가 SALAD 검색과 국소 기술(local description) 모두에 사용되어, 두 번째 파운데이션 모델(foundation model) 백본을 제거하면서도 설계상 검색 디스크립터를 보존한다. RIM을 재구성된 EPFL Urbanscape와 자체 수집 Chang'an Park 데이터셋에서 제로샷(zero-shot)으로 평가했으며, 두 데이터셋 모두 학습 데이터와 지리적으로 분리되어 있다. RIM은 최근 10개 검색 기준선 계열을 능가한다. 전체 3D 거리 메트릭에서 25/50 m 기준으로, EPFL에서 SALAD 대비 Recall@1(재현율)을 8.55/13.77 퍼센트포인트, Park에서 4.45/8.94 포인트 향상시켰다. Top-K=5에서 검색, 후보 매칭, 견고한 기하학적 검증을 포함한 완전한 측정된 위치 추정 쿼리는 end-to-end로 67.9 ms가 소요된다: 가장 강력한 별도 sparse-matching 기준선보다 1.8배 빠르고 RoMa보다 40배 이상 빠르면서, 유사한 재순위화(re-ranking) 정확도를 달성한다. 이러한 결과는 GNSS가 어려운 환경에서 UAV 전역 시각적 위치 추정을 위한 효율적이고 배포 가능한 파이프라인을 확립한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.