이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.
본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.
자연 환경에서의 시각적 장소 인식(VPR)은 반복적인 식생, 두드러진 랜드마크의 희소성, 통행마다 큰 외관 및 시점 변화로 인해 여전히 어렵다. 동일 장소에 대한 시각적 관측은 크게 달라질 수 있지만, 그 이면의 공간 구조는 종종 더 지속적이다. 우리는 Depth-Aware Distillation(DAD)을 통해 이러한 상호 보완적 기하 일관성을 활용하며, DAD는 깊이 센서 없이 Geometric Foundation Model(GFM)이 추론한 기하에 대해 사전학습된 Vision Foundation Model(VFM)의 토큰 표현을 조건화한다. 기하를 추가 입력 모달리티로 취급하는 대신, DAD는 이미지 정렬 깊이를 VFM 토큰 공간에 투영하고 채널 단위 기하 조건화를 통해 시각 표현을 선택적으로 변조한다. 2단계 교사 안내 학습 전략은 먼저 기하 조건화 표현을 사전학습된 외관 공간에 고정한 뒤, 장소 판별을 위해 이를 정제한다. WildCross 벤치마크에서 평가한 결과, DAD는 동등한 외관 전용 기준선 대비 시퀀스 간 평균 재현율 Recall@1을 61.41%에서 66.37%로, Recall@5를 65.86%에서 72.49%로 향상시켰으며, 역방향 통행과 장기 외관 변화에서 가장 큰 이득을 보였다. 이 결과는 시각적 외관이 신뢰할 수 없게 될 때 GFM에서 유도한 기하가 VPR에 지속적인 구조적 사전(prior)을 제공할 수 있음을 보여준다.
정착지 주변의 홍수 범위를 신속하고 고해상도로 매핑하는 것은 긴급 대응 및 피해 평가에 필수적이다. 본 연구에서는 저비용으로 신속하게 수집 가능한 항공 RGB 영상을 홍수 매핑에 활용한다. 홍수 지도를 생성하기 위해 물 분할(water segmentation)을 위한 심층 학습(deep learning) 모델이 흔히 사용되며, CNN 기반 및 소규모 비전 트랜스포머(transformer) 모델이 활용된다. 그러나 이러한 모델들은 새로운 홍수 사건과 같이 환경이 변화할 때 적응하기 위해 많은 데이터를 필요로 한다. 비전 파운데이션 모델 또는 대규모 비전 트랜스포머는 도메인 간 일반화 능력이 뛰어난 것으로 알려져 있다. 최근 지구 관측(Earth observation)을 위한 파운데이션 모델이 공개되었으나, 이 모델들은 공간 해상도, 촬영 기하학, 복사계가 수직(nadir) RGB 영상과 상이한 위성 데이터로 사전학습되어 있어 적응이 필요하다. 본 연구에서는 위성 데이터로 사전학습된 지구 관측 파운데이션 모델을 RGB 영상 기반 센티미터 스케일 홍수수(floodwater) 매핑에 적응시키는 방법을 탐구한다. 구체적으로, Prithvi-EO-2.0-600M 비전 트랜스포머와 UPerNet 디코더를 결합하여 이진 물 분할을 수행하는 Prithvi-2.0-UPN 모델을 두 개의 RGB 데이터셋(BlessemFlood21, NeuenahrFlood)에 대해 미세조정(fine-tuning)한다. 첫 번째 실험에서 Prithvi-2.0-UPN은 각 데이터셋으로 학습(training)했을 때 BlessemFlood21과 NeuenahrFlood 모두에서 최첨단(state-of-the-art) 성능을 달성함을 확인한다. 두 번째 실험에서는 제로샷(zero-shot) 설정에서 새로운 홍수 사건으로의 전이(BlessemFlood21로 학습, NeuenahrFlood로 평가) 시 Prithvi-2.0-UPN이 최첨단 기준선(baseline) 모델보다 우수한 성능을 보임을 확인한다. 다만 성능에는 개선 여지가 있음을 확인하였다. 이와 관련하여 세 번째 실험에서는 NeuenahrFlood 학습 데이터의 소량을 추가로 미세조정했을 때의 성능 향상을 분석한다: Prithvi-2.0-UPN은 가장 빠르게 향상되어 NeuenahrFlood 전체 데이터로 학습했을 때의 성능 수준에 근접함으로써 전이 능력을 입증한다.