Vision foundation models for Earth observation (EO) are commonly evaluated on clean benchmarks, but operational EO products can already contain spatial, radiometric, alignment, noise, and harmonization defects before reaching the model. Generic image corruptions and broad domain shifts do not isolate these product-level failures. We introduce \textbf{RSPDBench}, a physically grounded \textbf{r}emote-\textbf{s}ensing-\textbf{p}roduct \textbf{d}egradation \textbf{b}enchmark that evaluates seven foundation-model entries and two supervised baselines on five EO datasets under primitive degradations and compound product chains. Its degradation parameters follow published Sentinel-2 and Landsat~8 specifications and are checked against Sentinel-2's paired $10\,\mathrm{m}$ and $20\,\mathrm{m}$ near-infrared bands. We evaluate each model under its own native protocol and measure robustness as the drop from its own clean baseline. Our analysis reveals that degradation sensitivity is strongly structured: (i) the resolution-conditioned encoder is the most robust to resolution loss yet the most sensitive to radiometric gain on satellite products, (ii) the same physical defect can hurt one model while helping another, and (iii) model rankings under resolution loss and radiometric gain are largely reversed. Compound chains add up to $38$ percentage points of drop beyond their strongest component. On m-BigEarthNet, retraining the probe on degraded views removes about 75\% of the noise and harmonization losses, but resolution loss still costs about 20\% of the clean score. EO robustness must therefore be measured against the structured defects of remote-sensing products, not by clean accuracy or generic perturbations alone. Code: https://github.com/Tanjim131/RSPDBench
실시간 객체 검출은 정교하게 설계된 아키텍처와 최적화 전략을 통해 상당한 발전을 이루어 왔다. 그러나 경량 네트워크 설계를 통한 고속 추론 추구는 흔히 특징 표현의 저하를 초래하며, 이는 추가적인 성능 향상과 실제 온디바이스 배포를 저해한다. 본 논문에서는 비전 파운데이션 모델(Vision Foundation Models, VFMs)의 빠르게 발전하는 능력을 활용하여 경량 객체 검출기를 개선하는, 비용 효율적이며 적응성이 높은 증류(distillation) 프레임워크를 제안한다. VFM과 자원이 제한된 검출기 사이의 상당한 아키텍처 및 학습 목표 차이를 고려할 때, 안정적이고 과제에 부합하는 의미적 전이(semantic transfer)를 달성하는 것은 어려운 문제이다. 이를 해결하기 위해, 한편으로는 VFM의 고수준 표현을 검출기의 깊은 레이어에 통합할 수 있도록 하는 심층 의미 주입기(Deep Semantic Injector, DSI) 모듈을 도입한다. 다른 한편으로는, 그래디언트 노름 비율에 기반하여 의미적 전이의 강도를 동적으로 조정하는 그래디언트 기반 적응형 변조(Gradient-guided Adaptive Modulation, GAM) 전략을 설계한다. 배포 및 추론 오버헤드를 증가시키지 않으면서도, 본 접근법은 다양한 DETR 기반 모델 전반에서 손쉽게 두드러지고 일관된 성능 향상을 제공하며, 이는 실시간 검출에 대한 실용적 유용성을 뒷받침한다. 새로운 모델 패밀리인 RT-DETRv4는 COCO에서 최첨단 성능을 달성하여, 각각 273/169/124/78 FPS의 속도에서 49.8/53.7/55.4/57.0의 AP 점수를 기록한다. 코드는 https://github.com/RT-DETRs/RT-DETRv4 에서 공개되어 있다.
심층 학습은 생체 의학 영상을 포함한 컴퓨터 비전의 대부분 현대적 접근법과 도구의 기반이 된다. 그러나 대화형 의미 분할(이 맥락에서는 흔히 픽셀 분류라고 불림)과 대화형 객체 수준 분류(객체 분류)에서는 특징 기반 얕은 학습이 여전히 널리 사용된다. 이는 이 영역 데이터의 다양성, 대규모 사전학습 데이터셋의 부족, 그리고 계산 및 레이블 효율성의 필요성 때문이다. 반면 현미경의 많은 다른 비전 작업—특히 세포 인스턴스 분할—을 위한 최신 도구들은 이미 심층 학습에 의존하며, 최근 비전 기반 모델(VFM), 특히 SAM으로부터 상당한 이점을 얻었다. 여기서 우리는 VFM이 현재 접근법과 비교하여 픽셀 분류와 객체 분류도 개선할 수 있는지 조사한다. 이를 위해 우리는 범용 모델(SAM, SAM2, SAM3, DINOv3)과 도메인 특화 모델($μ$SAM, PathoSAM, KRONOS)을 포함한 여러 VFM을 얕은 학습 및 어텐티브 프로빙(attentive probing)과 결합하여 다섯 개의 다양하고 도전적인 데이터셋에서 평가한다. 우리 결과는 수작업 특징 대비 일관된 개선을 보여주며 실용적 개선을 향한 명확한 경로를 제공한다. 또한 본 연구는 현미경에서 VFM을 위한 벤치마크를 수립하고 이 영역의 향후 발전에 정보를 제공한다.
사전학습된 Vision Foundation Model(VFM)은 강력한 의미론적 표현과 뛰어난 일반화 능력 덕분에 현대 컴퓨터 비전(CV)의 핵심이 되었다. 그러나 패치화되거나 풀링된 출력은 본질적으로 저해상도이므로, 세밀한 픽셀 수준 추론이 필요한 과제에서는 효과가 제한된다. 기존 특징 업샘플링 접근법은 의미적 충실도를 저하시키거나 VFM 전용 재학습과 무거운 아키텍처에 의존하여 효율성과 확장성을 저해한다. 이를 해결하기 위해, 우리는 임의 해상도에서 고해상도 특징 맵을 재구성하는 초경량·과제 독립적·VFM 독립적 특징 업샘플링 프레임워크 RaysUp을 제안한다. 기존 2D 보간이나 어텐션 기반 방식과 달리, RaysUp은 특징 재구성을 기하 인식 레이(ray) 도메인으로 끌어올린다. 구체적으로, 방향 인식 가이던스 인코딩을 위한 Spatially Decoupled Guidance Encoder, 해상도에 유연한 재구성을 위한 Any-Resolution Cross-Attention 메커니즘, 6D Plücker 레이 좌표를 통해 암묵적 3D 기하 사전(prior)을 주입하는 새로운 Ray Positional Encoding(RayPE)을 도입한다. 마지막으로, Geometry-Aware Neighborhood Attention 모듈이 기하 일관성을 유지하면서 내용 적응형 양방향(bilateral) 집약을 보장한다. 다양한 밀집 예측(dense prediction) 과제에 대한 광범위한 실험에서 RaysUp은 AnyUp 대비 파라미터의 16%만 사용하면서 최신(state-of-the-art) 성능을 달성하고, 추론 속도는 약 7배 빠른 것으로 나타났다. 이러한 결과는 정확도-효율성 트레이드오프가 실질적으로 개선되었음을 보여 주며, RaysUp이 범용 특징 업샘플링을 위한 실용적이고 확장 가능한 해결책임을 입증한다. 코드는 https://github.com/MAP-RaysUp/RaysUp 에서 확인할 수 있다.
세포 분할은 계산 병리학 및 생의학 연구에 핵심적이다. 최근 비전 기반 모델(VFM)은 뛰어난 범용 특징 표현을 보여 주었지만, 세포 영상에 대한 잠재력을 완전히 활용하는 것은 현재 자원 집약적인 적응 패러다임에 의해 병목이 발생하고 있다. 기존 방법은 일반적으로 무거운 시각 인코더의 미세조정에 의존하여, 막대한 계산 부담과 대규모 주석에 대한 의존을 초래한다. 이를 해결하기 위해, 우리는 시각 인코더를 재학습하지 않고도 고도로 효율적인 세포 분할을 위한 EffiCell-Seg 프레임워크를 제안한다. 핵심 통찰은 사전학습된 VFM이 본질적으로 상보적인 구조적 사전 지식을 내재한다는 것이다: 잠재적 세포를 국소화하기 위한 전역 saliency, 그리고 세포 구조를 구분하기 위한 국소 형태학적 패턴. 이러한 사전 지식을 활용하기 위해, 우리는 동결된 VFM 표현으로부터 의미 인식 saliency와 주요 형태학적 특징을 명시적인 구조적 사전 지식 맵으로 합성하는 Cell Structure Prompt Encoder(CSP-Encoder)를 설계한다. 또한, 상호 교차 안내(mutual cross-guidance)를 통해 기하학적 거리 필드와 의미 맵을 공동으로 예측함으로써 문맥적 일관성을 강제하는 Synergistic Mask Decoder(SM-Decoder)를 제안한다. 광범위한 실험 결과, EffiCell-Seg는 다양한 세포 영상 모달리티에서 최신 방법들을 능가하며, 완전 미세조정된 VFM 대비 130배 이상 적은 약 5M개의 학습 가능 파라미터만 필요함을 보여 준다. 코드는 https://github.com/xq141839/EffiCell-Seg 에서 이용할 수 있다.
생성 이미지 모델의 급격한 발전은 기존 AI 생성 이미지 탐지기에 도전을 제기하며, 특히 미지의 생성기를 포함하는 오픈 월드 환경에서 더욱 두드러진다. 최근의 학습 없는 접근법들은 동결된 비전 기반 모델(VFM)에서 강건성 격차를 측정하고, 섭동에 의한 임베딩 드리프트를 통해 가짜 이미지를 탐지한다. 그러나 이러한 방법들은 사전학습에서 상속된 고정된 불변 기하학에 의존하며 탐지 과제에 대한 원칙적 적응이 부족하다. 우리는 이와 달리 AI 생성 이미지 탐지를 단일 클래스 감독 하에 실제 이미지의 구조화된 불변 다양체를 학습하는 문제로 공식화한다. 동결된 VFM을 기반으로, 표현 공간을 상보적인 강건한 서브공간과 취약한 서브공간으로 분해하는 경량 투영 헤드를 도입한다. 강건한 서브공간은 물리적으로 타당한 이미징 변환에 의해 유도된 변동을 억제하도록 명시적으로 학습되어 실제 이미지 다양체의 접선 방향을 근사하며, 취약한 서브공간은 편집 유사 섭동에 대한 민감도를 유지한다. 구조화된 순서 마진은 물리적 불변성과 편집 유도 변동성 간의 계층적 분리를 강제하여, 학습된 다양체에 대한 마진 위반 테스트로서의 탐지를 가능하게 한다. 추론 시, 두 변환 계열 모두에 대한 다중 스케일 패치별 드리프트는 이중 채널 불변 서명과 해석 가능한 로컬라이제이션을 산출한다. 광범위한 실험을 통해 미지의 생성기와 해상도에 걸쳐 강력한 오픈 월드 일반화가 입증되며, 해석 가능한 불변성 위반 맵을 제공하면서 학습 없는 강건성 기반 기준선을 지속적으로 능가함을 보인다.