Can a simple labeled-pixel contrastive branch improve semi-supervised segmentation with a strong pretrained encoder? We study this question with PixCon, which adds a class-wise memory bank to a DINOv2-Base implementation of UniMatch V2. The bank stores ground-truth-labeled features only where the student prediction agrees with the label. A multi-positive contrastive loss uses these features to train the shared encoder-decoder; the head and bank are discarded at inference. This simplifies earlier labeled-pixel banks by removing confidence thresholds and learned ranking. On Pascal VOC with 183 labels, PixCon improves all three paired seeds by 0.20, 0.64 and 1.83 mIoU points, raising the mean from 87.01 to 87.90. With 92 labels the mean gain is 0.40 points; single-seed differences on Cityscapes and ADE20K range from -0.08 to +0.14 points. A predicted-label contrastive control reaches nearly the same Pascal accuracy, so these results support the added branch rather than an accuracy benefit from its correctness filter. An exact gradient decomposition distinguishes mislabeled-positive counts from their similarity-weighted influence. Separate teacher diagnostics find retained-pixel error rates of 1.8% on Pascal and 10.6% on ADE20K. These diagnostics do not measure the training bank or predict final accuracy. PixCon adds 15.3-19.7% iteration time in the measured runs and no inference computation. We report paired seeds, training cost and the limits of the evidence.
Synthetic image attribution aims at identifying the generator responsible for a given AI-generated image. Training-free reference-based attribution methods are easily scalable, since newly emerging generators can be incorporated by adding source-specific references rather than retraining a task-specific classifier. Their performance depends on two coupled factors: the representation space used for comparison and the way source-specific references are constructed. However, the interaction between these two factors remains largely unexplored. In this paper, we provide a controlled analysis of this interaction using references and off-the-shelf pretrained representations. We study representations extracted from different layers of CLIP and DINOv2, along with three reference selection strategies with varying semantic constraints: arbitrary, semantically aligned, and resynthesis-based references. Our results show that attribution accuracy generally peaks at intermediate representation levels, indicating that source-discriminative cues are more accessible before strong semantic abstraction dominates. We further show that intermediate representations are not completely semantically neutral, making reference selection critical: semantically constrained references reduce query-reference mismatch and improve attribution, especially under limited reference budgets. Resynthesis is useful in low-reference regimes, while semantically aligned references provide a better accuracy-cost trade-off when a moderate-sized reference pool is available. Our findings show that training-free reference-based attribution should be understood as the interaction between where images are compared, how the reference set is constructed, and how many references are available. Code and datasets are available at https://github.com/meiling-fdu/RefPrint.
이미지 검색 방법은 종종 비전 트랜스포머의 [CLS] 토큰과 같이 이미지에서 추출된 단일 글로벌 의미 서술자(semantic descriptor)에 의존합니다. 그러나 이미지의 모든 의미 정보를 단일 서술자에 압축하려는 시도는 특히 세분화된(fine-grained) 검색 작업에서 다운스트림 검색 성능을 저하시킬 수 있습니다. 본 연구에서는 최신 비전 트랜스포머의 의미 토큰(글로벌 [CLS] 토큰 및 4개의 레지스터 토큰)을 신중하게 선택된 공간 토큰 집합으로 증강하여, 각 의미 토큰에 포착된 콘텐츠의 특성을 나타내는 공간 영역 표현을 포착하고자 합니다. 우리는 객체 및 부위 기반 표현을 창발적으로(emergently) 학습하는 레지스터 토큰이 포함된 DINOv2-reg 모델을 활용합니다. 각 "단서(cue)" 토큰([CLS] 및 각 레지스터 토큰)에 대해 "버디(buddy)" 이미지 패치 토큰을 찾고 N x N 패치 영역을 추출하여 일련의 국소화된 관심 영역(ROI) 토큰 집합을 생성합니다. 우리의 접근 방식은 외부 바운딩 박스나 현저성(saliency) 모듈 없이, 순수하게 의미 토큰을 공간 표현 영역과 매칭함으로써 중요한 관심 영역을 자동으로 포착합니다. 나아가 이러한 토큰들을 ColBERT에서 영감을 받은 다중 벡터 검색 프레임워크에 통합하여, 모든 패치 임베딩을 유지하는 막대한 저장 비용을 피하면서 토큰별 정렬(alignment) 메커니즘을 통한 세분화된 매칭을 가능하게 합니다. 광범위한 실험을 통해 우리는 다음을 발견했습니다: (1) 레지스터 토큰은 [CLS] 토큰을 보완할 수 있는 유용한 세분화된 세부 정보를 인코딩합니다. (2) 자동으로 풀링된 ROI 토큰은 세분화된 식별력을 더욱 향상시킵니다. (3) 소규모 토큰 집합을 사용한 다중 벡터 검색은 대규모 검색에서도 다루기 쉬운 수준을 유지하면서 DINOv2-reg 단일 벡터 기준선 대비 성능을 개선합니다. 코드는 https://github.com/IdhcbIan/Augmenting_CLS_with_ROI_tokens 에서 확인할 수 있습니다.
산업용 이상(anomaly) 검사는 관측된 결함을 설명하고, 해당 픽셀을 위치 특정(localizing)하며, 제어된 편집을 합성하는 상호보완적인 능력을 요구합니다. 본 논문에서는 태스크별 토큰(token) 인터페이스를 통해 멀티모달 언어 모델(MLLM), 고밀도(dense) 비전 전문가 및 디퓨전 에디터를 연결하는 통합 아키텍처인 IAD-Unify를 제안합니다. 다중 참조 DINOv2 경로는 고밀도 이상 필드를 형성하고 1,369개의 셀을 81개의 구조화된 증거 토큰으로 압축합니다. Qwen3.5는 그라운딩(grounding)된 답변을 위해 이 토큰들을 사용하며, 32개의 태스크 토큰과 함께 이를 조밀한 마스크 상의 의미론적 잔차(semantic residual)로 변환합니다. 별도의 256개 쿼리 인터페이스는 Qwen 상태를 Stable Diffusion의 완전한 크로스 어텐션(cross-attention) 컨텍스트로 리샘플링하는 한편, 에디터는 소스 잠재(latent) 및 하드 마스크 입력을 유지합니다. 이러한 태스크 경로들은 모든 태스크가 동일한 시각적 병목을 거치도록 강제하지 않으면서 하나의 Qwen 어댑테이션을 공유하며, 특히 증거 토큰은 생성 경로에서 제외됩니다. 단계별 최적화(optimization)는 고밀도 증거를 초기화하고, 이를 언어와 정렬(alignment)하며, 분할(segmentation)을 보정(calibrate)한 후 이전 능력을 보존하면서 디퓨전 에디터를 사전학습(pre-training) 및 특화합니다. 또한 중복 제거된 54,501개의 산업용 이미지에 걸쳐 Anomaly Evidence를 구축합니다. 품질 제어된 Anomaly Evidence Compiler 및 Industrial Edit-Pair Compiler는 독립적인 기하학, 의미론적 그라운딩 및 편집 일관성 검사를 통해 패밀리 간 분리되고 검증된 지도 신호를 생성합니다. 이러한 설계는 입력, 지도 신호 또는 출력을 혼동하지 않으면서 이해, 분할 및 국소적 생성을 위한 하나의 고정된 공유 매개변수(parameter) 세트를 제공합니다. 결과 모델은 73.02%의 MMAD Macro$_7$, 단일 참조 기준 공개된 최고 분할 AP 평균(57.10%), 가장 낮은 Controlled masked DINO 거리(0.3765)를 달성하여 추론, 픽셀 랭킹 및 의미론적 편집 충실도 전반에 걸쳐 상호보완적인 강점을 보입니다.
사전학습된 비전 트랜스포머(Vision Transformer)는 두 이미지 패치가 동일한 객체에 속하는지 여부를 인코딩합니다. 이 IsSameObject 신호는 동결된 패치 임베딩(embedding)에서 높은 정확도로 디코딩할 수 있으며, 이는 자기지도 사전학습(self-supervised pre-training)만으로도 객체 바인딩(object binding)이 창발(emerge)함을 시사합니다. 본 논문에서는 이러한 단일 정확도 수치가 해당 신호의 구조를 가리고 있음을 보여줍니다. 바인딩은 국소적입니다. 동일한 객체의 두 패치가 바인딩된 것으로 디코딩될 확률은 패치 간의 거리에 따라 단조 감소하며 0이 아닌 하한선(floor)에서 평탄해지는데, 이러한 감쇠는 유한한 길이 스케일을 가진 지수 함수로 잘 설명됩니다. 이러한 감쇠 현상은 객체 크기 전반, 세 가지 프로브(probe) 계열 전반, ADE20K와 COCO 데이터셋 모두, 그리고 DINO 및 CLIP 백본 전반에서 유지되며, 이는 디코더가 아닌 표현(representation) 자체의 특성임을 나타냅니다. 바인딩을 유한한 범위를 갖는 국소적 공간 일관성으로 해석하면 종합 점수로는 설명되지 않던 일련의 동작들을 설명할 수 있습니다. 즉, 바인딩은 큰 객체에서 약화되고, 서로 다른 클래스의 객체보다 동일한 클래스의 구별되는 객체를 덜 안정적으로 분리하며, 객체의 부분들을 전체와 그룹화합니다. 반면에 객체 크기를 통제하면 가림(occlusion)에 의해서는 영향을 받지 않습니다. 저자들은 교란 변수를 통제하여 각각의 동작을 매핑합니다. 예비 관찰로서 지평(horizon)과 그 하한선은 DINOv2와 DINOv3에서 서로 다른 깊이로 구성되어 있으며, 프로브된 레이어 수가 적고 두 모델 간의 교란 변수가 존재함을 고려할 때 이는 시사점을 주는 결과로서 보고합니다.
What Do Scan-Derived Class Prototypes Add? Disentangling Supervision, Prototype Content and Query Protocol in Recognition over Frozen Foundation Features
스캔(scan)은 레이블이 지정된 이미지와 기하학적 참조(geometric reference)를 제공한다. 우리는 스캔 유래 프로토타입 행렬(prototype matrix)이 지도학습 헤드(supervised head)의 고정 출력층 역할을 하는 인식기(recognizer)에서 이들의 기여를 분리한다. T-LESS, HOPE, 그리고 직접 수집한 18개의 산업용 부품(industrial parts)에서, 우리는 실제(real), 무작위(random), 정확히 순열된(exactly permuted) 프로토타입, 매칭된 기하 정보 없는 분류기(geometry-free classifier), 더 강력한 외형 규칙(appearance rule), 그리고 쌍을 이룬 배경 프로토콜(paired background protocol)을 테스트한다. 실제 배경 쿼리(real-background query)를 사용한 DINOv2-giant와 MetaCLIP-H 전반에서, 실제 프로토타입이 두 대조군(control) 중 어느 쪽보다도 융합 정확도(fused accuracy)에서 앞서는 최대 우위는 1퍼센트포인트이다; 더 큰 차이는 대조군에 유리하게 나타나며, 암 평균(arm mean) 기준 최대 2.8포인트에 달한다. DINOv2-giant를 사용한 HOPE에서, 헤드만 단독으로는 정확한 순열(exact permutation) 대비 2.8포인트 높다(95% 구간: 0.8-4.7); 이 우위는 융합(fusion) 단계에서는 나타나지 않으며 MetaCLIP-H에서도 관찰되지 않는다. DINOv2-giant에서, 매칭된 로지스틱 회귀(logistic regression)는 T-LESS에서 융합 성능과의 차이가 0.5포인트 이내이며, HOPE와 직접 수집한 부품에서는 융합 성능을 초과한다. 흰색 컷아웃(white cutout)과 비교했을 때, 실제 HOPE 쿼리 배경은 이미지-프로토타입 정확도(image-prototype accuracy)를 DINOv2-giant에서 43포인트, MetaCLIP-H에서 13포인트 낮춘다. 이 감사(audit)는 프로토타입 내용, 레이블 감독(label supervision), 쿼리 프로토콜을 분리한다.
DINOv2와 같이 비전 트랜스포머(ViT) 백본을 사용하는 비전 파운데이션 모델(VFM)은 객체 인식 및 시맨틱 분할(semantic segmentation)과 같은 다운스트림 작업에 필수적인 요소가 되었다. 백본의 막대한 연산 요구량으로 인해 엣지 배포를 위해서는 더 작은 아키텍처로의 증류가 필요한 경우가 많다. 특징 기반 지식 증류(KD)는 흔히 교사-학생 간 격차(teacher-student gap) 문제를 겪는데, 이는 학생 모델이 제한된 용량으로 인해 교사의 복잡한 특징 맵을 모방하는 데 어려움을 겪기 때문이다. 이러한 병목을 완화하기 위해, 우리는 ViT 특징 기반 지식 증류를 위한 학습 커리큘럼인 Dyna-DINO: 적응형 표현 앵커링을 통한 효율적인 ViT 증류를 제안한다. 교사의 중간 특징 맵을 점진적으로 난이도가 높아지는 일련의 목표로 활용함으로써, 우리의 커리큘럼은 학생이 더 높은 수준의 추상화를 다루기 전에 기초적인 표현을 구축할 수 있도록 한다. 실험 결과는 이 패러다임이 다양한 학생 모델 크기와 데이터셋 규모에 걸쳐 적응적 난이도 선택을 통해 수렴을 크게 가속화함을 보여준다. 우리의 커리큘럼을 적용하면, Dyna-DINO로 증류된 ViT-S는 ImageNet-100에서 90.1%의 정확도를 달성하며, 이는 기준선 대비 +12.24%의 향상이다. ImageNet-1K에서 Dyna-DINO는 Oxford 및 Paris 데이터셋의 인스턴스 검색(instance retrieval) 작업에서 각각 +3.9% 및 +6.09%의 향상을, 시맨틱 분할 작업에서 +1.93%의 향상을 달성했으며, 분류 작업에서도 의미 있는 성능 향상을 보였다. 또한, 이 커리큘럼은 학습 초기 단계에서 교사 추론에 조기 종료(early-stopping)를 적용함으로써 ImageNet-100에서 학습 FLOPs의 25.1%와 학습 시간의 21%를 절감할 수 있게 한다. 코드는 https://github.com/KevinZ0217/Dyna-DINO 에서 확인할 수 있다.
전통적인 메리sso팔린회분학(melissopalynology)은 표본당 종종 4–6시간이 걸리는 등 시간이 많이 들고 주관적인 과정이다. 우리는 칠레 남중부 Bio Bio 지역 꽃가루의 정밀한 계수, 분류, 형태학적 분석을 위해 H_\infty 강건 기계 제어와 고급 심층 학습 파이프라인을 통합한 자동화 고처리량 현미경 시스템을 제시한다. 우리 시스템은 현저 객체 검출에 U^2-Net을, 분류에는 심층 메트릭 학습(Deep Metric Learning)으로 학습한 DINOv2 Vision Transformer 백본을 사용한다. 그래디언트 가중 어텐션(Gradient-Weighted Attention)을 통합함으로써 모델은 사람이 해석 가능한 질감 및 진단적 특징 주석을 제공한다. 이 시스템은 분류 재현율 95.8%를 달성하며, 수동 전문가 분석 대비 처리 속도가 최소 6배 이상 빨라진다.
결막 사진의 자동 등급 분류는 트라코마 유병률 조사의 비용과 변동성을 줄일 수 있지만, 공통 프로토콜 하에서 최신 사전학습 시각 표현, 경량 특징 적응, 학습 목표 설계의 상대적 가치는 아직 확립되지 않았다. 본 연구는 공개 UCSF/Lietman 컬렉션의 1,546장 이미지를 사용하여 Trachomatous Inflammation-Follicular(TF) 대 Normal의 이진 분류에 대한 통제된 평가를 제시한다. 이미지는 제로샷 tarsal-conjunctiva 분할, 정렬, 크롭, 표준화를 위해 OPTED 파이프라인으로 처리한다. 먼저 공통 분류 파이프라인으로 여섯 가지 사전학습 백본을 비교한 뒤, DINOv2 ViT-B/14에 네 가지 경량 적응 메커니즘을 평가한다. 계층화 5-fold 교차 검증 하에서, Efficient Channel Attention(ECA)과 focal-plus-center 손실을 적용한 DINOv2는 91.66 +/- 0.97% 정확도, 90.69 +/- 1.10% macro-F1, 96.06 +/- 0.71% AUC를 달성했다. ECA는 학습 가능 매개변수 다섯 개만 추가하면서 훨씬 큰 대안과 동등한 성능을 냈다. 목적 함수 ablation은 ECA가 손실 함수 전반에서 plain DINOv2를 일관되게 개선하지 않았음을 추가로 보여주었으며, 분산이 가장 낮은 91.66% 정확도는 교차 엔트로피와 center loss로 얻었다. 전반적으로, 파인튜닝된 DINOv2 표현이 예측 성능의 대부분을 제공했고, ECA는 학습 목표에 따라 효과가 달라지는 매우 매개변수 효율적인 정제를 제공했다. 결과 워크플로는 활성 트라코마 이미지 분류를 위한 재현 가능한 벤치마크를 제공한다.
경도 인지 장애(MCI)는 알츠하이머병에 앞서는 인지 저하의 중요한 초기 단계이지만, 신경심리학적 그림 그리기 검사를 통한 자동 감지는 데이터 부족, 클래스 불균형, 임상 경계 부근의 진단 모호성으로 인해 근본적인 제약을 받고 있다. 기존 방법론은 계산 비용이 큰 완전 파인튜닝 하이브리드 아키텍처로 이러한 제약을 우회하려 하나, 공간적 설명 가능성을 모델의 고유한 속성이 아닌 사후 근사로만 다룬다. 우리는 고정된 DINOv2-Small 모델을 세 가지 모달리티별 학습 가능한 프롬프트 토큰으로 적응시키는 매개변수 효율적 프레임워크를 제안한다. 학습 가능한 매개변수 119만 개로 동작하며, 각 토큰은 소스 이미지 패치 토큰에 대한 공유 크로스-어텐션 층에서 쿼리로 작동한다. 핵심적으로, 공간적 설명 가능성은 이러한 어텐션 맵을 통해 직접 달성되며, 이는 아키텍처의 구조적 결과이다. 이후 과제 조건 임베딩이 어텐션 모듈을 통해 융합되어 피험자별 모달리티 수준 중요도를 정량화한다. 경계 모호성을 처리하기 위해 MoCA 적응형 Focal Loss를 도입하였으며, 이는 연속적 인지 점수를 학습 목표, 손실 변조, 적응형 표본 가중에 통합하여 표준 소프트 라벨 접근법을 엄격하게 일반화한다. 계층화 5-겹 교차 검증에서 제안 아키텍처는 MCI 클래스 F1 0.641과 AUC 0.795를 달성하여, 계산 비용이 더 큰 ResViT 기준선보다 MCI 클래스 F1에서 0.110 더 높은 성능을 보인다.
실내에서 운용되는 모바일 로봇은 긴 시간 간격, 큰 시점 변화, 심각한 조명 변화 이후에도 이전에 관찰한 객체를 재식별해야 한다. 이는 여전히 어려운 문제로 남아 있다. 다중 객체 추적 방법은 보행자와 차량의 단기 연관을 비디오 속도로 처리하도록 최적화되어 있고, 사람 및 차량 재식별 접근법은 지속적인 메모리 메커니즘이 부재하며, 최신 비디오 객체 분할 기법은 전역적 아이덴티티 일관성을 강제하지 않고 반응적 방해 객체 필터링에 의존한다. 이러한 한계를 해결하기 위해 우리는 REMIND를 제안한다. REMIND는 카메라 포즈나 깊이 정보 없이 단안 RGB 영상만으로 일반 실내 객체의 장기 다중 객체 재식별을 수행하도록 설계된 온라인 추적기이다. 인간이 명시적인 자기 위치 추정보다 축적된 외관 친숙도와 공간적 맥락에 의존한다는 시각 인지 분야의 근거에 착안하여, REMIND는 동결된 DINOv3 특징, 이중 뱅크 다중 프로토타입 외관 메모리, 부분 및 배경 수준 디스크립터, 공간적 동시 출현을 활용하는 이웃 맥락 추론 모듈, 그리고 모호성 인식 안전장치를 갖춘 결합 헝가리안 할당을 통합한다. 제어된 재방문과 밀집된 동일 클래스 혼잡 환경을 특징으로 하는 전용 실내 데이터셋에서 REMIND는 IDF1 90.35%를 달성하였으며, 이는 최신 비디오 객체 분할 기준선보다 약 20포인트, 강력한 탐지 기반 추적 기준선보다 36포인트 이상 높은 수치이다. ScanNet++에서는 모든 씬에 걸친 엔드투엔드 탐지를 제외한 모든 설정에서 최고 IDF1을 달성하였으며, 해당 설정에서는 탐지 기반 추적 기준선이 소폭 앞서지만 REMIND는 여전히 더 정확하게 아이덴티티를 연관 짓고 복원한다. 또한 REMIND는 모든 씬을 완료한 반면, 비디오 객체 분할 기준선은 YOLO 탐지 적용 시 66.9%의 씬에서 GPU 메모리를 소진한다. 전체 시스템, 평가 프레임워크, 데이터셋은 공개 배포된다.
암묵적 신경 표현(implicit neural representation)은 다양한 장면에서의 3D 재구성에서 유망한 결과를 보여왔다. 그러나 기존 방법들은 빠르게 움직이는 객체를 모델링하는 데 어려움을 겪거나, 도시 환경에서의 대규모 카메라 자기운동(ego-motion)을 처리하지 못하는 한계가 있다. 이로 인해 대규모 도시 장면의 합성 뷰 품질이 저하된다. 본 논문에서는 더욱 실용적이고 도전적인 문제인 대규모 장면과 빠르게 이동하는 차량으로 인한 문제를 동시에 해결하고자 한다. 이를 위해 동적 객체의 로컬 장면 표현과 전체 도시 장면의 글로벌 표현을 학습하는 점진적 장면 그래프 네트워크 아키텍처를 제안한다. 이 점진적 학습 아키텍처는 시간 윈도우 내의 프레임으로 학습된 새로운 로컬 장면 그래프를 동적으로 할당하며, 윈도우 크기를 자동으로 결정함으로써 표현을 임의적으로 큰 장면으로 확장할 수 있다. 또한, 관찰에 따르면 동적 객체의 학습 뷰는 빠른 움직임으로 인해 상대적으로 희소하며, 이는 동적 객체의 재구성 정확도를 크게 저하시킨다. 이를 해결하기 위해 파운데이션 모델 네트워크를 활용하여 잠재 코드(latent code)를 인코딩한다. 구체적으로, 시각 파운데이션 모델 DINOv2의 일반화 능력을 활용하여 외관 및 형상 코드를 추출하고, 희소 뷰 동적 입력 처리를 위한 사전 모델링 능력을 강화하고자 대규모 도시 장면 객체 데이터셋으로 네트워크를 학습한다. 이와 병행하여, 객체의 주파수 스펙트럼을 정규화하는 주파수 변조 모듈을 도입함으로써 주파수 영역 관점에서 희소 이미지 입력 모델링의 어려움을 해결한다. 실험 결과, 제안 방법은 다양한 장면에서 최첨단 수준의 뷰 합성 정확도, 객체 조작, 그리고 장면 로밍 능력을 달성함을 입증한다.
기존의 표현 유사도 분석(RSA, CKA 등)이 두 표현 공간 간의 정렬만 측정하고 단일 표현의 구조가 특징 기저(feature basis)의 서로 다른 부분 집합에서도 신뢰성 있게 복원되는지는 평가하지 못한다는 한계를 지적하며, 이를 정량화하는 새로운 축인 기하학적 안정성(geometric stability)과 메트릭 Shesha를 제안한다. 7개 도메인 2,463개 인코더 구성 및 170개 비전 모델 실험에서 Shesha는 CKA와 독립적인 정보를 제공함을 보였으며, DINOv2가 전이성(transferability)에서는 상위권이지만 기하학적 안정성에서는 하위 사분위에 위치하는 해리(dissociation) 현상을 포착하였다.
SAGE는 시각적 장소 인식(VPR)에서 공간 컨텍스트와 시각적 유사성 간의 동적 상호작용을 학습에 반영하지 못하는 기존 방법의 한계를 극복하기 위해, 경량 Soft Probing 모듈과 에포크마다 재구성되는 온라인 지오-시각 그래프, 그리고 탐욕적 가중 클리크 확장 샘플러를 결합한 통합 학습 파이프라인을 제안한다. 고정된 DINOv2 백본과 파라미터 효율적 파인튜닝으로 구현된 SAGE는 8개 벤치마크에서 최첨단 성능을 달성하며, 특히 4096D 전역 디스크립터만으로 SPED에서 100% Recall@10을 기록한다.
자동화된 이미지 인식은 생태학적 모니터링을 수동 어노테이션 너머로 확장하기 위해 점점 더 많이 활용되고 있으나, 생태학자들은 새로운 사이트에서의 안정적인 배포에 얼마나 많은 레이블링 작업이 필요한지에 대한 근거 기반 지침이 부족하다. 우리는 비전 시스템을 해양 서식지 간에 전이할 때 레이블링 작업량과 인식 정확도 사이의 트레이드오프를 정량화하는 의사결정 프레임워크를 제안한다. 벤치마크는 5개 데이터셋, 3개 대양, 3개 분류군(어류, 산호, 무척추동물)을 포괄하며, 그레이트 배리어 리프와 프랑스령 폴리네시아의 열대 암초에서 온대 덴마크 피오르드까지 다양한 환경을 아우른다. 우리는 4가지 인식 모델(DINOv2, CLIP, ResNet-50, EfficientNet-B4)을 4가지 적응 전략(선형 프로빙(linear probing), LoRA, Visual Prompt Tuning, 전체 미세조정) 하에, 세 가지 프로토콜에 걸쳐 평가하였다: 20개 리프 사이트에 걸친 서식지 내 전이(240회 실행), 난이도 그래디언트를 따른 크로스 데이터셋 지리적 전이(40회 실행), 그리고 클래스당 0~100개의 레이블된 샘플을 사용한 퓨샷 적응 곡선(648회 실행). 동결된 자기지도 파운데이션 특징(DINOv2 + 선형 분류기, 학습 가능한 파라미터 1,538개)은 학습 가능한 파라미터 수가 4자릿수 더 많은 완전 미세조정된 합성곱 베이스라인과 적어도 동등하게 미관측 리프 사이트에 일반화되었으며, 종 진단적이고 서식지-불변적인 표현을 학습한 반면, 베이스라인은 새로운 사이트에서 실패하는 서식지-특화 지름길을 인코딩하였다. 종당 10~20개의 레이블된 이미지만으로도 새로운 사이트에서 안정적인 인식을 배포하기에 충분하였으며, 이는 어노테이션 작업량을 대략 한 자릿수 수준으로 줄이는 것이다. 해결책. 새로운 사이트로 확장하는 프로그램은 동결된 오픈 파운데이션 모델(DINOv2)을 단순 선형 분류기와 결합하고 종당 10~20개의 이미지만 어노테이션함으로써—사이트당 약 1~4시간—안정적인 인식을 배포할 수 있다. 이 프레임워크는 프로그램이 사이트, 생태계, 플랫폼 전반에 걸쳐 예상 정확도 대비 레이블링 작업량을 예산화할 수 있게 해준다.
DINOv3의 공간 인식 시각 특징과 MobileCLIP2의 텍스트 임베딩(embedding)을 경량 프로젝션 헤드로 공유 잠재 공간에 매핑하는 제로샷(zero-shot) 이상 탐지(ZSAD) 프레임워크 LiZAD를 제안하며, 기존 최신 모델 대비 메모리 61.5%, 파라미터 74.6% 절감과 3.02배 속도 향상을 달성한다. VisA, BTAD, MPDD, MVTec-AD 벤치마크에서 평균 P-AUROC를 6.4%p만 희생하면서도 NVIDIA Jetson NX/AGX 에지 디바이스 실제 생산 라인 배포에 성공했다.
Technical Report for ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge: Leveraging DINOv3 for Robust Outdoor Scene Understanding in Field Robotics
ICRA 2026 필드 로봇 공학 워크샵의 GOOSE 2D 세밀한 의미론적 분할 챌린지는 64개 클래스의 세밀한 분류 체계와 11개의 평가 대상 비공백 거친 범주에 대해 오프로드 이미지의 밀집 의미론적 분할을 평가합니다. 우리는 이 챌린지의 1등 솔루션을 제시합니다. 우리의 솔루션은 두 가지 상호 보완적인 개선 사항으로 구성됩니다: (a) 자기 지도 DINOv3 ViT-L/16 백본(backbone), ViT-Adapter, Mask2Former 마스크 분류(mask-classification) 디코더를 결합하고 전역 [CLS] 토큰에 거친 범주 보조 손실(auxiliary loss)을 적용한 네트워크 수준 설계; (b) 멀티 스케일 및 수평 뒤집기 테스트 타임 증강(test-time augmentation)과 Codabench 점수를 사용하여 선택된 상위 3개 체크포인트의 앙상블(ensemble)을 기반으로 하는 추론(inference) 시간 집계 전략입니다. 우리의 방법은 69.32%의 세밀한 클래스 mIoU와 83.81%의 범주 수준 mIoU로 구성된 공식 종합 점수 76.57%를 달성했으며, 최종 단계 리더보드에서 1위를 차지했습니다: www.codabench.org/competitions/14257/#/results-tab.