arXiv:2609.04381v2 cs.CV

스캔 유래 클래스 프로토타입은 무엇을 더하는가? 동결된 파운데이션 모델 특징 기반 인식에서 감독, 프로토타입 내용, 쿼리 프로토콜 분리하기

What Do Scan-Derived Class Prototypes Add? Disentangling Supervision, Prototype Content and Query Protocol in Recognition over Frozen Foundation Features

Chenxi Tao, Hong-In Won, Seung-Kyum Choi

제출 2026-09-03

저자 비고

arXiv Comments

35 pages, 7 figures, 14 tables. Revised version with a new title; adds prototype controls, matched supervision references, a second backbone, paired query protocols, a third dataset and an external experiment on Hyperspherical Prototype Networks

한국어 초록

스캔(scan)은 레이블이 지정된 이미지와 기하학적 참조(geometric reference)를 제공한다. 우리는 스캔 유래 프로토타입 행렬(prototype matrix)이 지도학습 헤드(supervised head)의 고정 출력층 역할을 하는 인식기(recognizer)에서 이들의 기여를 분리한다. T-LESS, HOPE, 그리고 직접 수집한 18개의 산업용 부품(industrial parts)에서, 우리는 실제(real), 무작위(random), 정확히 순열된(exactly permuted) 프로토타입, 매칭된 기하 정보 없는 분류기(geometry-free classifier), 더 강력한 외형 규칙(appearance rule), 그리고 쌍을 이룬 배경 프로토콜(paired background protocol)을 테스트한다. 실제 배경 쿼리(real-background query)를 사용한 DINOv2-giant와 MetaCLIP-H 전반에서, 실제 프로토타입이 두 대조군(control) 중 어느 쪽보다도 융합 정확도(fused accuracy)에서 앞서는 최대 우위는 1퍼센트포인트이다; 더 큰 차이는 대조군에 유리하게 나타나며, 암 평균(arm mean) 기준 최대 2.8포인트에 달한다. DINOv2-giant를 사용한 HOPE에서, 헤드만 단독으로는 정확한 순열(exact permutation) 대비 2.8포인트 높다(95% 구간: 0.8-4.7); 이 우위는 융합(fusion) 단계에서는 나타나지 않으며 MetaCLIP-H에서도 관찰되지 않는다. DINOv2-giant에서, 매칭된 로지스틱 회귀(logistic regression)는 T-LESS에서 융합 성능과의 차이가 0.5포인트 이내이며, HOPE와 직접 수집한 부품에서는 융합 성능을 초과한다. 흰색 컷아웃(white cutout)과 비교했을 때, 실제 HOPE 쿼리 배경은 이미지-프로토타입 정확도(image-prototype accuracy)를 DINOv2-giant에서 43포인트, MetaCLIP-H에서 13포인트 낮춘다. 이 감사(audit)는 프로토타입 내용, 레이블 감독(label supervision), 쿼리 프로토콜을 분리한다.

원문 초록

A scan supplies labeled images and a geometric reference. We separate their contributions in a recognizer whose scan-derived prototype matrix acts as a supervised head's fixed output layer. On T-LESS, HOPE and 18 self-collected industrial parts, we test real, random and exactly permuted prototypes, matched geometry-free classifiers, stronger appearance rules and paired background protocols. Across DINOv2-giant and MetaCLIP-H with real-background queries, the largest fused-accuracy advantage of the real prototypes over either control is one percentage point; larger differences favor controls, by up to 2.8 points in arm means. On HOPE with DINOv2-giant the head alone is 2.8 points above exact permutations (95% interval: 0.8-4.7); this advantage does not reach fusion and is not observed on MetaCLIP-H. On DINOv2-giant, matched logistic regression comes within 0.5 points of fusion on T-LESS and exceeds it on HOPE and the self-collected parts. Against white cutouts, real HOPE query backgrounds lower image-prototype accuracy by 43 points on DINOv2-giant and 13 on MetaCLIP-H. The audit separates prototype content, label supervision and query protocol.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.04381v2
  2. arXiv:2609.04381v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27710v3cs.CV공통 태그 Representation Learning, Few-Shot Learning

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2610.10991v1cs.CV공통 태그 Representation Learning, dinov2

세분화된 이미지 검색을 위한 영역 인지 CLS 토큰 증강

Region-Aware CLS Token Augmentation for Fine-Grained Image Retrieval

이미지 검색 방법은 종종 비전 트랜스포머의 [CLS] 토큰과 같이 이미지에서 추출된 단일 글로벌 의미 서술자(semantic descriptor)에 의존합니다. 그러나 이미지의 모든 의미 정보를 단일 서술자에 압축하려는 시도는 특히 세분화된(fine-grained) 검색 작업에서 다운스트림 검색 성능을 저하시킬 수 있습니다. 본 연구에서는 최신 비전 트랜스포머의 의미 토큰(글로벌 [CLS] 토큰 및 4개의 레지스터 토큰)을 신중하게 선택된 공간 토큰 집합으로 증강하여, 각 의미 토큰에 포착된 콘텐츠의 특성을 나타내는 공간 영역 표현을 포착하고자 합니다. 우리는 객체 및 부위 기반 표현을 창발적으로(emergently) 학습하는 레지스터 토큰이 포함된 DINOv2-reg 모델을 활용합니다. 각 "단서(cue)" 토큰([CLS] 및 각 레지스터 토큰)에 대해 "버디(buddy)" 이미지 패치 토큰을 찾고 N x N 패치 영역을 추출하여 일련의 국소화된 관심 영역(ROI) 토큰 집합을 생성합니다. 우리의 접근 방식은 외부 바운딩 박스나 현저성(saliency) 모듈 없이, 순수하게 의미 토큰을 공간 표현 영역과 매칭함으로써 중요한 관심 영역을 자동으로 포착합니다. 나아가 이러한 토큰들을 ColBERT에서 영감을 받은 다중 벡터 검색 프레임워크에 통합하여, 모든 패치 임베딩을 유지하는 막대한 저장 비용을 피하면서 토큰별 정렬(alignment) 메커니즘을 통한 세분화된 매칭을 가능하게 합니다. 광범위한 실험을 통해 우리는 다음을 발견했습니다: (1) 레지스터 토큰은 [CLS] 토큰을 보완할 수 있는 유용한 세분화된 세부 정보를 인코딩합니다. (2) 자동으로 풀링된 ROI 토큰은 세분화된 식별력을 더욱 향상시킵니다. (3) 소규모 토큰 집합을 사용한 다중 벡터 검색은 대규모 검색에서도 다루기 쉬운 수준을 유지하면서 DINOv2-reg 단일 벡터 기준선 대비 성능을 개선합니다. 코드는 https://github.com/IdhcbIan/Augmenting_CLS_with_ROI_tokens 에서 확인할 수 있습니다.

arXiv:2610.00006v1cs.CV공통 태그 Representation Learning, dinov2

창발적 객체 바인딩은 유한한 공간적 지평을 가진다

Emergent Object Binding Has a Finite Spatial Horizon

사전학습된 비전 트랜스포머(Vision Transformer)는 두 이미지 패치가 동일한 객체에 속하는지 여부를 인코딩합니다. 이 IsSameObject 신호는 동결된 패치 임베딩(embedding)에서 높은 정확도로 디코딩할 수 있으며, 이는 자기지도 사전학습(self-supervised pre-training)만으로도 객체 바인딩(object binding)이 창발(emerge)함을 시사합니다. 본 논문에서는 이러한 단일 정확도 수치가 해당 신호의 구조를 가리고 있음을 보여줍니다. 바인딩은 국소적입니다. 동일한 객체의 두 패치가 바인딩된 것으로 디코딩될 확률은 패치 간의 거리에 따라 단조 감소하며 0이 아닌 하한선(floor)에서 평탄해지는데, 이러한 감쇠는 유한한 길이 스케일을 가진 지수 함수로 잘 설명됩니다. 이러한 감쇠 현상은 객체 크기 전반, 세 가지 프로브(probe) 계열 전반, ADE20K와 COCO 데이터셋 모두, 그리고 DINO 및 CLIP 백본 전반에서 유지되며, 이는 디코더가 아닌 표현(representation) 자체의 특성임을 나타냅니다. 바인딩을 유한한 범위를 갖는 국소적 공간 일관성으로 해석하면 종합 점수로는 설명되지 않던 일련의 동작들을 설명할 수 있습니다. 즉, 바인딩은 큰 객체에서 약화되고, 서로 다른 클래스의 객체보다 동일한 클래스의 구별되는 객체를 덜 안정적으로 분리하며, 객체의 부분들을 전체와 그룹화합니다. 반면에 객체 크기를 통제하면 가림(occlusion)에 의해서는 영향을 받지 않습니다. 저자들은 교란 변수를 통제하여 각각의 동작을 매핑합니다. 예비 관찰로서 지평(horizon)과 그 하한선은 DINOv2와 DINOv3에서 서로 다른 깊이로 구성되어 있으며, 프로브된 레이어 수가 적고 두 모델 간의 교란 변수가 존재함을 고려할 때 이는 시사점을 주는 결과로서 보고합니다.

arXiv:2609.27679v1cs.LG공통 태그 Representation Learning, Few-Shot Learning

정형 파운데이션 모델은 문맥 내에서 무엇을 계산하는가? 어텐션 게이트 업데이트를 통한 현장 표현 정제

What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates

모든 테이블이 새로운 지도학습 태스크를 정의할 때, 정형 파운데이션 모델(tabular foundation model)은 재사용 가능한 어떤 계산을 학습해야 하는가? 본 연구에서는 현장 표현 정제(in-situ representation refinement)를 개발한다. 이는 서포트 레이블(support label)이 에피소드의 표현 업데이트를 유도하고, 이러한 업데이트가 모델 파라미터를 변경하지 않고도 레이블이 없는 쿼리로 전이되도록 한다. 정규화된 LOO(leave-one-out) 목적식은 서포트 보정과 이에 대한 쿼리 확장을 도출한다. 주요 항은 어텐션(attention) 기반의 읽기와 상태 의존적 스케일링을 분리하며, 이는 선택된 저랭크 특징 상호작용 및 유형화된 메모리를 갖춘 어텐션 게이트 기반의 FFN 없는 문맥 스택인 RefineICL의 동기가 된다. RefineICL-L24는 AMLB29에서 0.93836 OVR-AUC와 0.87173 정확도에 도달한다. 벤치마크 기반의 연장 학습 버전은 38개 데이터셋의 TabArena 스냅샷에서 1644.8 Elo를 달성하여 동일한 평가 하에서 TabPFN-3보다 31.4 Elo 높은 수치를 기록한다. 또한 두 가지 TabZilla 뷰 모두에서 TabPFN-v3 대비 보고된 4가지 지표를 모두 향상시킨다. 동일 조건의 10만 회 업데이트 깊이 그리드에서, 확장된 FFN은 일관된 검증(validation) 이점을 제공하지 못하며 L8에서 최대 추론(inference) 메모리를 60.2% 더 많이 사용한다. 내부 개입 실험에 따르면 서포트 표현은 단순한 정적 레이블 소스 이상임을 보여준다. 즉, 쿼리 출력을 보존한 채 중간 서포트 업데이트 하나를 제거하면 테스트된 72개 에피소드 전체에서 최종 쿼리 교차 엔트로피(cross-entropy)가 증가한다. 종합적으로 이러한 유도 과정과 개입 실험은 어텐션 게이트 업데이트가 문맥 내에서 어떻게 태스크 특화 예측기를 구성할 수 있는지를 설명한다.

arXiv:2609.24565v1cs.CV공통 태그 Representation Learning, Few-Shot Learning

건축 도면의 원샷 해치 패턴 인식을 위한 커넥톰 제약 초파리 모델 기반 능동적 시각 샘플링

Active Visual Sampling with a Connectome-Constrained Fly Model for One-Shot Hatch Recognition in Architectural Drawings

건축 도면은 반복되는 해치(hatch) 패턴을 통해 재료 분류를 부호화합니다. 본 연구에서는 모션에 대해 사전학습(pre-training)된 커넥톰(connectome) 제약 초파리 시각 신경망을 태스크 맞춤형 가중치(weight) 업데이트 없이 원샷(one-shot) 해치 매칭을 위한 기술자(descriptor)로 용도 변경할 수 있는지 테스트합니다. 각 64 x 64 패치는 8개의 스캔 궤적에 걸쳐 이동(translate)되며 57개 세포 유형에 걸쳐 요약됩니다. 이후 쿼리 기술자는 클래스당 하나의 범례 스트립과 매칭됩니다. CubiCasa5K 형상을 기반으로 구축된 합성 벤치마크(benchmark)의 400개 개발 시트에서, 동결된 초파리 파이프라인은 0.857의 면적 가중 정확도에 도달하고 확장된 범례를 사용할 경우 0.910에 도달합니다. 동일 밝기 방향 조건에서는 11개 픽셀 통계량이 0.299를 기록한 데 반해 0.840에 도달하며, 가보르 뱅크(Gabor bank)는 0.900에 도달합니다. 드리프트(drift)를 반복되는 정지 프레임으로 대체하면 결합된 동일 조건 점수가 0.089 [0.066, 0.112] 감소합니다. 그러나 수용체 전용 기술자가 0.891에 도달하고, 태스크 학습된 5,888개 매개변수(parameter)의 CNN이 평균 0.959를 기록하므로, 현재의 증거는 전이(transfer) 및 능동적 샘플링의 유용성을 뒷받침하지만 생물학적 배선의 이점을 뒷받침하지는 못합니다. 저자들은 프로젝트 기록 결과와 재계산된 검증 결과를 구분하고 소규모 실제 도면 감사(audit)를 보고합니다. 따라서 뒷받침되는 주장은 좁은 범위에 한정됩니다. 즉, 모션 지향적 생물학적 비전은 건축 해치 매칭을 위한 유용한 텍스처 표현으로 용도 변경될 수 있으나, 위상수학적 기여와 엔드투엔드(end-to-end) BIM 유용성은 여전히 미해결 과제로 남아 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.