arXiv:2307.07046

A metric learning approach for endoscopic kidney stone identification

Jorge Gonzalez-Zapata, Francisco Lopez-Tiro, Elias Villalvazo-Avila, Daniel Flores-Araiza, Jacques Hubert, Andres Mendez-Vazquez, Gilberto Ochoa-Ruiz, Christian Daul

제출 2023-07-13

원문 초록

Several Deep Learning (DL) methods have recently been proposed for an automated identification of kidney stones during an ureteroscopy to enable rapid therapeutic decisions. Even if these DL approaches led to promising results, they are mainly appropriate for kidney stone types for which numerous labelled data are available. However, only few labelled images are available for some rare kidney stone types. This contribution exploits Deep Metric Learning (DML) methods i) to handle such classes with few samples, ii) to generalize well to out of distribution samples, and iii) to cope better with new classes which are added to the database. The proposed Guided Deep Metric Learning approach is based on a novel architecture which was designed to learn data representations in an improved way. The solution was inspired by Few-Shot Learning (FSL) and makes use of a teacher-student approach. The teacher model (GEMINI) generates a reduced hypothesis space based on prior knowledge from the labeled data, and is used it as a guide to a student model (i.e., ResNet50) through a Knowledge Distillation scheme. Extensive tests were first performed on two datasets separately used for the recognition, namely a set of images acquired for the surfaces of the kidney stone fragments, and a set of images of the fragment sections. The proposed DML-approach improved the identification accuracy by 10% and 12% in comparison to DL-methods and other DML-approaches, respectively. Moreover, model embeddings from the two dataset types were merged in an organized way through a multi-view scheme to simultaneously exploit the information of surface and section fragments. Test with the resulting mixed model improves the identification accuracy by at least 3% and up to 30% with respect to DL-models and shallow machine learning methods, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02704v1cs.AI공통 태그 Metric Learning, Few-Shot Learning

대규모 환경에서의 레이블 효율적 시계열 분류: 반사실적 귀속을 적용한 이중 스트림 OSSE-LSTM

Label-Efficient Time Series Classification at Scale: A Dual-Stream OSSE-LSTM with Counterfactual Attribution

시계열 데이터는 산업 장비, 웨어러블 기기, 전력망, 임상 모니터 등에서 엄청난 규모로 끊임없이 생성되지만, 주석 작업은 여전히 수작업에 의존하며 비용이 많이 들고 전문가를 필요로 합니다. 따라서 대규모 시계열 분석의 결정적인 병목은 데이터 양이 아니라 레이블의 양이며, 실무자가 마주하는 질문은 구체적입니다. 즉, 분류기가 실용성을 갖추려면 클래스당 몇 개의 예시에 레이블을 지정해야 하는가입니다. 본 연구에서는 레이블 공간이 고정되어 사전에 알려져 있으며, 클래스당 단 K개의 레이블된 예시만으로 결정 규칙을 구성해야 하는 조건에서 이 문제를 직접 탐구합니다. 우리는 데이터셋별 커널 튜닝 없이도 다중 스케일 모티프 추출을 수행하는 Squeeze-and-Excitation 재보정 결합 Omni-Scale CNN과, 전역적 시간적 맥락을 포착하는 양방향 LSTM을 결합한 에피소드식 메트릭 학습(metric learning) 프레임워크인 Dual-Stream OSSE-LSTM을 제안합니다. 두 스트림은 독립적으로 정규화된 후 프로토타입 지향 임베딩으로 융합됩니다. 또한 소수의 레이블로부터 도출된 결정은 설명 가능해야 하므로, 개별 분류기 로짓 대신 타깃 클래스와 반대 클래스 간의 프로토타입 마진을 귀속시키고 그 결과 맵을 인코더 업데이트 없이 테스트 시점 프로토타입 개선을 위한 소프트 마스크로 재사용하는 반사실적 통합 그래디언트(C-IG)를 도입합니다. 19개의 단변량 UCR 데이터셋에서 OSSE-LSTM은 모든 서포트 크기에서 가장 높은 평균 정확도와 데이터셋별 승수를 달성했으며, 해당 범위 전반에 걸쳐 정확도가 0.36%포인트 범위(96.36-96.72%) 내에서 안정적으로 유지되었습니다. 가장 낮은 성능의 구성조차 비교 대상 기준선 모델이 임의의 K에서 기록한 최고 결과(93.99%)를 상회합니다.

arXiv:2609.28290v1cs.CL공통 태그 Metric Learning, Knowledge Distillation

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.27988v1cs.CV공통 태그 Metric Learning, Knowledge Distillation

비전 트랜스포머 특징 공간을 위한 태스크 유도 리만 메트릭

Task-Induced Riemannian Metrics for Vision Transformer Feature Spaces

비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/

arXiv:2609.22323v1cs.CV공통 태그 Metric Learning, Few-Shot Learning

ALPINE: 매개변수 및 샘플 효율적인 퓨샷 학습을 위한 적응형 위치 추정

ALPINE: Adaptive Localization for Parameter- and Sample-Efficient Few-Shot Learning

퓨샷 학습(Few-shot learning) 연구는 대규모 연산 자원이 없는 실무자들에게 현실적인 제약인 정확도 도달에 필요한 매개변수 및 학습 샘플 예산에 대한 관심은 제한적인 채, 주로 정확도만으로 평가됩니다. 본 논문에서는 고정된 가보르(Gabor) 에지 에너지 유도와 윈도우 기반의 콘텐츠 적응형 패치 위치 추정기(patch locator)를 결합한 퓨샷 이미지 분류를 위한 초경량(22,249-34,917개 매개변수) 공간-관계형 아키텍처를 제시합니다. 엄격하게 통제된 동일 에피소드 예산(iso-episode-budget) 프로토콜(250회 메타 학습 에피소드, 5개 표준 시드, 시드당 600회 평가 에피소드) 하에서, 본 아키텍처는 CIFAR-FS와 MiniImageNet 모두에서 Prototypical Networks, Relation Networks, MAML 대비 모든 5개 시드에 걸쳐 일관된 5-샷(5-shot) 정확도 향상을 달성하는 동시에, 어떠한 기준선보다 27-53% 적은 매개변수를 사용합니다. 또한 더 적은 학습 에피소드에서 수렴하고, 접하지 않은 세분화된 도메인(CUB-200-2011 조류, 재학습 없음)으로 더 잘 일반화되며, 세 기준선 모두에 비해 50% 폐색(occlusion) 및 25% 공간 이동(spatial translation)에 더욱 견고합니다. 추론 시 관계 토큰을 0으로 설정하거나 관계 토큰을 완전히 배제하고 재학습하는 일련의 반증 절제 연구(falsification ablations)를 통해 아키텍처의 쌍별(pairwise) 관계 연산이 존재하긴 하지만 성능의 주된 동인은 아니며, 콘텐츠 적응형 패치 위치 추정기가 핵심 동인임을 보여줍니다. 우리는 약 22-35k 매개변수 근처에서 진정한 정확도 안정 상태(plateau)를 나타내는 용량 탐색(capacity sweep) 결과와 함께 이를 솔직하게 보고하며, 재현성을 위해 전체 시드 수준의 결과와 체크포인트 해시를 공개합니다.

arXiv:2609.23758v1cs.CV공통 태그 Metric Learning, Few-Shot Learning

교차 도메인 퓨샷 분류를 위한 학습이 필요 없는 스펙트럴 트랜스덕티브 정제

Training-Free Spectral Transductive Refinement for Cross-Domain Few-Shot Classification

고정된(frozen) 시각적 특징을 사용하는 퓨샷 인식(few-shot recognition)은 도메인 시프트(domain shift)와 원샷(one-shot) 지도 학습 상황에서 특히 취약한데, 이 경우 레이블이 지정된 단일 이미지만으로는 해당 클래스에 대한 신뢰할 수 있는 추정을 하기 어렵다. 우리는 인코더를 재학습하거나 소스 도메인을 증강하지 않고, 순전히 테스트 시점에서만 이러한 취약성을 얼마나 줄일 수 있는지를 탐구한다. 우리는 전체 서포트-쿼리 에피소드(support-query episode)의 기하학적 구조를 활용하는, 학습이 필요 없는 트랜스덕티브 추론 규칙인 스펙트럴 트랜스덕티브 정제(Spectral Transductive Refinement, STR)를 제안한다. 고정된 임베딩(embedding)이 주어지면, STR은 결합된 k-최근접 이웃(k-nearest-neighbour) 그래프를 구성하고, 에피소드를 정규화된 라플라시안(normalized-Laplacian) 스펙트럴 좌표계로 매핑한 뒤, 레이블이 지정된 서포트로부터 클래스 대표값을 초기화하고, 의사 레이블(pseudo-label)이 부여된 쿼리를 이용해 이를 반복적으로 정제한다. 우리는 두 가지 프로토콜 하에서 STR을 평가한다. 고정된 ResNet-18 특징을 사용한 통제된 구성 요소 연구(component study)에서, 스펙트럴 정제는 다섯 개의 시프트된 도메인 전반에 걸쳐 단일 프로토타입 스펙트럴 초기화 대비 일관되게 성능을 향상시키며, 서포트 추정치가 가장 취약한 원샷 환경에서 가장 큰 성능 향상을 보인다. 이어서 우리는 표준 miniImageNet 사전학습(pre-training) ResNet-10 백본을 사용하여 8개의 확립된 타깃 도메인에 걸쳐 STR을 최근의 교차 도메인 퓨샷 학습(Cross-Domain Few-Shot Learning, CD-FSL) 기법들과 비교 벤치마킹한다. 전적으로 추론 시점에서만 동작함에도 불구하고, STR은 비교 대상 기법들 중 가장 높은 1샷 평균 성능을 달성하며, 5샷에서도 소스 도메인에 대한 대규모 메타 학습 증강(meta-training augmentation)에 의존하는 접근법들과 견줄 만한 경쟁력 있는 성능을 유지한다. STR이 트랜스덕티브 방식이라는 점을 고려하여, 우리는 해당 설정을 명시적으로 보고한다. 진단 분석(diagnostics) 결과, STR의 성능 향상은 추가된 프로토타입 용량(prototype capacity)이 아니라 스펙트럴 좌표에서의 반복적 정제에 기인하며, 프로토타입 용량은 우리의 설정에서 비활성 상태로 유지된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.