Few-shot Action Recognition with Implicit Temporal Alignment and Pair Similarity Optimization
원문 초록
Few-shot learning aims to recognize instances from novel classes with few labeled samples, which has great value in research and application. Although there has been a lot of work in this area recently, most of the existing work is based on image classification tasks. Video-based few-shot action recognition has not been explored well and remains challenging: 1) the differences of implementation details among different papers make a fair comparison difficult; 2) the wide variations and misalignment of temporal sequences make the video-level similarity comparison difficult; 3) the scarcity of labeled data makes the optimization difficult. To solve these problems, this paper presents 1) a specific setting to evaluate the performance of few-shot action recognition algorithms; 2) an implicit sequence-alignment algorithm for better video-level similarity comparison; 3) an advanced loss for few-shot learning to optimize pair similarity with limited data. Specifically, we propose a novel few-shot action recognition framework that uses long short-term memory following 3D convolutional layers for sequence modeling and alignment. Circle loss is introduced to maximize the within-class similarity and minimize the between-class similarity flexibly towards a more definite convergence target. Instead of using random or ambiguous experimental settings, we set a concrete criterion analogous to the standard image-based few-shot learning setting for few-shot action recognition evaluation. Extensive experiments on two datasets demonstrate the effectiveness of our proposed method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
아이슬란드 수어 고립 수어 인식: 저자원 환경에서의 실험
Isolated Sign Language Recognition for Icelandic Sign Language: Experiments in a Low-resource Setting
본 논문은 아이슬란드 수어(\'ITM)에 대한 고립 수어 인식(ISLR) 최초의 실험을 제시한다. 아이슬란드어–\'ITM 이중 언어 온라인 사전에서 파생된 데이터셋인 \'ITM SignWiki를 사용한다. 이 데이터셋은 실제로 저자원 환경에 해당한다. 1,845개의 비디오가 849개 클래스를 이루며, 이 중 86%는 예시가 단 두 개뿐이어서 전체 과제는 사실상 서로 다른 수어 사용자 간의 원샷(one-shot) 인식이 된다. 어휘 크기가 점차 커지는 세 가지 과제(22개, 117개, 849개 클래스)에서 두 가지 오픈소스 ISLR 프레임워크인 OpenHands와 SPOTER를 비교하고, 세 가지 포즈 추정기와 두 가지 형태의 교차 언어 전이(cross-lingual transfer)를 평가한다. \'ITM 데이터만 사용할 경우 세 과제 모두에서 SPOTER가 OpenHands보다 우수한 성능을 보였으며, MediaPipe 포즈가 AlphaPose나 SDPose보다 더 좋은 결과를 냈다. 가장 큰 성능 향상은 교차 언어 전이에서 나타났다. \'ITM으로 파인튜닝하기 전에 미국 수어 데이터로 SPOTER를 사전학습하면 정확도가 14~24%p 상승하여 세 과제에서 각각 72.7%, 47.9%, 22.6%에 도달했으며, 다른 여섯 개 수어의 데이터를 활용한 다국어 학습은 전체 과제에서 OpenHands의 정확도를 1.41%에서 28.86%로 끌어올렸다. 실용화 수준에는 크게 못 미치지만, 이 결과는 자원이 더 풍부한 수어로부터의 전이가 극저자원 수어에 유망함을 시사한다. 두 프레임워크를 각각 수정한 버전을 공개한다.
ALPINE: 매개변수 및 샘플 효율적인 퓨샷 학습을 위한 적응형 위치 추정
ALPINE: Adaptive Localization for Parameter- and Sample-Efficient Few-Shot Learning
퓨샷 학습(Few-shot learning) 연구는 대규모 연산 자원이 없는 실무자들에게 현실적인 제약인 정확도 도달에 필요한 매개변수 및 학습 샘플 예산에 대한 관심은 제한적인 채, 주로 정확도만으로 평가됩니다. 본 논문에서는 고정된 가보르(Gabor) 에지 에너지 유도와 윈도우 기반의 콘텐츠 적응형 패치 위치 추정기(patch locator)를 결합한 퓨샷 이미지 분류를 위한 초경량(22,249-34,917개 매개변수) 공간-관계형 아키텍처를 제시합니다. 엄격하게 통제된 동일 에피소드 예산(iso-episode-budget) 프로토콜(250회 메타 학습 에피소드, 5개 표준 시드, 시드당 600회 평가 에피소드) 하에서, 본 아키텍처는 CIFAR-FS와 MiniImageNet 모두에서 Prototypical Networks, Relation Networks, MAML 대비 모든 5개 시드에 걸쳐 일관된 5-샷(5-shot) 정확도 향상을 달성하는 동시에, 어떠한 기준선보다 27-53% 적은 매개변수를 사용합니다. 또한 더 적은 학습 에피소드에서 수렴하고, 접하지 않은 세분화된 도메인(CUB-200-2011 조류, 재학습 없음)으로 더 잘 일반화되며, 세 기준선 모두에 비해 50% 폐색(occlusion) 및 25% 공간 이동(spatial translation)에 더욱 견고합니다. 추론 시 관계 토큰을 0으로 설정하거나 관계 토큰을 완전히 배제하고 재학습하는 일련의 반증 절제 연구(falsification ablations)를 통해 아키텍처의 쌍별(pairwise) 관계 연산이 존재하긴 하지만 성능의 주된 동인은 아니며, 콘텐츠 적응형 패치 위치 추정기가 핵심 동인임을 보여줍니다. 우리는 약 22-35k 매개변수 근처에서 진정한 정확도 안정 상태(plateau)를 나타내는 용량 탐색(capacity sweep) 결과와 함께 이를 솔직하게 보고하며, 재현성을 위해 전체 시드 수준의 결과와 체크포인트 해시를 공개합니다.
교차 도메인 퓨샷 분류를 위한 학습이 필요 없는 스펙트럴 트랜스덕티브 정제
Training-Free Spectral Transductive Refinement for Cross-Domain Few-Shot Classification
고정된(frozen) 시각적 특징을 사용하는 퓨샷 인식(few-shot recognition)은 도메인 시프트(domain shift)와 원샷(one-shot) 지도 학습 상황에서 특히 취약한데, 이 경우 레이블이 지정된 단일 이미지만으로는 해당 클래스에 대한 신뢰할 수 있는 추정을 하기 어렵다. 우리는 인코더를 재학습하거나 소스 도메인을 증강하지 않고, 순전히 테스트 시점에서만 이러한 취약성을 얼마나 줄일 수 있는지를 탐구한다. 우리는 전체 서포트-쿼리 에피소드(support-query episode)의 기하학적 구조를 활용하는, 학습이 필요 없는 트랜스덕티브 추론 규칙인 스펙트럴 트랜스덕티브 정제(Spectral Transductive Refinement, STR)를 제안한다. 고정된 임베딩(embedding)이 주어지면, STR은 결합된 k-최근접 이웃(k-nearest-neighbour) 그래프를 구성하고, 에피소드를 정규화된 라플라시안(normalized-Laplacian) 스펙트럴 좌표계로 매핑한 뒤, 레이블이 지정된 서포트로부터 클래스 대표값을 초기화하고, 의사 레이블(pseudo-label)이 부여된 쿼리를 이용해 이를 반복적으로 정제한다. 우리는 두 가지 프로토콜 하에서 STR을 평가한다. 고정된 ResNet-18 특징을 사용한 통제된 구성 요소 연구(component study)에서, 스펙트럴 정제는 다섯 개의 시프트된 도메인 전반에 걸쳐 단일 프로토타입 스펙트럴 초기화 대비 일관되게 성능을 향상시키며, 서포트 추정치가 가장 취약한 원샷 환경에서 가장 큰 성능 향상을 보인다. 이어서 우리는 표준 miniImageNet 사전학습(pre-training) ResNet-10 백본을 사용하여 8개의 확립된 타깃 도메인에 걸쳐 STR을 최근의 교차 도메인 퓨샷 학습(Cross-Domain Few-Shot Learning, CD-FSL) 기법들과 비교 벤치마킹한다. 전적으로 추론 시점에서만 동작함에도 불구하고, STR은 비교 대상 기법들 중 가장 높은 1샷 평균 성능을 달성하며, 5샷에서도 소스 도메인에 대한 대규모 메타 학습 증강(meta-training augmentation)에 의존하는 접근법들과 견줄 만한 경쟁력 있는 성능을 유지한다. STR이 트랜스덕티브 방식이라는 점을 고려하여, 우리는 해당 설정을 명시적으로 보고한다. 진단 분석(diagnostics) 결과, STR의 성능 향상은 추가된 프로토타입 용량(prototype capacity)이 아니라 스펙트럴 좌표에서의 반복적 정제에 기인하며, 프로토타입 용량은 우리의 설정에서 비활성 상태로 유지된다.
건축 도면의 원샷 해치 패턴 인식을 위한 커넥톰 제약 초파리 모델 기반 능동적 시각 샘플링
Active Visual Sampling with a Connectome-Constrained Fly Model for One-Shot Hatch Recognition in Architectural Drawings
건축 도면은 반복되는 해치(hatch) 패턴을 통해 재료 분류를 부호화합니다. 본 연구에서는 모션에 대해 사전학습(pre-training)된 커넥톰(connectome) 제약 초파리 시각 신경망을 태스크 맞춤형 가중치(weight) 업데이트 없이 원샷(one-shot) 해치 매칭을 위한 기술자(descriptor)로 용도 변경할 수 있는지 테스트합니다. 각 64 x 64 패치는 8개의 스캔 궤적에 걸쳐 이동(translate)되며 57개 세포 유형에 걸쳐 요약됩니다. 이후 쿼리 기술자는 클래스당 하나의 범례 스트립과 매칭됩니다. CubiCasa5K 형상을 기반으로 구축된 합성 벤치마크(benchmark)의 400개 개발 시트에서, 동결된 초파리 파이프라인은 0.857의 면적 가중 정확도에 도달하고 확장된 범례를 사용할 경우 0.910에 도달합니다. 동일 밝기 방향 조건에서는 11개 픽셀 통계량이 0.299를 기록한 데 반해 0.840에 도달하며, 가보르 뱅크(Gabor bank)는 0.900에 도달합니다. 드리프트(drift)를 반복되는 정지 프레임으로 대체하면 결합된 동일 조건 점수가 0.089 [0.066, 0.112] 감소합니다. 그러나 수용체 전용 기술자가 0.891에 도달하고, 태스크 학습된 5,888개 매개변수(parameter)의 CNN이 평균 0.959를 기록하므로, 현재의 증거는 전이(transfer) 및 능동적 샘플링의 유용성을 뒷받침하지만 생물학적 배선의 이점을 뒷받침하지는 못합니다. 저자들은 프로젝트 기록 결과와 재계산된 검증 결과를 구분하고 소규모 실제 도면 감사(audit)를 보고합니다. 따라서 뒷받침되는 주장은 좁은 범위에 한정됩니다. 즉, 모션 지향적 생물학적 비전은 건축 해치 매칭을 위한 유용한 텍스처 표현으로 용도 변경될 수 있으나, 위상수학적 기여와 엔드투엔드(end-to-end) BIM 유용성은 여전히 미해결 과제로 남아 있습니다.
소수 샘플 클래스 점진적 학습을 위한 지역적 단축 완화
Alleviating Regional Shortcuts for Few-Shot Class-Incremental Learning
소수 샘플 클래스 점진적 학습(FSCIL)은 기본 클래스를 잊지 않으면서 소수의 샘플만으로 새로운 클래스를 점진적으로 학습하는 것을 목표로 한다. 그러나 현재 방법들은 새로운 클래스 샘플을 기본 클래스로 잘못 분류하는 경향을 보이며, 우리는 이것이 새로운 클래스 샘플에서 기본 클래스를 구별하는 영역에 과도하게 집중하기 때문임을 발견했다. 본 연구에서는 해석과 해결을 위한 근본 메커니즘을 탐구한다. 먼저 새로운 클래스 샘플에서 전이되고 재사용되는 공간적 패턴을 분석하기 위한 구성적(compositional) 관점을 제시한다. 이어서 광범위한 실험과 이론적 분석을 통해, 모델의 기본 클래스 학습에 단축(shortcut)이 존재하며, 이것이 자연스럽게 가장 구별력 있는 영역(primitive)에만 과도하게 집중하는 현상을 형성함을 경험적·이론적으로 확인한다. 우리는 이를 지역적 단축(regional shortcut)이라고 부른다. 마지막으로, 이 해석에 기반하여 이 문제를 해결하기 위해 두 primitive 집합(공통 집합과 구별적 집합)을 학습하는 구성적 학습(compositional learning) 기반 방법을 제안한다. 이 방법은 모델이 기본 클래스와 새로운 클래스 인식을 위해 공통 primitive 집합을 학습하고 활용하도록 제약함으로써 지역적 단축을 완화한다. 표준 FSCIL 벤치마크에 대한 광범위한 실험은 우리 접근법의 효과를 보여주며, 정확도와 해석 가능성 모두에서 기존 최첨단 방법 대비 일관된 성능 향상을 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.