자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.
정확한 지상 기반 구름 분류는 대기 모니터링, 태양광 에너지 발전량 예측, 항공 기상 평가, 기후 관측 시스템에 중요하다. 그러나 신뢰할 수 있는 하늘 이미지 어노테이션은 시간이 많이 소요되며, 특히 구름 유형이 시각적으로 유사하거나 혼합되어 있을 때 더욱 그렇다. 본 연구는 지상 기반 구름 데이터셋(Ground-based Cloud Dataset, GCD)을 사용하여 지상 기반 구름 분류에 대한 심층 학습의 레이블 효율성을 연구한다. 새로운 아키텍처를 제안하는 대신, 제한된 어노테이션 예산 하에서 세 가지 실용적 전략, 즉 지도 전이학습(supervised transfer learning), 불확실성 기반 능동 학습(active learning), 고신뢰도 의사 레이블링(pseudo-labeling)을 벤치마크한다. ImageNet으로 사전학습된 ResNet50을 공통 고정(frozen) 백본으로 사용하며, 학습 레이블의 $1\%$부터 $100\%$까지의 레이블 예산에 대해 다섯 개의 랜덤 시드로 실험을 반복한다. 지도 전이학습은 이미 레이블 효율성이 매우 높다. 테스트 정확도는 레이블 $1\%$일 때 $0.635 \pm 0.018$에서 레이블 $40\%$일 때 $0.730 \pm 0.002$로 증가하여, 전체 레이블 결과인 $0.735 \pm 0.003$에 근접한다. 능동 학습과 의사 레이블링은 지도 샘플링과 대등한 성능을 보이며 일부 지표와 예산에서 소폭의 향상을 제공하지만, 둘 다 전체적으로 크거나 일관된 이득을 주지는 못한다. 진단 분석 결과, 채택된 의사 레이블은 $0.946$에서 $0.977$의 정확도로 신뢰할 수 있으나, 더 쉬운 고신뢰도 하늘 유형 그룹에 편향되어 있다. 반면 불확실성 샘플링은 Mixed 그룹과, 서로 혼동되기 쉬운 Stratocumulus 및 Cumulonimbus 그룹을 포함하여 시각적으로 어려운 그룹을 우선적으로 질의하지만, 이러한 표적 획득은 미미한 향상만을 가져온다. 종합하면, 전이학습은 GCD의 어노테이션 요구량을 크게 줄이는 반면, 단순한 능동 학습 및 준지도 학습 전략은 강력한 지도 학습 기준선 대비 추가적인 이점이 제한적이다.
최소한의 감독으로 심층 학습 네트워크를 학습하는 방법은 광범위한 레이블 데이터에 대한 의존을 줄일 수 있는 잠재력으로 인해 상당한 연구 관심을 받아왔다. 자기 학습(self-training) 방법은 준지도 학습(semi-supervised learning)에서 효과적임이 입증되었지만, 노이즈가 있는 의사 레이블(pseudo label)로 인한 오류에 취약하다. 또한 소수 레이블 분류 문제에 대한 최근 대부분의 접근법은 영어와 같은 자원 풍부 언어를 위해 설계되었거나 과적합에 취약한 복잡한 계단식(cascading) 모델을 포함한다.
노이즈가 있는 의사 레이블과 도메인 적응(domain adaptation)에서 기존 방법이 종종 어려움을 겪는 진정한 저자원 언어적 맥락에서의 소수 레이블 텍스트 분류라는 지속적인 과제를 해결하기 위해, 우리는 Flick을 제안한다. 일반적인 다중 클러스터 의사 레이블링이나 복잡한 계단식 아키텍처에 의존하는 기존 방법과 달리, Flick은 더 넓은 초기 클러스터 집합에서 고신뢰도 의사 레이블을 증류(distillation)하면 의사 레이블 품질을 극적으로 개선할 수 있다는, 특히 언어적으로 다양한 저자원 환경에서 중요한 근본적인 통찰을 활용한다. Flick은 최고 성능의 의사 레이블 클러스터를 식별하고 활용함으로써 기존 의사 레이블링 전략에서 벗어난 새로운 의사 레이블 정제(refinement) 구성 요소를 도입한다. 이 구성 요소는 단일 클러스터 응집성(single-cluster cohesion)에 집중하고 적응형 top-k 선택 메커니즘을 활용하여, 초기의 넓은 집합으로부터 매우 신뢰할 수 있는 의사 레이블을 증류하는 방법을 구체적으로 학습한다. 이 표적화된 정제 과정은 저자원 데이터에 내재된 오류 전파를 완화하는 데 핵심적이며, 소수의 실제 레이블만으로 사전학습된 언어 모델의 견고한 미세조정을 가능하게 한다. 우리는 아랍어, 우르두어, 세츠와나어와 같은 도전적인 저자원 언어와 영어를 포함하는 14개의 다양한 데이터셋에서 Flick의 효과를 입증하여, 그 우수한 성능과 적응성을 보여준다.
최근 CLIP, SAM과 같은 비전 모델은 세분류를 위한 학습 없는(training-free) 분할과 의미 인코딩을 가능하게 한다. 일반적인 접근법은 분할된 이미지 영역의 표현과 해당 레이블의 텍스트 프롬프트 임베딩을 비교하는 것이다. 그러나 정답 레이블(ground-truth labels)을 사용할 수 없을 때, 서로 다른 국소 영역과 CLIP 기반 점수화 전략이 판별적 근거의 선택에 어떻게 영향을 미치는지는 여전히 불분명하다. 본 논문에서는 세분류를 위한 통합 CLIP 기반 레이블 없는 영역 점수화 프레임워크를 제안한다. 이 프레임워크는 SAM으로 생성된 마스크와 무작위 크롭(random crops) 모두를 사용하여 코사인 유사도 기반, 마진(margin) 기반, 엔트로피 기반 점수화 전략을 평가하고, 전역 이미지 임베딩과 국소 영역 임베딩에 기반한 두 가지 레이블 없는 의사 레이블(pseudo-label) 변형을 도입한다. 5개의 세분류 데이터셋에서 실험을 수행하여 서로 다른 영역 생성 방법과 점수화 전략을 체계적으로 비교한다. 결과는 Soft Negative Margin 점수화가 가장 강한 성능을 달성하며, 의사 레이블 점수화가 실제 레이블(true-label) 성능을 밀접하게 근사한다는 것을 보여준다. SAM이 의미적으로 유의미한 마스크를 생성함에도 불구하고, 무작위 크롭 기반 의사 레이블 점수화는 모든 데이터셋에서 SAM 기반 점수화보다 꾸준히 우수한 성능을 보였으며, 이는 의사 레이블이 노이즈가 많을 때 무작위 크롭이 주변 정보를 보존하고 더 안정적인 의미적 문맥을 제공한다는 것을 시사한다. 또한 SAM 마스크는 모든 영역의 임베딩을 집계할 때 이점을 얻는 반면, 무작위 크롭은 더 작은 top-k 부분집합에서 더 나은 성능을 내는 경향이 있다. 이러한 결과는 세분류에 대한 새로운 통찰을 제공한다.
최적 수송(Optimal Transport, OT) 기반 의사 레이블링(pseudo-labeling)은 단문 텍스트 클러스터링 향상을 위한 효과적인 메커니즘으로 자리잡았다. 기존 OT 방법들은 샘플 간 의미적 일관성 모델링이 부족하여 의미적으로 유사한 샘플들에 서로 다른 의사 레이블을 할당할 수 있다. 이러한 잘못된 의사 레이블은 모델이 열등한 클러스터를 생성하게 만들 수 있다. 본 논문은 기존 OT 방법에서 간과된 의미적 일관성 문제를 해결하고 신뢰할 수 있는 의사 레이블을 생성하여 클러스터링을 촉진하는 새로운 단문 텍스트 클러스터링 프레임워크를 제안한다. 구체적으로, 제안된 접근법은 샘플 간 의미적 관계를 포착하기 위한 인스턴스 수준 어텐션(attention) 메커니즘을 설계하고, 이를 OT 공식화에 통합하여 수송 과정에 이웃 의미 인식(neighborhood semantic awareness) 능력을 부여한다. 제안된 OT 공식화를 풀어냄으로써, 샘플 간 의미적 일관성과 샘플-클러스터 전역 구조 정보를 동시에 고려하는 신뢰할 수 있는 의사 레이블이 획득된다. 이 의사 레이블들은 모델(model)이 정확한 클러스터링을 달성하도록 안내하는 감독 신호로 활용된다. 광범위한 실험을 통해 제안된 접근법이 최신 방법들을 능가함을 입증한다. 코드는 https://github.com/YZH0905/CAOT-STC 에서 확인할 수 있다.
코드 스위칭(CS)은 동일한 발화 내에서 언어를 교체하는 현상으로, CS 학습 데이터의 부족으로 인해 자동 음성 인식(ASR)에 심각한 어려움을 초래한다. 본 논문은 CS-ASR에 반복적 의사 레이블링(pseudo-labeling) 학습 접근법을 최초로 적용하여, 레이블이 없는 데이터를 활용해 CS-ASR 성능을 향상시키는 데 있어 그 효과성을 입증한다. 이 접근법은 세 단계로 구성된다: 의사 레이블 생성, 2단계 이중 언어 모델 학습, 그리고 반복적 개선. 먼저 대규모 비레이블 코퍼스에서 의사 레이블을 생성하여 준지도(semi-supervised) 데이터셋을 구축한다. 이 데이터셋은 모델을 사전학습한 후 지도 CS 데이터로 파인튜닝하는 2단계 학습 프레임워크를 지원한다. 반복적 정제를 통해 복잡한 CS 시나리오 처리에 있어 모델의 정확도를 더욱 향상시킨다. 본 접근법은 CS-ASR 시스템을 크게 발전시켜, SEAME의 devman(6.35%) 및 devsge(8.29%) 서브셋에서 혼합 오류율(MER)의 현저한 감소를 달성하였다.
무인 항공기(UAV) 타겟 분할은 객체의 작은 크기, 외관 변화, 복잡한 배경, 그리고 밀집 어노테이션 데이터의 부족으로 인해 여전히 어려운 과제이다. 이러한 요인들은 실제 UAV 응용에서 경량 분할 모델의 성능과 실용적 배포를 저해한다. 이 문제를 해결하기 위해, 본 논문은 경량 분할 네트워크 학습을 위한 의사 레이블(pseudo-label) 생성기로서 SAM3(Segment Anything Model 3)의 활용을 연구한다. 구체적으로, 두 가지 감독 패러다임을 탐구한다: (i) 변경되지 않은 SAM3 생성 마스크를 사용하는 직접 의사 감독, 그리고 (ii) 향상된 마스크 품질을 위해 지역화된 이미지 패치에 SAM3를 재적용하는 정제 전략. 이러한 패러다임을 기반으로, 두 단계의 SAM3 기반 의사 레이블 생성 프레임워크를 제안한다. 첫 번째 단계에서 SAM3는 초기 객체 지역화를 위한 거친 마스크를 생성한다. 지역화된 영역은 이후 패치로 잘려 SAM3에 의해 다시 처리되어 정확한 객체 경계를 가진 세밀한 마스크를 생성하고 오탐지를 제거한다. 생성된 거친 마스크와 세밀한 마스크는 경량 네트워크인 IPS-Seg를 최적화하기 위한 의사 레이블로 사용되며, IPS-Seg는 세 가지 구성 요소로 이루어진다: 특징 추출을 위한 IdentityFormer 백본, 다중 스케일 문맥 집합을 위한 아트러스 공간 피라미드 풀링(Atrous Spatial Pyramid Pooling) 모듈, 그리고 공간 해상도 복원을 위한 PixelShuffle 기반 디코더. 다양한 감독 설정 하에서의 광범위한 실험은 제안된 프레임워크의 효과를 입증한다. 결과는 IPS-Seg가 분할 정확도와 계산 효율성 간의 유리한 트레이드오프를 달성하면서 제안된 의사 레이블 생성 전략으로부터 일관된 이점을 얻음을 보여준다. 이러한 발견은 저레이블 비전 도메인에서 경량의 태스크별 분할 네트워크 학습을 위한 어노테이션 소스로서 대규모 파운데이션 모델의 잠재력을 강조한다.
비지도 도메인 적응(UDA)에서의 적대적 강건성은 노이즈가 많은 의사 레이블과 깨끗한 소스 도메인과 적대적으로 교란된 타겟 도메인 간의 내재적 분포 이동으로 인해 여전히 중요한 과제로 남아 있다. 기존 접근법들은 도메인 적응 모델이 생성한 의사 레이블이 적대적 공격 하에서 분류 오류를 유발하는 경향이 있어, 강건성과 정확도 간의 최적 균형을 달성하지 못하는 경우가 많다. 본 연구에서는 CLIP의 사전학습된 시각 인코더 위에 지도 미세조정(SFT)과 강화학습(RL)을 통합한 2단계 강건 UDA 프레임워크인 SFT+RL을 제안한다. SFT 단계에서는 레이블이 있는 소스 도메인에 대해 PGD 기반 교란을 사용하여 선형 분류기를 적대적으로 미세조정하는 동시에 CLIP의 프로젝션 층을 부분적으로 동결 해제한다. 이를 통해 CLIP의 풍부한 의미론적 사전 지식을 보존하면서 적대적 노이즈에 적응할 수 있다. RL 단계에서는 레이블이 없는 타겟 샘플을 점진적으로 주석 처리하기 위한 신뢰도 기반 의사 레이블링 전략을 도입한다. 의사 레이블은 품질과 커버리지의 균형을 맞추기 위해 감쇠하는 신뢰도 임계값으로 필터링되며, 모델은 깨끗한 소스 샘플과 고신뢰도 타겟 샘플을 결합하여 구성한 복합 데이터셋으로 학습된다. 도메인 간 강건성을 높이기 위해 깨끗한 예제와 적대적 예제의 혼합 배치에 적대적 학습이 적용된다. OfficeHome, PACS, VisDA 세 가지 벤치마크 데이터셋에 대한 종합적인 평가를 통해 제안 방법의 효과가 입증되었다. 특히 SFT+RL은 세 데이터셋 전체에서 깨끗한 정확도 10.2%, 적대적 강건성 15.8%의 평균 향상을 달성하여 기존 최신 기법들을 능가하였다.
과학 계측기 보정(calibration)을 자기지도(self-supervised) 최적화 문제로 재정의하여, 사전 보정 신호나 외부 레이블 없이 원시 측정값에서 검출기 보정 파라미터와 태스크별 예측을 동시에 학습하는 물리 정보 기반 프레임워크를 제안한다. VAMOS++ 자기 분광기에서의 이온 전하 상태 결정 실험을 통해, 원자 질량의 이산적 특성을 활용한 반복적 분수 의사 레이블링(pseudo-labelling)이 정확한 보정과 자동 검출기 상태 모니터링을 동시에 가능하게 함을 입증하였다.
Open-vocabulary object detection (OVD) aims to recognize and localize object categories beyond the training set. Recent approaches leverage vision-language models to generate pseudo-labels using image-text alignment, allowing detectors to generalize to unseen classes without explicit supervision. However, these methods depend heavily on single-step image-text matching, neglecting the intermediate reasoning steps crucial for interpreting semantically complex visual contexts, such as crowding or occlusion. In this paper, we introduce MSPL, a framework that incorporates multi-step visual reasoning into the pseudo-labeling process for OVD. It decomposes complex scene understanding into three interpretable steps-object localization, category recognition, and background grounding-where these intermediate reasoning states serve as rich supervision sources. Extensive experiments on standard OVD evaluation protocols demonstrate that MSPL achieves state-of-the-art performance with superior pseudo-labeling efficiency, outperforming the strong baseline by 9.4 AP50 for novel classes on OV-COCO and improving box and mask APr by 3.2 and 2.2, respectively, on OV-LVIS. Code and models are available at https://github.com/hchoi256/mspl.
실제 문서 처리 시나리오에서 데이터셋은 시간이 지남에 따라 일반적으로 증가하며, 클래스 주석은 지속적인 개선 과정을 거칩니다. 이로 인해 시간이 많이 걸리고 비용이 드는 상당한 재주석(re-annotation) 작업이 발생합니다. 유망한 해결책은 사용 가능한 문서의 작은 부분집합만 수동으로 재주석(re-annotation)하고, 레이블이 있는 데이터와 없는 데이터를 모두 활용하는 준지도 학습(semi-supervised learning) 기법을 적용하는 것입니다. 분류(classification) 문제를 해결하기 위한 다양한 접근 방식이 존재하지만, 문서 레이아웃 분석과 같은 객체 검출(object detection) 인스턴스의 재분류 문제에 대한 적용 사례는 아직 없습니다. 이를 위해 우리는 객체 검출(object detection)을 위한 의사 라벨링(pseudo-labelling) 프레임워크인 경계 상자 라벨 전파(Bounding Box Label Propagation, BBLP)를 제안합니다. 객체 인코더는 객체 검출 샘플의 시각적, 텍스트적, 위치적 임베딩을 통합하여 결합 임베딩(joint embedding)을 생성하며, 이는 플러그 앤 플레이(plug-and-play) 방식으로 부분적으로 주석이 달린 데이터셋에서 라벨 전파(Label Propagation)에 사용할 수 있습니다. 평가 결과에 따르면 제안된 접근 방식은 경계 상자의 고품질 클래스 주석을 생성하는 것으로 나타났습니다. D4LA 레이아웃 분석 데이터셋에서 10%의 레이블된 데이터만 사용하여 완전 지도 학습(fully supervised) 성능의 81.6%에 해당하는 54.0%의 mAP를 달성했습니다. 우리의 연구는 객체 검출(object detection)을 위한 라벨 전파(Label Propagation)의 잠재력을 입증하고, 실제 문서 처리 응용 프로그램에서 수동 주석 작업을 줄이기 위한 기반을 마련합니다.
마이크로 제스처(Micro-gestures, MGs)는 숨겨진 인간 감정을 자주 전달하는 자발적이고 미묘한 신체 움직임이다. 비트리밍(untrimmed) 비디오에서 MG를 인식하는 일은 극도로 낮은 신호 대 잡음비, 심각한 롱테일 클래스 분포, 그리고 대상 간(cross-subject) 평가 시나리오에서 발생하는 본질적인 도메인 이동(domain shift)으로 인해 여전히 매우 어렵다. 본 논문에서는 제4회 MiGA-IJCAI 챌린지 Track 1을 위한 포괄적인 멀티모달 프레임워크를 제안한다. 세밀한 표현을 포착하기 위해, 68개 키포인트 스켈레톤 관절 좌표, 3D 히트맵 볼륨, 고해상도 RGB 시각적 특징을 통합하는 현저성 기반(saliency-guided) 멀티모달 추출 파이프라인을 설계한다. 전반적인 인식 성능을 저해하지 않으면서 테일 클래스를 보호하기 위해, 직교 의미 임베딩 손실(Orthogonal Semantic Embedding Loss)과 결합된 완화된 제곱근 평활 가중치 메커니즘을 도입한다. 더 나아가, 대상 간 일반화 격차를 해소하기 위해 단일 모달 강건성을 크게 향상시키는 비지도 도메인 적응(unsupervised domain adaptation)용 크로스 모달 의사 라벨링(Cross-Modal Pseudo-Labeling, CMPL) 전략을 제안한다. 마지막으로, 후기 융합(late fusion) 시 과신(overconfidence)을 완화하기 위해 온도 스케일 소프트 보팅(temperature-scaled soft-voting) 메커니즘을 적용한다. 광범위한 실험을 통해 제안 프레임워크가 68.13%의 경쟁력 있는 F1-score를 달성하여 4위를 기록함을 입증한다.
연합 지속 학습(FCL)은 통신, 연산, 메모리 및 라벨 가용성과 같은 제한된 자원 하에서 분산 작업 스트림으로부터 학습해야 합니다. 기존 FCL 방법은 종종 반복적인 로컬 최적화, 리플레이, 완전한 지도에 의존합니다. 해석적 대안은 반복적인 학습과 리플레이를 피하지만, 정확도를 높이기 위해 고차원 무작위 특징을 사용하려면 무작위 특징 크기 $M$에 대해 이차적인 통신 비용이 드는 2차 특징 통계인 그람 행렬이 필요합니다. 우리는 그래디언트 기반 업데이트를 압축된 무작위 특징 통계로 대체하는 자원 인식형 해석적 FCL 프레임워크인 FedRAN을 제안합니다. 각 클라이언트는 자신의 그람 행렬에 대한 절단된 SVD 요약을 전송하여, 고정된 랭크에 대해 지배적인 2차 업로드를 $M$에 대해 이차에서 선형으로 줄입니다. 서버는 클라이언트 간 공간적으로 그리고 작업 간 시간적으로 2단계 QR-SVD 부분공간 병합을 수행하고, 닫힌 형식으로 리지 분류기를 풉니다. FedRAN은 프로토타입 기반 의사 라벨링을 통해 라벨 부족 문제를 추가로 지원합니다. CIFAR-100, ImageNet-R 및 VTAB 데이터셋에서 FedRAN은 가장 강력한 기준선 대비 평균 정확도를 최대 4.8%포인트 향상시키고, 최적화 기반 FCL보다 클라이언트당 통신량을 30.6-121.8배 적게 사용하며, 그래디언트 기반 기준선보다 평균 190.3배 더 빠릅니다. 라벨이 20%만 있어도 의사 라벨링은 평균 정확도를 최대 6.61포인트 향상시킵니다. 이러한 결과는 FedRAN이 통신, 연산 및 라벨 제약 조건 하에서 정확하고 자원 효율적인 FCL을 가능하게 함을 보여줍니다. 소스 코드는 https://github.com/JebacyrilArockiaraj/Fed-RAN-SSL에서 확인할 수 있습니다.