공간 해상도 오믹스 연구에서는 전사체(transcriptomic) 및 후성유전체(epigenomic) 분석을 점점 더 결합하고 있지만, 하위 분석은 여전히 단일 모달리티 파이프라인으로 수행되는 경우가 많다. 본 논문은 LATTICE(Latent Alignment of Tissue-level and Transcriptomic Information for Cross-modal Embedding)를 제안한다. 이는 조화화된 다중모달 특징으로부터 spot 수준 표현을 학습하는 그래프 기반 자기지도 프레임워크이다. LATTICE는 Visium spot당 다섯 개의 정렬된 모달리티 블록을 통합한다: Visium RNA, scMultiome RNA, scMultiome ATAC, spatial ATAC, spatial CUT&Tag. 이러한 모달리티는 통합된 격자(lattice) 표현 안에서 공간 전사체 측정값, 단일세포로 추론한 조절 활성, in situ 크로마틴 및 히스톤 상태를 포착한다. LATTICE는 공간 이웃 그래프를 구성하고, 마스킹 재구성, 교차 모달 정렬, 공간 평활성 목표를 사용해 TransformerConv 인코더를 학습한다. 비식별화된 임상 협력 기관의 사유 11-샘플 흑색종 코호트(총 54,912 spots)에서 LATTICE는 안정적인 최적화 동작, 분석 시드 간 재현 가능한 임베딩, 모든 샘플에 걸친 완전한 다중모달 통합을 보였다. Visium RNA 단독에 scMultiome RNA를 추가하면 11회 실행 전반에서 Space Ranger 클러스터와의 일치도가 크게 향상되었다(조정 랜드 지수[ARI] +0.157, 정규화 상호정보량[NMI] +0.143, 공간 연속성 +0.174). 추가 모달리티는 공간 연속성과 다중모달 유틸리티 점수(MUS)를 더욱 개선했지만, 때로는 RNA 유래 참조 라벨과의 일치도를 낮추기도 했으며, 이는 학습된 임베딩이 전사체 유사성만을 넘어서는 크로마틴 및 조절 구조를 포착했기 때문으로 보인다. 이러한 결과는 LATTICE를 다중모달 공간 오믹스 통합을 위한 실용적이고 경험적으로 뒷받침되는 프레임워크로 자리매김하는 동시에, 더 강한 지도(supervision)와 더 넓은 외부 벤치마킹의 필요성을 부각한다.
대부분의 단일세포 기반 모델은 언어 모델에서 파생되어 각 세포를 유전자 토큰의 시퀀스로 표현한다. 이는 유전자 간 관계와 종종 그 발현 크기를 버린다. 우리는 scVision을 제안한다. 이는 대신 각 세포를 연속 이미지로 렌더링하는 비전 기반 모델이다. 최적 수송(optimal transport)을 사용해 공발현 유전자가 공간적으로 이웃하도록 단일 공유·전조직(pan-tissue) 레이아웃의 고정 위치에 유전자를 배치하고, 전사체(transcriptome)를 유전자 프로그램이 국소 텍스처로 나타나는 이미지로 바꾼다. 7,200만 개의 인간 세포에 대해 마스크드 이미지 모델링(masked image modelling)으로 비전 트랜스포머를 사전학습하고, 미세조정 없이 고정된 인코더를 사용한다. 6개의 독립적 보류(hold-out) 연구에 대한 제로샷 평가에서 scVision은 가장 정확한 세포 유형 주석기이며, 감독 없이 유전자 프로그램을 복원해 기존 기반 모델과 고전적 베이스라인보다 앞선다. 다중 연구 통합에서는 배치 레이블을 한 번도 보지 않았음에도 가장 강력한 토큰 기반 모델과 맞먹는 성능을 내면서 가장 많은 생물학적 구조를 보존한다. 네트워크를 고정한 채 유전자 레이아웃을 치환하면 비전 트랜스포머 자체를 제거하는 것보다 정확도가 더 크게 떨어져, 신호를 담는 것은 네트워크가 아니라 생물학적으로 의미 있는 위치임을 보여준다. 발현 크기와 유전자 관계를 보존함으로써 scVision은 단일세포 표현 학습을 비전 문제로 재구성하여, 이를 컴퓨터 비전(CV)의 성숙한 방법들과 연결한다.
시계열 이상 탐지(TSAD)는 IoT 기반 서비스 시스템의 신뢰성과 보안을 유지하는 데 필수적이다. 기존 방법은 데이터셋마다 별도의 특정 모델을 학습해야 하며, 이는 서로 다른 대상 데이터셋에 대한 일반화 능력이 제한되어 학습 데이터가 부족한 다양한 시나리오에서 이상 탐지 성능을 저해한다. 이러한 한계를 해결하기 위해 파운데이션 모델(foundation model)이 유망한 방향으로 부상했다. 그러나 기존 접근법은 대규모 언어 모델(LLM)을 전용하거나 대규모 시계열 데이터셋을 구축하여 범용 이상 탐지 파운데이션 모델을 개발하는 방식을 취하고 있으며, 여전히 심각한 교차 모달리티 격차 또는 도메인 내 이질성(in-domain heterogeneity)으로 인한 과제에 직면한다. 본 논문에서는 TSAD에 대규모 비전 모델의 적용 가능성을 조사한다. 구체적으로, ImageNet에서 사전학습된 시각 Masked Autoencoder(MAE)를 TSAD 과제에 적용한다. 그러나 MAE를 TSAD에 직접 전이하면 과일반화(overgeneralization)와 제한된 국소 인식(limited local perception)이라는 두 가지 핵심 과제가 발생한다. 이러한 과제를 해결하기 위해 TSAD를 위한 새로운 MAE 기반 프레임워크인 VAN-AD를 제안한다. 과일반화 문제를 완화하기 위해, MAE 처리 전후의 재구성 결과를 통합된 통계 공간으로 매핑하여 이상 패턴으로 인한 불일치를 증폭하는 Adaptive Distribution Mapping Module(ADMM)을 설계한다. 국소 인식의 한계를 극복하기 위해, MAE와 normalizing flow를 결합하여 전역 분포 하에서 현재 윈도우의 확률 밀도를 추정하는 Normalizing Flow Module(NFM)을 추가로 개발한다. 9개의 실세계 데이터셋에 대한 광범위한 실험 결과, VAN-AD는 여러 평가 지표에서 기존 최신(state-of-the-art) 방법들을 일관되게 능가함을 보여준다. 코드와 데이터셋은 https://github.com/PenyChen/VAN-AD 에서 제공한다.
대조 학습은 긍정 샘플이 가깝게 군집화하고 부정 샘플을 분리하도록 유도하여 일관된 의미론적 특징 임베딩을 생성한다. 그러나 기존 대조 학습 방법들은 사용자가 지정한 임의의 커버리지 수준에서 분포-무관(distribution-free) 보장을 제공하는, 의미론적 특징 공간 내 기하학적 집합의 원칙적 구성을 갖추지 못한다. 우리는 학습 가능한 일반화된 초구(hyper-ball) 제약을 갖춘 커버(covering) 집합을 도입함으로써 이 설정으로 컨포멀 예측(conformal prediction)을 확장한다. 우리는 긍정 샘플의 사용자 지정 커버리지를 보장하면서 부정 샘플 배제를 극대화하는 컨포멀 집합을 구성하는 방법을 제안한다. 우리는 부정 배제의 대리(proxy)로서 부피 최소화를 이론적으로 정당화하여, 부정 쌍이 이용 불가능한 경우에도 접근법이 효과적으로 작동하도록 한다. 긍정 포함 보장은 컨포멀 예측의 분포-무관 커버리지 특성을 계승하고, 부정 배제는 홀드아웃 학습 분할에서 최적화된 학습된 집합 기하학을 통해 극대화된다. 시뮬레이션 및 실제 이미지 데이터셋에서의 실험은 표준 거리 기반 컨포멀 베이스라인 대비 개선된 포함-배제 트레이드오프를 보여준다.
외삽(extrapolation) 설정 하에서의 시간적 지식 그래프(TKG) 추론은 시간적 지식 그래프의 역사적 데이터로부터 미래의 시간 스탬프 이벤트(사실)를 예측하는 것에 초점을 맞춘다. 기존 접근 방식 중 강화학습(RL) 기반 다중 홉(multi-hop) 추론 방법은 명시적인 다중 홉 경로 추적을 통해 사람이 해석 가능한 예측을 생성하기 때문에 TKG 추론에서 두드러진다. 그러나 RL 학습 중 보상은 보통 희소하고, 방대하고 시간에 따라 변화하는 행동 공간(action space)으로 인해 탐험이 매우 비효율적이다. 이러한 문제는 효율적인 학습을 저해하고 종종 전반적인 성능을 제한한다. 이러한 과제를 해결하기 위해, 우리는 에이전트에 도달 가능성 인식(reachability-aware) 귀납적 바이어스(inductive bias)를 주입하는 자기지도 사전학습 방법인 RAPTOR(Reachability-Aware Pretraining for Efficient Target-Oriented Path Exploration)를 제안한다. 후보 행동이 목표 엔티티에 도달 가능한지 추정하도록 학습함으로써, RAPTOR는 유망하지 않은 경로에 대한 탐험을 줄이고 하류 RL 미세조정을 위한 강력한 초기화를 제공한다. ICEWS14, ICEWS05-15, ICEWS18 데이터셋에서의 실험 결과는 RAPTOR 사전학습이 학습 효율을 현저히 향상시키고 기존 베이스라인을 일관되게 능가함을 보여주며, TKG 추론을 위한 RL 기반 다중 홉 추론 방법을 강화하는 효과적인 접근법임을 입증한다.
교차 모달 학습(cross-modal learning), 즉 한 모달리티로부터 다른 모달리티를 예측하도록 학습하는 것은, 멀티모달리티를 활용한 자기지도의 기본적인 메커니즘이다. 많은 실용적 응용(예: 가정용 로봇 배포)은 테스트 환경에서 멀티모달 센싱을 가능하게 하는 풍부한 센서 세트를 갖춘 장치를 포함한다. 이는 이러한 장치가 센싱한 멀티모달 데이터에 교차 모달 학습을 적용하여 표현(representation)을 학습할 기회를 제공한다. 발달 심리학의 연구 결과 또한 생물학적 에이전트(agent)가 이를 활용하여 주변 환경에 대한 효과적인 표현을 구축한다는 것을 시사한다. 이를 연구하기 위해, 사용자 장치를 주어진 테스트 환경으로만 제한하는 통제된 설정을 제안한다. 그 결과, 이 특정 테스트 환경에 대해 성능이 우수한 모델을 개발하려는 특화(specialization) 설정이 된다. 이 설정 하에서, 테스트 환경에서 멀티모달 데이터 수집을 수행하고 이를 기반으로 자기지도 사전학습을 수행하는 Test-Space Training(TST)을 개발한다. 동일한 환경에서 다양한 다운스트림(downstream) 과제에 대해 이러한 모델들을 평가한다. 이 설정에서, 테스트 환경에서만 풍부한 멀티모달 데이터를 수집하고 교차 모달 학습을 활용하면, 대규모 인터넷 데이터셋으로 사전학습된 범용(generalist) 모델(예: DINOv2, CLIP)과 경쟁력 있는 결과를 달성할 수 있다는 등 다양한 흥미로운 통찰을 얻는다. 이는 모델 사전학습을 위해 외부의 인터넷 규모 데이터셋이 필요한 정도를 줄이는 대안적 시나리오를 가능하게 한다. 또한 (멀티)모달리티로 데이터를 대체하는 문제와, 사전학습 데이터를 달리함으로써 모델이 테스트 환경에 특화(specialise)하는 능력과 보류(hold-out) 공간으로 일반화(generalize)하는 능력 사이에서 트레이드오프가 어떻게 형성되는지에 대한 흥미로운 논점을 제기하는 일련의 분석 및 ablation을 제시한다.
이미지-포인트 클라우드 정합(Image-to-Point Cloud Registration, I2P)은 지각 및 자율주행 시스템에서 카메라와 LiDAR를 통합하는 데 필수적이지만, 이미지와 포인트 클라우드 간의 모달리티 격차(modality gap)로 인해 높은 정확도와 강한 일반화를 동시에 달성하기 어렵다. 본 논문에서는 LiDAR를 이미징 센서로 취급하는 단순하면서도 효과적인 I2P 방법을 제안한다. 단일 희소 LiDAR 스캔으로부터 Conditional Rectified Flow를 이용해 밀집 LiDAR intensity 이미지를 생성하고, 사전학습된 특징(feature) 매처로 카메라 이미지와 매칭하며, PnP-RANSAC을 통해 6-DoF 상대 자세(relative pose)를 추정한다. 제안 모델은 자기지도(self-supervised) 이미지 완성(completion) 작업으로 사전학습(pre-training)되고 소량의 LiDAR 데이터로 파인튜닝(fine-tuning)되며, 이미지-포인트 클라우드 쌍이나 ground-truth 센서 자세가 필요하지 않아 다양한 LiDAR 및 카메라 구성으로 확장할 수 있다. R3LIVE 데이터셋에서의 실험 결과, 제안 방법은 평균 오차 4.89° / 1.63 m를 달성하여 기존 방법을 능가하며, 단일 정합(registration)을 약 0.68초 만에 완료한다.
산업 이상 탐지는 가능한 모든 결함 유형에 대한 포괄적인 주석에 의존하지 않고 결함 영역을 식별하고 위치를 특정하는 것을 목표로 한다. 최근 비지도 방법들이 우수한 성능을 달성했지만, 대부분은 주로 단일 클래스 설정을 위해 설계되었으며, 다양한 정상 패턴이 과도한 일반화를 초래하고 정상 영역과 이상 영역 간의 변별력을 감소시킬 수 있는 다중 클래스 시나리오에서는 종종 어려움을 겪는다. 본 논문에서는 동결된 사전학습 Swin Transformer V2 인코더와 특징 다양성 보존 재구성 디코더를 활용하는 다중 클래스 비지도 이상 탐지를 위한 재구성 기반 프레임워크인 SwinAD를 제안한다. 계층적 인코더는 의미적으로 풍부한 다중 스케일 특징을 제공하며, 드롭아웃이 포함된 단계별 병목 모듈은 사소한 항등 매핑을 방지하고 정상 패턴의 견고한 재구성을 장려한다. 위치 특정을 더욱 개선하기 위해, 단일 디코딩 분기에 의존하는 대신 상보적인 재구성 가설을 유지하는 특징 다양성 보존 재구성 프레임워크를 도입한다. 그런 다음 인코더 특징과 두 개의 재구성된 특징 간의 불일치를 여러 스케일에 걸쳐 집계하여 최종 이상 맵을 생성한다. MVTec AD, VisA, Real-IAD를 포함한 세 가지 산업 이상 탐지 벤치마크에서 수행된 실험은 SwinAD가 경쟁력 있는 이미지 수준 성능과 강한 픽셀 수준 위치 특정 정확도를 달성하며, 특히 MVTec AD에서 픽셀 수준 AP와 F1에서 눈에 띄게 향상되었음을 보여준다. 이러한 결과는 계층적 Swin 특징과 다양한 다중 스케일 재구성을 결합하는 것이 다중 클래스 비지도 이상 설정에서 픽셀 수준 위치 특정을 상당히 향상시킴을 나타낸다.
본 논문은 PlantCLEF 2026 챌린지의 식생 표본 구역(quadrat) 영상 다종 식물 식별 과제에 대한 DS@GT ARC의 3위 솔루션을 설명한다. 이 과제에서는 시스템이 고해상도(약 3000×3000 픽셀) 구역(plot) 사진에 존재하는 모든 종을 예측해야 하지만, 학습은 개별 식물의 단일 레이블(single-label) 영상으로만 이루어진다. 파이프라인은 각 구역의 다중 스케일 타일 분해에 적용한 파인튜닝(fine-tuning)된 DINOv2 ViT-L/14 분류기를 중심으로 구성되며, 타일별 예측은 FAISS kNN 검색기와 혼합되고, 반복된 구역 방문에 걸친 소스 인지(source-aware) 시간 융합, 학습 데이터로부터 지리적·고도 사전분포를 주입하는 서식지 적합(habitat-fit) 강등(demotion), 그리고 남서 유럽(South-Western Europe) 지리적 마스크로 후처리된다. ablation에서 서식지 적합 강등과 다중 스케일 집계가 개별 기여도가 가장 크다. LUCAS 데이터셋에서 노이즈 학생(noisy-student) 지식 증류(distillation)를 적용한 교차 지역(cross-region) 트랜스포머와, 합성 CLS-도메인 pseudo-quadrat에 대한 label-as-query 트랜스포머 디코더라는 두 가지 상보적인 학습 중심 방향은 유의미한 결과를 내지 못했다. 인스턴스 인지(instance-aware) 분할(segmentation) 크롭을 이용한 추론 시점 증강(inference-time augmentation) 역시 성능을 개선하지 못했다. 최종 제출 결과는 private 리더보드 macro-F1 0.43902(3위; public 0.51096)를 기록했으며, 동일 파이프라인의 미선택 구성은 private 세트에서 0.45를 넘겼다. 코드: https://github.com/dsgt-arc/plantclef-2026.
고정된 자기지도 비전 모델은 일반 객체의 부분들을 정렬할 수 있지만, 전역 레이아웃은 공유되면서 동일인 특이적 외모가 급격히 달라지는 인간 얼굴에 이 대응이 확장되는지는 여전히 불분명하다. 우리는 고정된 DINOv3 특징이 영역 수준의 얼굴 좌표계를 정의하는지 검증한다. 이는 얼굴 특화 학습 없이도 사람과 시간에 걸쳐 눈, 눈썹, 코, 입, 피부, 머리카락이 구분 가능한 특징 공간이다. DINOv3 ViT-L/16 패치 임베딩을 사용하고 FaRL은 얼굴 부위 라벨링 인터페이스로만 사용하여, 200개의 CelebDF-v2 실제 동영상에서 교차 동일인 최근접 이웃 매칭과 시간적 라벨 전파를 평가한다. DINOv3는 제약 없는 교차 동일인 매칭에서 83.0%의 영역 수준 의미 정확도를 달성하며, 23.0%의 면적 가중 무작위 기준선과 비교된다. 또한 학습된 시간적 모듈 없이 95.5%의 시간적 추적 정확도를 기록한다. FaRL 없는 대조군은 0.9%로 붕괴하여, FaRL이 의미적 초기화를 제공하고 DINOv3가 밀집 공간 대응을 제공함을 보여준다. 가장 강한 대응은 중간 층에서 나타난다. 블록 18은 최종 블록의 1.48배에 비해 동일 영역 대 교차 영역 판별 비율 4.93배를 보인다. CLIP ViT-L/14와 대비하면 DINOv3는 전체적으로 작은 우위만 보이지만 해부학적 영역에서 +16.8퍼센트포인트 향상을 보이며, 이는 이미지 수준 대조 감독이 거친 얼굴 레이아웃은 포착하지만 미세한 해부학적 정체성은 포착하지 못함을 시사한다. 이러한 결과는 고정 DINOv3를 영역 수준 얼굴 대응을 위한 강력한 제로샷 표현으로 확립하고, 밀집 얼굴 분석에 가장 유용한 층으로 중간 자기지도 특징을 확인한다.
본 논문에서는 비전 파운데이션 모델이 3D 유클리드 공간의 본질적 성질을 반영하는 표현(representation)을 구성하는지 조사한다. 깊이나 법선(normal)과 같은 이미지 중심적 변수에 대한 회귀(regression)를 통해 비전 특징의 3D 인지도를 탐색(probe)했던 선행 연구와 달리, 우리는 시각 특징 공간의 구조와 유클리드 변환 $SE(3)$ 군(group) 사이의 관계를 조사한다. 위상(topological)적·기하(geometric)적 관점 모두에서 이 관계를 평가하는 탐색기(probe) 집합을 제안한다: 특징 이웃과 공간 위상(topology) 사이의 정렬(alignment)을 측정하는 상호 이웃(mutual neighborhood) 지표, 그리고 정적 장면에서 잠재 변위(latent displacement)로부터 카메라 운동(camera motion)의 기하(geometry)에 대한 선형 접근성(linear accessibility)을 검증하는 Poincaré Adapter. 올바르게 탐색하면, 원칙적으로 직접적인 3D 지도학습 또는 능동적 에이전시(active agency) 없이 학습된 자기지도(self-supervised) 비전 모델이 3차원 유클리드 공간과 놀랄 정도로 강하게 상관된 잠재 부공간(latent subspace)을 보유함을 보인다. 이 통찰을 바탕으로, 명시적 3D 재구성 없이 잠재 공간에서만 시각 주행거리 측정(visual odometry)과 위치 추정(localization)을 수행하는 "Latent-Space Navigation" 기법의 새로운 클래스를 제안한다.
대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining)은 대규모 대조 학습을 통해 공유 표현 공간을 학습한다. 그러나 전역 일관성 정규화를 적용하는 기존 방법들은 핵심적인 과제를 간과한다: 이미지와 텍스트 간의 고유한 정보 비대칭성이다. 캡션은 일반적으로 이미지의 특정 측면만을 기술하므로, 유사한 시각적 내용을 가진 이미지가 완전히 상이한 텍스트 내용 및 의미 정보와 짝지어질 수 있다. 결과적으로 전역 정규화는 캡션이 서로 다른 측면을 기술하는 시각적으로 유사한 이미지들 사이에 부적절하게 제약을 가하고, 표현 공간에 의미적 왜곡을 도입한다. 우리는 이러한 1:N 구조를 존중하도록 일관성 정규화를 재구성하는 프레임워크인 AspectCLIP을 제안한다. AspectCLIP은 먼저 텍스트 유사도에 기반하여 학습 샘플을 속성 클러스터로 분할하여 측면 일관성이 있는 그룹을 식별하고, 각 클러스터 내에서는 완전한 순환 일관성을 적용하면서 클러스터 간 정규화는 프로토타입 수준의 비교로 제한한다. 이러한 측면 가이드 정규화는 이미지와 텍스트가 일관된 측면을 기술할 때만 엄격한 기하학적 정렬을 강제하고, 상이한 측면들 사이에서는 유연성을 허용한다. 하위 과제에 대한 광범위한 실험을 통해 AspectCLIP이 기존 방법을 일관되게 능가하고 더 구조화된 표현 공간을 달성함을 보여준다.
깊은 다중 뷰 클러스터링은 놀라운 진전을 이루었지만, 실제 응용에서 복잡한 노이즈에 취약한 문제가 남아 있다. 기존의 노이즈 강건 방법들은 데이터를 완전히 깨끗하거나 완전히 손상된 것으로 취급하는 단순한 이진 가정에 주로 의존한다. 이는 오염 강도가 데이터 전체에 걸쳐 연속적으로 변하는 이질적 관측 노이즈가 널리 존재한다는 점을 간과한다. 이 격차를 메우기 위해, 우리는 Quality-Aware Robust Multi-View Clustering(QARMVC)이라는 새로운 프레임워크를 제안한다. 구체적으로 QARMVC는 정보 병목(information bottleneck) 메커니즘을 사용해 뷰 재구성을 위한 고유 의미론을 추출한다. 노이즈가 의미론적 무결성을 훼손하고 재구성을 방해한다는 통찰을 활용하여, 그로 인한 재구성 불일치를 이용해 세밀한 오염 강도를 정밀하게 정량화하고 인스턴스 수준의 품질 점수를 도출한다. 이러한 점수는 계층적 학습 전략에 통합된다. 특징(feature) 수준에서는 품질 가중 대조(contrastive) 목적 함수를 설계해 노이즈 전파를 적응적으로 억제하고, 융합 수준에서는 품질 가중 집계를 통해 고품질의 전역 합의(global consensus)를 구성한 뒤, 이를 상호 정보량 최대화(mutual information maximization)로 지역 뷰를 정렬하고 보정하는 데 활용한다. 다섯 개의 벤치마크 데이터셋에 대한 광범위한 실험에서 QARMVC는 특히 이질적 노이즈 강도 시나리오에서 최신 기준 방법들을 일관되게 능가함을 보여준다.
비전 트랜스포머(ViT)는 합성곱 신경망(CNN)에 내재된 계층적 유도 편향(inductive bias)이 없어, 이론상 모든 층에서 고차원 표현을 유지할 수 있다. 그러나 최근 관측에 따르면 ViT는 종종 "U자형" 엔트로피 프로파일을 자발적으로 나타내는데, 중간 층에서 정보를 압축한 뒤 최종 분류를 위해 다시 확장한다. 본 연구에서 우리는 이 "유도 병목(Inductive Bottleneck)"이 구조적 인공물이 아니라 데이터 의존적 적응임을 보인다. 구성적 복잡도가 서로 다른 데이터셋(UC Merced, Tiny ImageNet, CIFAR-100)에서 DINO로 학습된 ViT의 층별 유효 인코딩 차원(Effective Encoding Dimension, EED)을 분석한 결과, 병목의 깊이가 과제가 요구하는 의미적 추상화와 강하게 상관관계가 있음을 보인다. 텍스처 중심 데이터셋은 전 구간에서 고랭크(high-rank) 표현을 유지하는 반면, 객체 중심(object-centric) 데이터셋은 네트워크가 중간 층에서 고주파(high-frequency) 정보를 억제하도록 유도하여, 의미적 특징을 분리하기 위해 병목을 효과적으로 "학습"한다는 점을 발견한다.
다국어 인코더를 수백 개의 골드 예시만으로 새로운 언어와 새로운 작업에 적응시키는 것은 흔한 저자원 NLP 설정이지만, 두 축은 보통 비용이 큰 언어-작업 미세조정 실행을 통해 융합된다. 우리는 대신 각각 독립적으로 학습한 뒤 가중치 공간에서 재결합할 수 있는지를 묻는다. DeltaMerge-LowRes는 비라벨 단일언어 텍스트로부터 언어 델타 $Δ_L$을, 라벨링된 영어 데이터로부터 작업 델타 $Δ_T$를 학습한 다음, 추론 시 네 가지 규칙 중 하나에 따라 조합한다: 가법적(additive), 활성화 안내(activation-guided), 희소성 인지(sparsity-aware), 그리고 새로운 cross-axis TIES. 새 규칙은 TIES-Merging의 trimming, sign election, 병합 단계를 두 작업 축이 아닌 언어와 작업 축에 맞게 조정한다. 네 가지 작업 계열과 네 개의 아프리카 언어에서 규칙 간 $(Δ_L,Δ_T)$를 고정한 채(평가 셀 158개, 셀당 10,000표본 페어드 부트스트랩) 다음을 확인한다: (i) cross-axis TIES는 4개 언어 중 3개에서 요약 작업에서 chrF +4~+7로 우수하다(chrF 18.59 vs. 작업 전용 13.80); (ii) QA F1을 +2.32, EM을 +2.91 개선한다; (iii) 희소성 인지 병합은 macro-F1 동등 수준에서 분류 ECE를 36% 절감한다. 조합 규칙은 병합된 모델이 무엇을 보존하고, 억제하며, 보정하는지를 실질적으로 바꾼다. 우리는 모든 JSON 추적 데이터와 claim ledger를 공개한다.
L2 음성 평가는 전통적으로 음성학적 평가에 집중해 왔으며, 리듬과 억양 같은 초분절 음성 특징의 채점은 상대적으로 덜 다뤄졌다. 또한 평가 방법은 종종 라벨이 있는 L2 음성 데이터로 학습이 필요해 저자원 환경에서는 적용하기 어렵다. 본 연구에서는 자기지도 WavLM 표현에 대한 DTW(동적 시간 정렬)가 영어와 일본어 L2 음성에서 음성학적 정확도, 리듬, 억양을 평가할 수 있는 텍스트 없는(text-free) 프레임워크를 제공할 수 있는지 조사한다. 결과에 따르면 학습자 음성을 원어민 템플릿과 비교하는 기본적인 DTW 기반 접근법은 전반적 및 문장 수준 음성학적 채점에서 인간 평가자 간 일치도를 능가한다. 리듬의 경우 DTW 정렬 경로의 워핑(warping) 정도를 측정하는 방법을 제안하며, 최우수 방법은 인간 수준 성능에 근접한다. 억양의 경우 운율(prosodic) 잔차에 대한 DTW 거리와 피치(pitch) 및 강도(intensity) 특징을 결합하지만, 일부 과제에서는 성능이 다소 낮게 유지된다. 본 결과는 자기지도 표현이 다면적 발음 평가를 위한 유망한 텍스트 없는 기반임을 시사한다.
강건하고 정확한 신경 디코더는 뇌-컴퓨터 인터페이스 및 폐루프(closed-loop) 실험과 같은 신경기술에 필수적이다. 최근 연구는 스파이크(spike) 수준에서 신경 데이터를 토큰화(tokenization)하면 다중 세션 사전학습(pre-training)을 용이하게 하고 최첨단 디코딩 성능을 달성함을 보여주었다. 그러나 현재 스파이크 기반 모델은 지도 학습(supervised learning, SL)에 국한되어, 행동 라벨이 쌍으로 제공된 데이터셋에서만 학습이 가능하다. 이 한계를 해결하기 위해, 우리는 마스크 오토인코더 기반 공동 학습(MOJO, Masked autOencoder-based JOint training)을 제안한다. 이는 마스크 오토인코딩을 통한 자기지도 학습(self-supervised learning, SSL)과 SL 목적 함수를 공동으로 활용하는 스파이크 토큰화 모델용 학습(training) 프레임워크이다. 우리는 도달 과제(reaching task) 중 원숭이 운동 피질과 시각 및 의사결정 과제 중 다중 영역 쥐 기록을 아우르는 세 개의 스파이킹 데이터셋에서 MOJO를 평가하였으며, 순수 SL로 학습된 모델보다 우수한 성능을 보였다. 이 개선은 라벨이 제한된 데이터로 학습할 때, 특히 새 세션에서 소량의 라벨 데이터만 사용 가능한 퓨샷(few-shot) 파인튜닝(fine-tuning)에서 두드러진다. SSL을 통합하면 더 해석 가능한 뉴런 표현이 형성되어, 해당 과제를 명시적으로 최적화하지 않았음에도 뇌 영역 분류(classification) 및 스파이크 통계 예측 성능이 향상된다. 또한 MOJO가 스파이킹 데이터를 넘어 음성 중 인간 피질전기도(electrocorticography)에도 일반화되며, 순수 SL로 학습된 모델을 계속 능가하고 연속 신호용으로 특별히 설계된 신경 기초 모델(neuro-foundation model, NFM)과 견줄 만한 성능을 달성함을 보인다. 전반적으로 스파이크 토큰화 모델에 SSL을 보강하면 라벨이 부족한 설정에서 성능이 개선되고, 다양한 과제와 종(species)에 걸쳐 라벨 없는 데이터를 활용할 수 있으며, 다른 신경 양식(modality)으로도 일반화된다. 이러한 결과는 NFM 학습 시 더 유연하고 확장 가능한 데이터 활용 방향을 제시한다.
부제와 초록을 번역 규칙에 맞춰 정리했습니다.
```json
{"title_ko": "MetaPerch: 생물음향 파운데이션 모델을 위한 메타데이터 학습", "abstract_ko": "생물음향 파운데이션 모델은 지리적·생태적으로 다양한 데이터를 위해 Xeno-Canto와 같은 대규모 시민 과학 플랫폼에 의존한다. 최근 연구는 이 대규모 데이터로 학습할 때 감독(supervision)만으로도 최첨단(SotA) 종 탐지 모델을 만들 수 있음을 보여주었다. 그러나 이러한 커뮤니티 주도 데이터 허브 내에서 쉽게 이용 가능한 녹음 메타데이터 형태의 미활용 잠재력이 남아 있다. 본 연구에서는 위치와 시간과 같은 메타데이터를 보조 감독 신호로 활용하는 방안을 탐구하여, 모델이 학습된 표현에서 종-메타데이터 상관관계를 활용할 수 있도록 한다. 보조 메타데이터 손실은 발성(vocalization)만으로는 얻을 수 없는 추가 정보를 제공하여, 종 분포 및 음향 도메인 이동에 더 잘 일반화되는 더 풍부하고 견고한 표현을 유도할 수 있다. 이는 실제 수동 음향 모니터링(PAM) 환경에 배포할 때 중요한 과제이다. 우리는 MetaPerch라는 새로운 파운데이션 모델을 제안하며, 이 모델은 여러 도전적인 도메인에서 강력한 종 동정 성능을 달성한다. 또한 17개 생물음향 데이터셋에 대해 9가지 다양한 메타데이터 소스의 효과에 관한 광범위한 실증 연구를 제시한다."}
```
Contrastive Language-Image Pretraining(CLIP) 표현은 코사인 유사도에 의해 지배되는 의미적 임베딩 공간을 형성하며, 이는 내재적인 초구면 기하학을 반영한다. 그러나 기존의 확률적 해석은 일반적으로 가우시안 가정에 의존하는데, 이는 이러한 방향성 및 다중모달 구조를 포착하지 못한다. 우리는 단위 초구면 위에 정의된 von Mises-Fisher(MovMF) 혼합 분포에 기반한 CLIP 잠재 공간을 위한 원칙적인 밀도 모델을 제안한다. 기대-최대화(EM) 알고리즘을 사용하여, 각 혼합 성분이 일관된 의미 개념에 대응하는 확률적 모델을 효율적으로 학습한다. 이 공식화는 초구면 기하학과 자연스럽게 정렬된 닫힌형 가능도를 산출하여, 정확하고 해석 가능한 밀도 추정을 가능하게 한다. 실험적으로, 우리의 모델은 롱테일 및 분포 외(out-of-distribution) 탐지를 크게 개선하고, 각 임베딩을 해석 가능한 개념들의 희소 확률적 조합으로 표현하는 자연스러운 의미 분해를 제공한다. 이러한 결과는 CLIP 잠재 공간이 등방성 가우시안보다는 초구면 의미 혼합으로 더 충실하게 특성화된다는 것을 시사하며, 다중모달 표현을 모델링하고 이해하기 위한 단순하고 기하학적으로 일관된 확률적 프레임워크를 확립한다. 프로젝트 페이지는 https://xiaoyuzhizi.github.io/movmf-clip/ 에서 확인할 수 있다.
여러 해답을 샘플링하고 다수결 답을 반환하는 방식은, 라벨 없이 대규모 언어 모델(LLM)의 추론 정확도를 높이는 가장 신뢰할 수 있는 방법 중 하나이며, 점점 더 많은 방법군이 이 합의(consensus) 신호를 학습 감독(supervision)으로 변환하고 있다. 그러나 기존 접근법들은 합의를 제한된 형태로만 사용한다: 미세조정을 위한 해답 선별 필터, 답변 간 선호도, 또는 강화학습의 스칼라 보상으로, 동의하는 해답들이 담고 있는 정보의 대부분을 버린다. 우리는 CANON(Consensus-ANchored self-distillatiON)을 제안한다. 이는 합의를 밀집적 토큰 수준의 감독으로 변환하는 라벨 없는 학습 방법이다. 각 라벨 없는 프롬프트에 대해 CANON은 여러 해답을 샘플링하고, 다수결 답을 추출한 뒤, 이를 달성하는 해답에 조건을 걸어 고정된 모델 스냅샷을 사용한다. 이 합의-고정(consensus-anchored) 교사는 모델이 자체 롤아웃(rollout)에서 생성하는 모든 토큰을 감독한다. 수학 및 과학 추론 벤치마크 실험에서 CANON은 pass@1을 최대 12포인트 향상시키며, 라벨 없는 강화학습을 7분의 1의 연산량으로 6포인트 능가하고, 정답(gold) 해답에 조건을 건 교사에 근접한다. 풀링된 라벨 없는 데이터로 학습하면 보류(hold-out) 벤치마크로 전이되며, 정답 라벨을 사용하는 학습 방법과 맞먹는다. 분석에 따르면 이러한 개선은 순수한 분포 샤프닝(sharpening)만은 아니다: 학습 후 모델은 이전에 32번 시도해도 풀지 못했던 문제를 해결하고, 다수결 투표 자체의 정확도도 높아진다.