경로 지정 희소 오토인코더를 통한 언어적 정보와 준언어적 정보의 얽힘 분리
Disentangling Linguistic and Paralinguistic Information with Routed Sparse Autoencoders
한국어 초록
자기지도 학습(self-supervised learning) 기반 음성 인코더는 공유되고 얽힌 표현 공간 내에 언어적 정보와 준언어적(paralinguistic) 정보를 함께 포함합니다. 본 연구에서는 TopK 희소 오토인코더(sparse autoencoder)를 경로별 지도(route-specific supervision) 및 교차 요인 적대적 학습(cross-factor adversaries)과 결합합니다. 동결된 SPEAR 및 WavLM 인코더 전반에서 독립적인 프로브(probe)를 통해 요인별 유지 및 억제를 확인했습니다. 언어적 정보는 언어 경로에서 더 강하게 유지되는 반면, 화자 신원, 감정, 운율을 포함한 준언어적 요인은 준언어 경로에 유지되고 언어 경로에서는 대폭 감소합니다. LibriSpeech에서 학습된 경로 구성은 표현 측 재학습 없이도 MSP-Podcast에서도 지속됩니다. 특징(feature) 공간에서의 경로 개입은 변경되지 않은 경로가 전달하는 정보를 대부분 보존하면서 교체된 요인을 추가로 전이합니다. 이러한 결과는 인코더, 말뭉치(corpora), 독립 프로브 및 표현 수준 개입 전반에서 일관된 경로 선택적 분리가 이루어짐을 보여줍니다.
원문 초록
Self-supervised speech encoders contain linguistic and paralinguistic information in a shared, entangled representation space. We combine a TopK sparse autoencoder with route-specific supervision and cross-factor adversaries. Across frozen SPEAR and WavLM encoders, independent probes show factor-specific retention and suppression: linguistic information remains stronger in the linguistic route, while paralinguistic factors, including speaker identity, emotion, and prosody, are retained in the paralinguistic route and substantially reduced in the linguistic route. The route organisation learned on LibriSpeech persists on MSP-Podcast without representation-side retraining. Feature-space route interventions further transfer the swapped factor while largely preserving the information carried by the unchanged route. These results show consistent route-selective separation across encoders, corpora, independent probes, and representation-level interventions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비전 트랜스포머에서 레지스터 및 고노름 패치 토큰의 기능적 역할 규명
Decoding the Functional Roles of Register and High-Norm Patch Tokens in Vision Transformers
DINOv2와 같은 자기지도학습 비전 트랜스포머(Vision Transformer, ViT)는 풍부한 시각적 표현을 학습하지만, 내부 토큰들의 기능은 여전히 명확히 이해되지 않고 있습니다. 최근 아키텍처들은 배경 영역에서 발생하는 고노름(high-norm) 이상치 패치 토큰을 줄이기 위해 전용 레지스터 토큰을 도입했으나, 두 토큰 유형 모두 의미적 및 기능적 역할이 완전히 규명되지 않았습니다. 본 논문에서는 DINOv2의 레지스터 토큰 및 이상치 토큰 활성화에 희소 오토인코더(SAE)를 학습시켜 이러한 역할들을 분석합니다. 자동화된 해석 가능성 파이프라인, UMAP 클러스터링, CLIP 공간 교차 검증을 통해 레지스터 토큰 특징이 고수준 의미론적 개념과 더 강하게 연관되어 있음을 발견했습니다. 반면 이상치 토큰 특징은 저수준의 구조적, 배경적 및 질감 위주의 패턴과 더 자주 연관됩니다. 나아가 인과적 절제(causal ablation) 실험은 상당한 기능적 비대칭성을 드러냅니다. 즉, 활성화가 가장 높은 레지스터 유래 특징을 교란하면 표현 코사인 유사도가 48.17% 감소하는 반면, 이상치 유래 특징을 교란하면 단 0.31%만 감소합니다. 종합적으로, 본 연구 결과는 자기지도학습 ViT에서 토큰 전문화(token specialization)의 증거를 제공합니다.
얽힘이 격차의 하한을 규정할 때: 오디오 이해 모델의 인구통계적 공정성 감사 및 보정
When Entanglement Lower-Bounds Disparity: Auditing and Repairing Demographic Fairness in Audio Understanding Models
음성 기술은 일부 목소리에 불리하게 작용한다. 흑인 화자에 대해서는 인식 오류가 거의 두 배 더 자주 발생하며, 제2언어 억양과 고령 화자에 대해서는 정확도가 떨어진다. 우리는 TRIAD를 제안한다. 이는 제어 가능한 텍스트 음성 변환을 통해 120개 텍스트, 24개의 렌더링된 인구통계적 음성 프로파일(성별, 연령대, 억양), 10가지 표현 스타일을 교차하는 감사 그리드로, 콘텐츠 및 affect와 지각된 인구통계 속성을 분리한다. 10개의 오픈 가중치(open-weights) 인코더에 대해 축 충실도(axis-fidelity) 함수적, 부분공간 간 주각(principal-angle) 누출, 그룹 조건부 격차를 정의한다. 한 명제는 평균 프로브(probe) 격차가 우리가 측정하는 동일한 집계 음성-의미 누출 $\Lambda$와 함께 증가함을 증명하고, 한 따름 정리는 최대 누출이 활성 영역 내 최악의 경우 격차를 강제함을 보인다. 측정된 평균제곱 프로브 격차는 $\Lambda$를 추적한다(Pearson r = 0.93), 블랙박스 프로토콜은 두 개의 폐쇄형(closed-source) 모델에서 동일한 특성을 드러낸다. ORCA는 축별 대조(contrastive) 헤드, 직交성(orthogonality) 페널티, 그룹 균형 샘플링을 결합한 어댑터로, 누출을 72% 줄이고 격차를 대략 절반으로 줄인다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
자기지도 음성 모델을 이용한 L2 발음 편차 측정용 원어민 기준 좌표 기하학
A Native-Reference Coordinate Geometry for L2 Pronunciation Deviation Using Self-Supervised Speech Models
호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습
Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition
예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
In submission