Class-Conditional Compression and Disentanglement: Bridging the Gap between Neural Networks and Naive Bayes Classifiers
원문 초록
In this draft, which reports on work in progress, we 1) adapt the information bottleneck functional by replacing the compression term by class-conditional compression, 2) relax this functional using a variational bound related to class-conditional disentanglement, 3) consider this functional as a training objective for stochastic neural networks, and 4) show that the latent representations are learned such that they can be used in a naive Bayes classifier. We continue by suggesting a series of experiments along the lines of Nonlinear In-formation Bottleneck [Kolchinsky et al., 2018], Deep Variational Information Bottleneck [Alemi et al., 2017], and Information Dropout [Achille and Soatto, 2018]. We furthermore suggest a neural network where the decoder architecture is a parameterized naive Bayes decoder.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
병목을 통과하여: Multi-head Latent Attention이 언어 모델에서 콘텐츠와 위치를 어떻게 분리하는가
Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models
DeepSeek-V2에서 도입된 Multi-head Latent Attention(MLA)은 공유 저차원 병목(cKV)을 통해 key-value 쌍을 압축하여, 추론 시 KV-cache를 81% 감소시킨다. 대규모 프로덕션 모델에서 채택되었음에도, 이 병목이 어떤 정보를 보존하거나 폐기하는지, 또는 내부 트랜스포머 회로를 어떻게 재구성하는지에 대한 선행 연구는 없었다. 우리는 MLA에 대한 최초의 포괄적인 메커니즘적 해석가능성 연구를 제시하며, 114M-매개변수 트랜스포머(웹/코드/수학 혼합 데이터로 사전학습, TinyStories로 파인튜닝)를 학습하고 SVD, 어텐션 헤드 분류, linear probing, 및 disruption-attribution 분석을 통해 표현을 분석한다. 주요 발견은 다음과 같다: (1) cKV 병목은 순수한 콘텐츠 표현을 학습하여, 위치 정보는 폐기하면서 개체 동일성(entity identity)을 98% 보존하며, RoPE를 통한 MLA의 콘텐츠-위치 분리를 검증한다; (2) induction head는 표준 MHA에서의 분산된 형성과 달리 단일 층(Layer 12)에 공존한다; (3) 단일 "semantic hub" 층(Layer 15)이 동시에 가장 높은 SVD 유효 순위(effective rank)와 가장 강한 disruption-attribution 점수를 보인다; (4) 병목은 전역적으로 과잉 할당(over-provisioned)되어 있으며, 평균적으로 용량의 46%만 사용한다. 이러한 발견은 MLA가 단순히 어텐션을 수동적으로 압축하는 것이 아니라, 모델이 콘텐츠, 위치, 회로 구조를 조직하는 방식을 재구성함을 시사한다. 우리는 이를 초기 데이터 포인트로 간주하며, Section 5에서 범위 제한을 상세히 기술한다.
뇌-기계 인터페이스에서 신경 디코딩 일반화를 위한 자기지도 일관성 강화 분리 학습
Self-Supervised Consistency Enhanced Disentangled Learning for Neural Decoding Generalization in Brain-Machine Interface
뇌-기계 인터페이스(BMI)는 뇌와 외부 장치 간의 직접적인 통신 경로를 제공하여, 인간이 보조 및 로봇 기술을 제어할 수 있게 하며, 재활, 인간 운동 기능 증강, 인간 중심 로봇 공학 분야에 적용될 잠재력을 지닌다. 그러나 신경 표류(neural drift)로 인해 BMI의 성능은 시간이 지남에 따라 저하되어, 특히 침습적 BMI(iBMI)의 장기적 실용성에 어려움을 초래한다. 기존 해결책은 두 가지 주요 한계를 갖는다: (i) 견고한 신경 표현(representation) 학습의 어려움, (ii) 신경 표류가 운동 파라미터(예: 속도, 방향, 속력)에 따라 달라진다는 점을 간과함. 이러한 한계를 극복하기 위해, 우리는 두 가지 핵심 혁신을 바탕으로 한 신경 디코딩 일반화 프레임워크인 자기지도 일관성 강화 분리 학습(SSCDL)을 제안한다. 먼저, 시뮬레이션된 신경 신호 교란과 함께 새로운 teacher-student 일관성 제약을 사용하여 신경 표류에 불변인 견고한 표현을 학습하는 백본 모델인 일관성 강화 신경 디코더(CND)를 설계한다. 다음, 신경 선호 이론(neural preference theory)에서 영감을 받아 운동 신호를 속도, 방향, 속력으로 분리하는 상보적 분리 일반화(CDG) 메커니즘 하에서 세 개의 전용 CND를 사용한다. 이 분리 학습을 통해 SSCDL은 다양한 신경 선호 관점에서 불변 신경 표현을 포착하여, 일간(cross-day) 일반화를 크게 향상시킨다. 광범위한 실험 결과, SSCDL은 최첨단 디코딩 성능을 달성하며, 높은 견고성과 일간 안정성을 보인다. 이러한 역량은 인간 중심 로봇 및 세밀한 보조 응용 분야에서의 장기 상호작용에 대한 강한 잠재력을 시사한다.
Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델
Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
현재 인식론적 불확실성의 평가는 분포 외 탐지, 능동 학습, 선택적 예측과 같은 과제에 의존한다. 그러나 상호 정보량이나 예측의 분산과 같은 일반적인 인식론적 불확실성 점수는 후회(regret), 즉 예측기가 베이즈 최적 예측기에 비해 갖는 초과 오류를 추정한다. 본 논문은 인식론적 거부 옵션 프레임워크를 바탕으로, 후회를 식별하는 능력으로 인식론적 불확실성을 평가하고 이 평가를 다른 과제들과 비교한다. 반복된 사람 레이블이 있는 데이터셋에서 표준 방법들을 벤치마킹한 결과, 과제마다 방법의 순위가 다르게 나타나며, 한 기준에서는 최상위이고 다른 기준에서는 최하위인 방법 간의 쌍별 순위 역전도 포함된다. 이러한 불일치는 각 과제가 서로 다른 점수를 요구하는 최적 상태에서 이미 나타난다. 선택적 예측을 커버리지, 기대 위험, 후회에 대한 제약 최적화로 정식화하여, 최적 점수가 실제 우연적 불확실성과 인식론적 불확실성의 볼록 결합임을 증명하며, 따라서 선택적 예측과 후회 과제는 하나의 과제 족의 두 끝점이 된다. 이에 분포 외 탐지, 능동 학습, 후회 과제는 어떤 방법이 인식론적 불확실성의 좋은 추정기인지에 대해 이론적으로나 경험적으로 서로 일치하지 않으며, 선택적 예측은 실제 위험과 후회가 입력의 순서를 다르게 매기는 지점에서 후회 과제와 갈라진다. 따라서 연구자들은 모델의 무지에 대한 일반적 개념에 의존하는 대신, 인식론적 불확실성 추정이 지원하고자 하는 하위 의사결정을 명시해야 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.