Dimensionality reduction has proven powerful for identifying neural manifolds, which are low-dimensional structures underlying high-dimensional neural activity. These low-dimensional representations have improved the interpretability of population-level coding. Yet whether such low-dimensional representations are biologically relevant and confer functional advantages in learning systems, or merely reflect neuron-level activity, remains contested in neuroscience. We show that an explicit information bottleneck forcing a recurrent neural network to learn a low-dimensional representation is necessary for rotational and out-of-distribution generalisation in a time-series prediction task. Using information-theoretic measures of causal emergence, we characterise the dynamics of this representation across the memorisation-to-generalisation transition, finding a non-monotonic trajectory which shows an initial decrease, a minimum, and a subsequent rise to a maximum, even as prediction loss falls monotonically. This trajectory scales with task complexity, and the magnitude of emergent structure reliably predicts generalisation performance. Analysis of hippocampal CA1 and medial prefrontal activity in rats learning an alternating maze task reveals analogous non-monotonic emergence dynamics that track behavioural performance. Together, these findings indicate that the ability of neural networks to learn compact, distributed and emergent representations confers a functional advantage for generalisation, supporting a causal role for learned representations in cognition.
We study latent geometry as an explicit component of representation quality in data-scarce learning. For an encoder (\phi), we define (Q_{\beta,\gamma}(\phi)=I(\phi(X);Y)-\beta\mathcal C(\phi)-\gamma d_{\mathrm{int}}(\phi)), combining task-relevant information with penalties for curvature and intrinsic latent dimension. Thus geometry becomes part of the bottleneck criterion, not only a post hoc diagnostic. Under smooth-manifold, loss-transfer, and estimator-concentration assumptions, we derive non-asymptotic low-label generalization bounds where intrinsic dimension and covering complexity enter explicitly. We characterize the information--geometry frontier and prove empirical-surrogate consistency. The analysis links encoder geometry to learning through latent covering numbers, loss-class entropy, and uniform deviation. We instantiate the theory as \texttt{V-GIB}, adding curvature and dimension penalties to variational bottleneck training. Real low-label benchmarks compare \texttt{V-GIB} with ERM, VIB, and ablations across (1%)--(20%) label fractions. Results show improved performance and reduced geometric complexity in several regimes, especially FashionMNIST and CIFAR-10, while confirming that no fixed regularizer is universally dominant.
분류기 없는 가이던스(classifier-free guidance, CFG)는 디퓨전 모델(diffusion model)에서 조건부 생성을 개선하는 표준 기법이지만, 그 활성화 스케줄은 보통 경험적으로 선택된다. 실제로 대부분의 기존 CFG 기반 방법은 추론 전 과정에서 사전에 정의된 활성화 정책에 의존하며, 최근의 동적 변형들도 조건 정보가 언제 가장 유용한지에 대한 원칙적인 이론적 설명 없이 수작업으로 설계된 스케줄에 의존하는 경우가 많다. 조건 입력과 점수 함수(score function) 간의 정보적 관련성이 생성 과정에서 어떻게 변화하는지 이해하기 위해, 우리는 정보이론적 관점에서 가이던스가 언제 활성화되어야 하는지를 탐구한다. 본 연구에서는 디퓨전 궤적을 시간에 따라 변화하는 정보 병목(information bottleneck)으로 formalize하고, 조건 정보의 효과성이 샘플링 전 과정에서 균일하지 않으며, 피셔 정보(Fisher-information) 균형 조건으로 특징지어지는 임계 단계 이후에 상당히 강해짐을 보인다. 이러한 통찰에 기반하여, 우리는 추론 시점에 적용 가능한 학습이 필요 없는(training-free) 동적 CFG 전략을 제안한다. 사전에 고정된 스케줄을 지정하는 대신, 우리의 방법은 조건부 및 비조건부 점수 통계로부터 확률 과정(stochastic process)을 구성하고, 추정된 가이던스 이득(guidance gain)이 지정된 임계값을 넘을 때 가이던스를 활성화한다. 이는 조건 주입을 근본적인 생성 동역학과 일치시키는 적응형 활성화 규칙을 만들어내며, 동시에 구간 기반 가이던스를 극한의 특수 사례로 복원한다. 다양한 아키텍처와 과제에 걸친 광범위한 실험은 우리의 방법이 효과적이고 견고하며 널리 적용 가능함을 보여준다. 실증적 개선을 넘어, 우리의 프레임워크는 동적 가이던스 방법에 대한 해석과 조건부 디퓨전 모델에서의 추론 시점 제어를 위한 원칙적인 토대를 제공한다.
대규모 텍스트-이미지 생성 모델이 전례 없는 시각적 성능을 달성했음에도, 다중 단계 반복 솔버에 대한 내재적 의존은 심각한 추론 지연을 초래한다. Classifier-Free Guidance(CFG) 궤적을 대상으로 하는 소수 단계 증류(distillation)는 널리 쓰이는 이중 차원 압축 패러다임으로 부상했다. 그러나 기존 프레임워크는 전역적으로 고정된 가이던스 강도를 끊임없이 강제하면서 감독 타임스텝을 무차별적으로 샘플링하는 거친 블라인드 주입 패러다임에 여전히 매이고 있다. 이러한 상태 비인식(state-agnostic) 설계는 점진적 엔트로피 감소로 특징지어지는 동적 진화 과정이라는 이미지 생성의 본질을 완전히 무시하며, 소수 단계 압축의 성능 한계를 가로막을 뿐 아니라 심각한 CFG 과잉 조건화(over-conditioning) 아티팩트를 촉발한다. 이러한 한계를 넘어서기 위해, 우리는 정보 이론의 관점에서 증류 절차를 재검토하고, 이를 정보 병목(Information Bottleneck, IB) 원리로 제약된 동적 상호정보(mutual information) 게임으로 형식화한다. 구체적으로, 이중 트랙 적응형 프레임워크로 기존의 블라인드 가정을 해체한다. 주입 대상을 정하기 위해, 다루기 어려운 KL 발산 제약을 국소 벡터 필드 노름에 기반한 오버헤드 없는 폐쇄형 해로 바꾸는 인스턴스 인식(instance-aware) 선택 메커니즘을 제안한다. 주입 강도를 조절하기 위해 SNR에 맞춰 동적으로 감쇠하는 엔트로피 인식 스케줄을 도입하여, 초기 구조 앵커링에는 최대 추진력을 가하고 이후 자연 매니폴드(manifold)로 부드럽게 되돌아가 미세 디테일을 정제한다. 광범위한 실증 평가는 본 프레임워크가 과잉 조건화 아티팩트를 근본적으로 제거하고, 극도로 엄격한 2단계 구성에서도 SOTA 생성 충실도(fidelity)를 달성하며 성능 상한을 깨뜨림을 뒷받침한다.
과매개변수화된 심층 네트워크의 일반화 문제를 해결하기 위해 정보 이론, 위상수학, 통계역학을 통합한 프레임워크를 제안하며, 핵심 개념인 엔트로피 학습 가능성 한계(Entropic Learnability Horizon, ELH)를 통해 데이터의 Shannon 엔트로피와 가중치의 von Neumann 엔트로피의 합이 결정 경계의 위상 엔트로피를 초과할 때만 진정한 학습이 가능함을 수학적으로 증명한다. 이 이론을 바탕으로 "그로킹(grokking)" 현상을 엔트로피 해방으로 재해석하고, 가중치 엔트로피를 동적으로 관리하는 새로운 최적화 알고리즘인 엔트로피 경사하강법(Entropic Gradient Descent, EGD)을 제시한다.
비전 기초 모델은 하위 시각 인식을 위해 동결된 백본으로 점점 더 재사용되고 있어, 매개변수 효율적 적응이 핵심 과제가 되었다. Visual Prompt Tuning(VPT)을 포함한 프롬프트 기반 적응은 이러한 모델을 특화하는 경량 방법을 제공하지만, 그 층별 동작은 여전히 잘 이해되지 않는다. 성능은 프롬프트 깊이, 배치, 과제 분포에 민감하며, 표준 도메인 내 벤치마크에서의 이득이 항상 강건한 일반화로 이어지지는 않는다. 우리는 이러한 한계가 단순히 최적화 문제가 아니라 층별 정보 할당 문제라고 주장한다. 기존 프롬프트 기반 방법들은 깊이에 걸쳐 프롬프트 조건화 표현이 무엇을 보존, 억제, 전파해야 하는지에 대한 원칙적 통제가 부족하다. 정보 병목(Information Bottleneck) 원리에서 영감을 받아, 우리는 층별 압축-충분성 트레이드오프를 정규화하고 더 일관된 층 간 정보 경로를 촉진하는 프레임워크인 Prompted Information Bottlenecks(PIB)를 제안한다. 핵심 아이디어는 효과적인 적응이 최소적이면서도 충분해야 하며, 초기 층에서는 과제 관련 국소 증거를 유지하고 더 깊은 층에서는 점진적으로 방해 요인과 중복 세부사항을 버려야 한다는 것이다. 광범위한 실험 결과, PIB는 34개 데이터셋에서 강력한 성능을 달성하며, FGVC에서 92.1%, HTA에서 93.01%, VTAB-1k에서 77.33%에 이르며, 주요 설정에서 평균적으로 매개변수의 0.35%만 튜닝한다. 벤치마크 정확도를 넘어, PIB는 프롬프트 용량 스케일링의 비단조적 동작을 설명하는 데 도움이 되며, 지름길(shortcut) 의존을 줄이고 분포 이동(distribution shift) 및 세밀한 인식 설정에서 강건성을 개선한다. 이러한 결과는 PIB를 동결된 비전 기초 모델 적응을 위한 실용적 방법이자 정보 할당 관점으로 자리매김한다. 코드는 https://github.com/itsnotacie/MM-26-PIB 에서 이용 가능하다.
스칼라 지표는 알려진 클래스에 대해 클러스터링을 평가하는 데 자주 사용되지만, 클러스터링은 클래스 레이블에 대해 정보를 제공하면서 불필요한 분할을 피해야 한다는 근본적인 트레이드오프를 가릴 수 있다. 본 논문에서는 이러한 트레이드오프를 정량화하는 클러스터 동질성과 간결성의 정규화된 점수를 제시한다. 이 점수들은 손실 압축을 보상하지 않도록 수정된 정보 병목(information bottleneck) 원리에 기반한다. 예시와 수학적 증명을 통해, 관련 제안들과 달리 이러한 점수 정의가 클러스터 정제(refinement) 하에서 단조적으로 변하는 직관적인 성질을 갖음을 보인다. 섀넌 엔트로피(Shannon entropies)를 넘어 정보 이론적 프레임워크를 확장하여, 동질성 및 간결성 점수의 집합 매칭(set-matching) 및 쌍 기반(pair-based) 대응체를 추가로 도출한다. 이는 일반적으로 사용되는 평가 기준을 통합하며, 쌍 기반 설정에서 동질성-간결성 트레이드오프가 이진 분류기의 수신자 조작 특성(ROC, receiver operating characteristic)을 복원함을 보인다. 프레임워크의 특징 선택 및 알고리즘 비교에 대한 유용성을 시연하며, 점수를 공동으로 고려하는 것이 클러스터링 작동점(operating points)을 명확히 하고 파레토 최적(Pareto-optimal) 해법을 식별하는 방법을 보여준다.
추론 기반 범용 멀티모달 임베딩은 임베딩 파이프라인에 사고의 연쇄(Chain-of-Thought, CoT) 추론을 도입하면서 빠르게 발전해 왔다. 일반적·복잡한 작업 모두에서 강한 성능을 보임에도 불구하고, 이 패러다임은 두 가지 핵심 한계를 갖는다: (i) 자기회귀적 CoT 추론은 계산 비용이 높아 저지연 검색에는 비실용적이며; (ii) 임베딩 성능이 CoT 주석 품질에 크게 종속되어 대규모 학습이 신뢰하기 어렵다. 이는 근본적인 질문을 제기한다: 텍스트 기반 CoT가 임베딩을 위한 최적의 추론 형태인가, 그리고 효과적인 임베딩 추론을 잠재 공간에서 수행할 수 있는가? 이를 위해 우리는 LaME(Latent Reasoning Multimodal Embedding)를 제안한다. 이는 임베딩 지향 잠재 추론을 약지도 정보 병목으로 공식화한다. LaME는 K개의 학습 가능한 reason token을 고정 용량 병목으로 사용하여, 모든 추론을 단일 순전파 내에 완료한다. 두 약지도 신호는 대조(contrastive) 목표와 자기회귀(autoregressive) 목표를 구조적으로 분리하고 CoT 주석에 대한 의존성을 제거하며, 2단계 학습 파이프라인은 안정적인 수렴을 보장한다. MMEB-v2 및 MRMR에서의 실험은 LaME가 경쟁력 있는 성능을 달성하고 일부 명시적 CoT 기반 모델을 능가함을 보여준다. 동시에 명시적 CoT 방법 대비 60배 빠른 추론과 잠재 기준선 대비 2배 빠른 처리량을 제공하며, 판별적 임베딩 모델과 유사한 처리량을 달성한다. 코드는 https://github.com/PeppaWu/LaME 에서 제공된다.
조정 그래프(coordination graph)는 협력적 다중 에이전트 강화학습(MARL)의 핵심 추상화 개념이지만, 기존의 희소 그래프 학습기들은 어떤 엣지가 존재해야 하며 각 엣지가 얼마나 많은 정보를 전달해야 하는지를 결정하는 이론적으로 정당화된 메커니즘이 부재하다. 현재 방법들은 학습된 토폴로지에 대한 공식적 보장이 없는 휴리스틱 기준에 의존하며, 구조적으로 상이한 에이전트 관계에 서로 다른 통신 용량을 할당하는 원칙적 방법도 존재하지 않는다. 이를 해결하기 위해, 우리는 이종 정보 병목 조정 그래프(HIBCG, Heterogeneous Information-Bottleneck Coordination Graphs)를 제안한다. HIBCG는 엣지의 존재 여부와 메시지 용량이 모두 이론적으로 정당화된 그룹 인식 희소 그래프를 학습한다. 그래프 정보 병목(GIB)을 기반 도구로 활용하여, HIBCG는 먼저 엣지 유지에 대한 폐쇄형 기준—어떤 엣지가 존재해야 하며 그룹 블록별 밀도는 어느 정도여야 하는지—을 제공하는 그룹 정렬 블록 대각 사전분포(group-aligned block-diagonal prior)를 구성하고, 이어서 결과 토폴로지 상의 에이전트별 특징 대역폭을 제어하여 태스크 관련 내용만 보존하도록 메시지를 압축한다. 우리는 그룹 정렬 사전분포가 토폴로지 학습에 대한 변분 경계(variational bound)를 엄격히 조여줌을 증명하고, 목적 함수가 그룹 블록별로 분해되어 차등적 엣지 제어를 가능하게 하며, 용량 할당이 워터 필링 원리(water-filling principle)를 따름을 증명한다.
도메인 일반화(Domain Generalization)에서 기존 비전-언어 모델의 시각적 표현이 오히려 학습 도메인에 종속된 허위 단서(spurious cues)를 전파한다는 문제를 지적하며, 시각적 가이던스를 배제하고 텍스트 임베딩 공간을 정보 병목(Information Bottleneck)으로 활용해 도메인 불변 표현을 학습하는 방법을 제안한다. 다양한 백본과 DG 벤치마크에서 최첨단 성능을 달성하며, 강건한 일반화를 위해 표현 개선보다 불변성을 강제하는 감독 설계가 핵심임을 보인다.
심층 신경망은 입력 데이터를 다양한 다운스트림 태스크를 지원하는 잠재 표현으로 변환한다. 이러한 표현은 정보 이론적 차원과 기하학적 차원에서 특성화할 수 있으나, 두 차원 간의 관계는 아직 충분히 이해되지 않은 상태다. 핵심적인 미해결 질문은 입력과 표현 사이의 낮은 상호 정보량(MI)이 필연적으로 기하학적으로 압축된 잠재 공간을 함의하는지, 그리고 그 역도 성립하는지 여부다. 우리는 이 질문을 클래스별 클러스터링을 기하학적 압축의 척도로 사용하고, 조건부 엔트로피 병목(CEB) 네트워크 및 연속 드롭아웃 네트워크에서 이론적으로 건전한 MI 추정을 통해 탐구한다. 우리는 통제된 노이즈 주입 방식 하에서 분류 태스크에서 MI, 기하학적 압축, 그리고 일반화 간의 상호작용을 평가한다. 우리의 연구 결과는 낮은 MI가 기하학적 압축에 신뢰성 있게 대응하지 않으며, 두 요소 간의 연결이 흔히 가정되는 것보다 더 복잡한 양상을 띤다는 것을 보여준다. 실제로, 우리의 실험은 학습 설정을 달리할 때 역전될 수 있는 부정적이고 비선형적인 관계를 드러낸다. 우리의 결과는 일반화가 이 연결의 직접적인 결과라기보다는 잠재적인 교란 변수로 작용한다는 가설을 제시한다.