Mutual information estimation is a central problem in machine learning and statistics; however, existing benchmarks typically evaluate estimators on simplified, low-dimensional distributions, leaving their performance on complex, realistic data largely unexplored. We address this gap with a comprehensive benchmarking framework grounded in a unified copula-theoretic perspective that subsumes existing benchmarks as special cases. Within this framework, we propose two complementary families of tests: a copula-first family that systematically varies ground-truth mutual information, dimensionality, and marginal complexity using synthetic and flow-based transformations; and a marginals-first family that couples real-world image data with controlled dependency structures, extending the classic same-class-pairing paradigm. We use this suite to extensively evaluate three classes of estimators: non-parametric, variational, and generative. Contrary to prevailing assumptions, our results indicate that there is no universal winner: each category can systematically outperform all other estimators under specific setups. By analyzing these cases, we identify fundamental estimation barriers and propose new tests that more effectively stress these specific limitations. We share the open source code at https://github.com/VanessB/mutinfo.
BROJA 부분 정보 분해(partial information decomposition, PID)는 두 개의 정보원(source)이 목표 변수(target)에 대해 전달하는 정보를 고유 정보(unique), 중복 정보(redundant), 시너지 정보(synergistic) 구성요소로 분리하는 조작적으로 타당한 방식을 제공합니다. 그러나 연속형 및 고차원 변수의 경우 BROJA 분해를 계산하려면 어려운 최적화 문제를 풀어야 합니다. 이전 연구에서는 각 정보원-목표 변수 쌍이 결합 가우시안(jointly Gaussian) 분포를 따를 때 이 문제가 유한 차원 수치 최적화로 축소될 수 있음을 보여주었습니다. 본 연구에서는 이 최적화 문제에 대한 닫힌 형식의 해(closed-form solution)를 도출하여 일반적인 다변량 가우시안 환경에서 BROJA 분해를 직접 계산할 수 있도록 합니다. 이를 통해 도출된 닫힌 형식 표현은 고차원 가우시안 BROJA PID에 대해 두 자릿수(100배) 이상의 속도 향상을 가능하게 합니다. 코드는 https://github.com/brainsandmachines/Eigen_PID 에서 확인할 수 있습니다.
인공지능과 신경과학에서 오랫동안 제기되어 온 가설은 지능이 압축(compression)과 밀접하게 관련되어 있다는 것이다: 정보를 효율적으로 압축하는 능력은 직관적으로 지능 및 학습과 관련된 역량을 반영한다. 실제로 최근의 실험적 연구들은 대규모 언어 모델(LLM)의 능력과 압축기로서의 성능 사이의 연관성을 보여줌으로써 이러한 직관을 입증하고 있다: 예를 들어, Deletang 등(ICLR'24)은 LLM이 강력한 압축기로 사용될 수 있음을 보였고, Huang 등(COLM'24)은 LLM의 압축 능력이 지식 및 추론 벤치마크 성능과 높은 상관관계를 가짐을 보였다.
본 연구에서는 이러한 연관성에 대한 이론적 연구를 시작한다. 우리의 주요 결과는 (다음 토큰 예측기(next-token predictor)로 형식화된) LLM이 단조(monotone, 순서 보존) 압축 알고리즘---즉, 인코딩 과정이 입력의 순서를 보존하는 압축 알고리즘---과 동치라는 것이다. 이는 한쪽으로부터 다른 쪽을 구성할 수 있으며, 그 과정에서 오차가 덧셈적으로 최대 2의 차이까지 보존된다는 의미에서의 동치이다. 다음으로 우리는, 이 동치 관계에서 단조성이 필수적인 조건이 되는 것이 암호학적 (infinitely-often) 일방향 함수(one-way function)가 존재하는 경우이며, 오직 그 경우에만 그러함을 보인다.
이로부터 직접적인 결론으로서 독립적으로 흥미로운 암호학적 결과를 얻는다: 어떤 분포의 다음 비트 유사 엔트로피(next-bit pseudoentropy, 엔트로피의 계산적 유사체) 개념은 그 분포의 단조 비압축성(monotone incompressibility)과 동치이다. (이전에는 비압축성이 다음 비트 유사 엔트로피를 함의한다는 것만 알려져 있었다(Haitner 등, ITCS'23).)
Schrödinger bridge의 계산적 힘은 하나의 구조적 사실에서 나온다. Girsanov 정리에 의해 제어 문제는 고정 참조 확률측도 위의 Kullback–Leibler(KL) 투영이 되며, 교대 투영으로 풀 수 있다. 본 서신은 그 사실이 위험 민감성(risk sensitivity)에서는 유지되지 않음을 보인다. 기대 경로 비용을 엔트로피 위험 측도(entropic risk measure)로 바꾸고 두端点 주변(marginal)을 모두 강한 제약(hard constraint)으로 두면, 그때의 고정점 bridge 값 J_θ(말단 제약을 강제하는 승수에서의 soft 문제 값)는 규칙적인端点 법(endpoint law)을 갖는 어떤 고정 경로 공간 참조에 대해서도 제약 KL 최솟값으로 표현될 수 없다(균일 타원형 확산 참조보다 엄격히 더 큰 클래스이며, Markov 성질은 필요하지 않다). 초기 주변에 의존하는 가산 정규화(normalisation)를 허용해도 마찬가지이다. 더 나아가, 단일 참조 하나로 위험 매개변수에 따른 일매개변수 family 전체를 생성할 수 없다. 장애물은 닫힌 형(closed form)으로 계산된다. Gaussian bridge 값은 고정端点 밀도의 임의 Gaussian smoothing이 만족해야 하는 열 방정식(heat equation)을 정확히 θ/2만큼 위반한다. 투영 대신 이론은 말단 승수(terminal-multiplier) 고정점과, backward factor의 score energy를 penalize하는 비대칭 인수분해(asymmetric factorisation) 위에 서 있다.
최대 가능도 추정량(MLE)의 정규화된 추정 오차에 대해 고전적 중심 극한 정리를 서브-가우시안 꼬리 한계, 모멘트 수렴, 그리고 상대 엔트로피 수렴(엔트로피적 정규성)으로 강화하는 이론적 결과를 제시한다. 스코어 함수에 대한 추가 정칙성 조건 하에서 평활화된 추정량의 엔트로피적 중심 극한 정리를 증명하고, 피셔 정보 유계 조건에서 평활화 없이 MLE 자체의 엔트로피적 정규성을 도출한다.
전문가 혼합(MoE) 아키텍처는 스케일링을 혁신했지만, 라우팅의 근본적 논리는 여전히 블랙박스로 남아 있다. 본 논문에서는 MoE 라우팅이 단순한 선택이 아니라 허프만 코딩(Huffman Coding)의 현현임을 밝히는 근본적 지배 원칙을 발견한다. 빈도-다양성 법칙(Frequency-Diversity Law)을 제안하며, Phi-3.5-MoE, Gemma-4-27B-A4B와 같은 최신 모델이 자발적으로 정보이론적 엔진으로 작동함을 보인다. 이러한 모델은 흔한 토큰에는 희소 전문가 자원을 배분하는 반면, 사고의 연쇄(Chain-of-Thought) 경로에서 발견되는 드물고 복잡한 과제에는 고다양성 전문가 위원회를 호출한다. 그러나 Qwen3.5-35B-A3B에서 중요한 중복 함정을 확인한다. 유효 희소성(k/E_eff)이 충분히 낮을 때, 로드 밸런싱(load-balancing)이 의도치 않게 기능적 중복을 강요하여 근본적인 허프만 효율 신호를 가린다. 이 격차를 메우기 위해 기능적 중복을 제거하는 정밀 전략인 Subset Difference Pruning을 제안한다. 가지치기가 추론을 저하시키지 않음을 보이며, 오히려 모델의 잠재적 허프만 효율을 해방시켜 논리가 간결하고 고밀도 경로로 수렴하도록 한다. 우리의 발견은 차세대 MoE가 강제적 로드 밸런싱을 넘어 최소 기술 길이(MDL, Minimum Description Length) 최적성을 향해 나아가야 함을 시사한다. 고빈도 정보에는 더 짧은 전문가 라우팅 코드를, 저빈도 정보에는 더 길고 다양한 코드를 할당함으로써 라우팅을 휴리스틱에서 원칙적 압축 엔진으로 전환할 수 있다.
대규모 언어 모델(LLM)은 실행 가능한 답이 있는 명확히 정의된 추론 과제에서 강한 성능을 보인다. 그러나 개방 세계에서 마주하는 문제는 일관되지 않은 조건, 상충하는 진술, 또는 상호 배타적인 요구로 인해 부적정해질 수 있으며, 유효한 응답을 허용하지 않는다. 우리는 갈등을 수반하는 이러한 부적정 문제에 대한 추론이 숨겨진 갈등을 명시화하고, 다중 추론 분기를 통해 경쟁 가설을 유지하며, 단일 패스로 대안적 응답을 생성하는 새로운 LLM 역량을 요구한다고 주장한다. 이 모든 것은 LLM의 다음 토큰 예측 메커니즘의 한계로 인해 도전적이다. 이를 위해 우리는 정보 이론적 원리를 활용하여 LLM의 내부 추론 흐름을 정량화하고 조절함으로써 유효한 가설 하에서 대안적 응답의 전체 집합을 생성하는 새로운 프레임워크인 FlowEdit을 제안한다. FlowEdit은 모델의 내부 추론 표현에 두 가지 이중 정보 이론적 목표를 적용하여 분기 인식(branch-aware) 추론 과정을 강제하는 것으로 볼 수 있다. 각 선택된 가설에서 분기 결과로의 정보 흐름을 최대화하는 동시에 형제 분기 간 겹침과 조건부 의존성을 최소화하여, 넓은 범위를 아우르는 다양하고 정보가 풍부한 응답 집합을 제공한다. 우리는 경계 임베딩(boundary embeddings)이 ε-충분(ε-sufficient)일 때 계산 가능한 변분 하한(variational bounds)을 통해 이를 달성하며, LLM 추론 과정의 기저 조건부 상호정보(conditional mutual information)를 최적화함을 보인다. 광범위한 실험은 FlowEdit이 선도적인 독점 모델을 능가하며 exact-set-match 정확도를 68% 향상시키고 전체 응답의 정보성을 24% 높인다는 것을 보여준다. 또한 흐름 조절이 토큰 스트림에서 다음 토큰 엔트로피의 재분배로 나타나며, 각 분기 내부에 집중되고, 흐름 경계에서 증폭되며, 문제가 요구하는 흐름 수에 따라 스케일링됨을 추가로 보인다.
확산 모델은 학습 단계에서 신경망에 포착된 정보를 주입하여 노이즈를 데이터로 변환한다. 본 논문에서는 이 정보가 무엇인지 묻는다. 픽셀 공간 확산 모델에서, (1) 신경망의 총 정보 중 상당 부분이 이미지의 소규모 지각적 세부 사항을 재구성하는 데 할당되어 있으며, (2) 이미지와 클래스 레이블 간의 상관관계는 이미지의 의미적 내용에 의해 형성되고 저수준 세부 사항에는 대체로 무관하다는 것을 밝힌다. 이러한 특성은 데이터 자체의 매니폴드 구조와 본질적으로 연결되어 있다고 주장한다. 마지막으로, 이러한 사실들이 classifier-free guidance의 효과를 설명함을 보인다: 가이던스 벡터는 생성 과정 초기에 이미지와 조건화 신호 간의 상호 정보를 증폭하여 의미적 구조에 영향을 미치지만, 지각적 세부 사항이 채워짐에 따라 점차 약해진다.
대규모 언어 모델(LLM)은 충분한 스케일이 주어지면 어떤 작업에서든 완벽한 신뢰성을 달성할 수 있는 것처럼 평가된다. 우리는 이 가정이 정보이론적으로 정당화될 수 없음을 보인다. 모든 생성 작업에는 관측 가능한 컨텍스트로부터 해결할 수 있는 출력 불확실성의 양에 의해 결정되는, 어떤 모델도 초과할 수 없는 신뢰성 상한이 존재한다. 이 격차는 추가 컨텍스트로 메울 수 있는 해결 가능한 성분과 작업 모호성에 내재된 주관적 성분으로 분해된다. 자기회귀 생성은 출력에서 토큰 간 상관관계를 정량화하는 작업의 의존성 커널에 의해 지배되는 속도로 이 상한을 더욱 저하시킨다. 이 두 가지 기본 요소로부터, LLM 성능이 더 희소한 자원—학습 데이터 또는 모델 용량—에 의해 병목을 받는 제1원리 스케일링 법칙을 유도한다. 이 법칙은 Chinchilla 스케일링 법칙을 특수한 경우로 복원하며, 스케일링이 신뢰성을 향상시키는 조건에 대한 구조적 설명을 제공한다. 스케일링을 넘어, 우리의 프레임워크는 검색-증강의 이점과 치명적 망각의 스펙트럴 메커니즘 같은 다양한 실용적 현상을 통합한다. 우리의 연구는 도메인 전반에 걸쳐 모델 성능을 지배하는 자원-복잡도 트레이드오프를 형식화하여, 생성형 언어 모델의 성능 한계에 대한 통합 이론을 제시한다.
가소성(plasticity) — 신경망이 새로운 과제에 적응하는 능력 — 은 지속 학습(continual learning)과 전이학습에 매우 중요하다. 유효 rank, 죽은 뉴런 비율, 가중치 norm과 같은 기존 측정치들은 이론적 근거가 부족하고 새로운 과제에서의 성능과 낮은 상관관계를 보인다. 우리는 보편적 압축 이론(universal compression theory)에서 도출된 정보 이론적 측정인 국소 중복성(local redundancy)을 제안한다. 국소 중복성은 국소 모델 군 — 그래디언트 방향을 따라 무한소(infinitesimal) 이웃에 있는 매개변수 — 의 최악의 경우 중복성(worst-case redundancy)으로 정의하며, 이것이 가소성의 원칙적인 측정임을 보인다. 국소 중복성은 정확히 계산하기 어렵지만(intractable), 합성 기억화(synthetic memorization) 과제에서의 기대 제곱 그래디언트 norm이 효율적으로 계산 가능한 하한(lower bound)을 제공함을 증명한다. 지속적 이미지 분류와 시계열 전이학습(time series transfer learning) 실험에서 국소 중복성은 기존 측정치보다 하류(downstream) 성능을 더 잘 예측하며, 검증 손실이 정체되는(plateau) 구간에서 사전학습 체크포인트 선택을 가능하게 한다.
생성 모델 출력의 워터마크는 보통 텍스트가 기계 생성인지 여부만 묻는다. 같은 표식으로는 더 많은 일을 할 수 있다: 이를 생성한 사용자에게 귀속하고, 숨겨진 페이로드를 추출하거나, 편집 후에도 남는 부분을 국소화하는 것이다. 이들은 포렌식 사다리를 이루며, 우리는 각 단계가 표본 길이 $n$에서 어떤 비용을 드는지 묻는다. 하나의 대상이 답을 정리한다. $S$를 표식이 담는 비밀(사용자 신원 또는 페이로드)이라 하고, 정보 프로필 $ν(t)=I(S;X_t\mid X_{<t})$는 이전 토큰들이 주어졌을 때 $t$번째 토큰이 $S$에 대해 얼마나 많이 드러내는지를 기록한다. 그 총량이 귀속과 추출의 대가를 치르게 하고, 그 분포 방식이 국소화의 대가를 치르게 하며, 탐지만은 정보가 아니라 존재, 즉 표식이 있는 분포와 없는 분포 사이의 거리로 대가를 치른다. 문헌의 두 품질 모델—모든 토큰에서 미묘한 표식과 소수 토큰에 크게 찍는 표식—은 이 프로필을 제한하는 두 가지 비교 불가능한 방식이다. 우리의 주정리는 사다리의 엔트로피 열을 확정한다. 통계적으로 왜곡 없는(d distortion-free) 방식에 대해, $N$명의 사용자 중 하나에게 텍스트를 귀속하는 비용은 엔트로피율 $h$를 갖는 모든 정상-에르고딕(stationary-ergodic) 소스에 대해 $Θ(\log N/h)$ 토큰이며, $(1+o(1))$ 인자까지 날카롭다: 우리가 아는 한 다중 사용자 귀속에 대한 최초의 정확한 엔트로피율 법칙(정확한 정렬을 통해)이다. 자연스러운 충돌 계수 분석은 무한히 과다 청구하며, 각 후보를 그 자체의 실현된 서프라이즈(surprisal)로 임계값 처리하는 디코더만이 이율을 달성하면서 거의 결코 무고한 사용자를 연루시키지 않는다. 대응하는 역정리(converse)가 이 법칙을 양방향으로 만들며, $\ell$비트 페이로드의 추출 비용은 $Θ(\ell/h)$이다. 두 가지 공백은 실재하며 모델링 인공물이 아니다: 텍스트가 증명 가능하게 기계 생성이지만 귀속 불가능한 $Θ(\log N)$ 토큰 창, 그리고 footprint-resolution 불확정성 원리. GPT-2, Pythia-410M, Qwen2.5에서의 실험은 예측된 상수를 재현한다.
AI 분야에서 중요한 질문 중 하나는 성공적인 행동이 세계에 대한 내부 표현을 어느 정도 필요로 하는지이다. 본 연구에서는 최적 정책이 기저 환경에 대해 제공하는 정보의 양을 정량화한다. 우리는 $n$개의 상태와 $m$개의 행동을 갖는 제어 마르코프 과정(Controlled Markov Process, CMP)을 고려하며, 가능한 전이 역학 공간에 대한 균등 사전분포를 가정한다. 상수가 아닌 보상 함수에 대해 최적인 결정론적 정책을 관찰하면 환경에 대해 정확히 $n \log m$ 비트의 정보를 전달한다는 것을 증명한다. 구체적으로, 환경과 최적 정책 사이의 상호 정보량이 $n \log m$ 비트임을 보인다. 이 한계는 유한 시계, 무한 시계 할인, 시간 평균 보상 최대화를 포함한 광범위한 목적 함수 클래스에 걸쳐 성립한다. 이러한 결과는 최적성에 필요한 ``암묵적 세계 모델(implicit world model)''에 대한 정밀한 정보 이론적 하한을 제공한다.
우리는 유용성(utility)과 분리(separation) 사이의 파레토 프런티어(최적 트레이드오프)를 연구한다. 분리란 실제 결과에 조건부로 예측이 민감한 속성으로부터 독립적이어야 한다는 공정성 기준이다. 정보 이론적 관점을 통해, 우리는 유용성-분리 파레토 프런티어의 특성을 증명하고, 그 오목성(concavity)을 확립하며, 이를 통해 유용성 측면에서 분리의 한계 비용이 증가함을 증명한다. 또한, 이 트레이드오프가 엄격해지는 조건을 특성화하여 실제 트레이드오프 선택을 위한 지침을 제공한다. 이론적 특성화를 바탕으로, 실제 결과가 주어졌을 때 예측과 민감한 속성 사이의 조건부 상호 정보(CMI, Conditional Mutual Information)에 기반한 경험적 정규화기를 개발한다. CMI 정규화기는 그래디언트 기반 최적화를 통해 학습되는 모든 심층 모델과 호환되며, 잔여 분리 위반의 스칼라 모니터로서 학습 중 다루기 쉬운 보장을 제공한다. 마지막으로, 수치 실험은 이론적 결과를 뒷받침한다: COMPAS, UCI Adult, UCI Bank, CelebA에 걸쳐 제안된 방법은 분리 위반을 실질적으로 줄이면서 기존 기준선 방법들의 유용성과 동등하거나 이를 초과하는 성능을 보인다. 이 연구는 심층 학습에서 분리를 강제하기 위한 증명 가능하고 안정적이며 유연한 접근법을 제시한다.
자기회귀 모델은 연쇄 법칙을 통해 정확한 데이터 가능도를 최적화하는 반면, 확산 모델은 일반적으로 노이즈 제거 목적 함수로 학습된다. 본 연구에서는 광범위한 무기억 노이즈 프로세스에 대해 일반화된 외재적 정보 전달(GEXIT) 함수를 기반으로 한 보존 법칙을 개발하고, 데이터-모델 교차 엔트로피(CE)가 노이즈 경로를 따른 국소 정보 이론적 도함수의 적분으로 정확하게 특성화될 수 있음을 보인다. 이로써 이산 및 연속 확산에 대한 가능도의 통합적 특성화를 제공하며, 가우시안 경우는 잘 알려진 상호 정보-최소 평균 제곱 오차(I-MMSE) 관계로 귀결된다. 즉각적인 함의로는 국소성(locality) 특성이 있으며, 이를 통해 노이즈 경로를 따른 주변 사후 분포만을 사용하여 정보 이론적 도함수를 계산할 수 있다. 결과적으로, 학습은 음의 로그 가능도를 최소화함으로써 주변 사후 분포를 학습하는 것으로 귀결된다. 보존 법칙은 엔트로피가 노이즈 경로에 의존하지 않음을 시사하지만, 유한 용량 노이즈 제거기는 노이즈 유형에 따라 다양한 정확도로 사후 분포를 근사하여 성능 차이를 초래한다. 본 연구는 합성 마르코프 소스와 text8 및 CIFAR-10을 포함한 표준 벤치마크에서 이러한 예측을 검증한다.
언어 모델 표현에서의 클래스 내 분산은 흔히 불완전한 신경 붕괴(neural collapse)로 해석된다. 우리는 이것이 할당된 정보 저장이며, 그 할당이 하나의 법칙을 따른다고 주장한다. 단 한 줄의 중심화 항등식이 심플렉스 등각 타이트 프레임(simplex equiangular-tight-frame) 주장들의 한 계열을 무효화하는데, 여기에는 우리 자신의 이전 연구도 포함된다. 14개 모델에 걸친 무차원 분산 점유율에서, 매크로 카테고리 구조는 표현 분산의 4~12%만을 차지하고 토큰 내 컨텍스트(within-token context)는 79~91%를 차지하며, 이는 100배의 매개변수 범위에 걸쳐 안정적이다. 이론적 측면에서, 토큰 수준의 가중치 감쇠는 카테고리를 발생 빈도가 아닌 타입 수에 비례하여 불이익을 주어, 다음 토큰 예측을 불균형한 K-클래스 문제로 환원시키며, 그 최적해는 카테고리 노름(norm)을 타입 수에 따라 순서화한다. 이진 카테고리에 대해 증명된 역방향 하한(converse floor)은, 클래스 내 분산이 조건부 상호 정보량 I(토큰; 컨텍스트 | 카테고리)에 적어도 비례하도록 강제한다. 이 법칙은 성립한다: 항등 분산도(identity dispersion)가—총 분산이 아니라—테스트된 모든 모델과 파티션에 걸쳐 이 정보를 추적하며, 이는 모델 비의존적 추정 하에서도, 심지어 모델 간에서도 성립하여 한 모델의 정보가 다른 모델의 분산도를 예측한다. 또한 사전학습 과정에서 카테고리 점유율은 과잉 상승하고 감소한 뒤 부분적으로 회복되는데, 이는 그것이 담아야 할 정보가 사라지지 않기 때문이다.
Kime-Representation Formulations of Three Open Problems in the Foundations of Classical Mechanics: Uncertainty, Invariant Entropy, and Directional Degrees of Freedom
복소 시간(kime) 표현을 활용해 고전역학 기초의 세 가지 미해결 문제—비정준 변수로의 엔트로픽 불확정성 원리 확장, 좌표 불변 엔트로피를 위한 연속 물리량의 쌍 구조, 고전적 상대론적 방향 자유도 구성—를 수학적으로 자기완결적으로 공식화한다. kime 콘과 1자유도 위상 공간의 작용-각도 차트 사이의 심플렉틱 동일시를 핵심 연결로 삼아, von Mises × 가우시안 극단족을 갖는 첨예한 엔트로픽 불확정성 관계 및 kime 위상 확산이 Haar-균일 분포로 단조 수렴함을 증명한다.
파리무추엘 결합 시장에서 LLM 에이전트의 상대적 부(wealth) 성장이 상대적 정보량과 정확히 일치한다는 격차 법칙(gap law)을 Claude Opus 4.8 에이전트로 사전 등록 실험을 통해 처음으로 정량적으로 확인했다. 반면 집단 수준의 정렬 불일치(misalignment)가 인센티브 레버에 부드럽게 반응한다는 평균장(mean-field) 가정은 72회 전 실험에서 목표 분산이 붕괴(V→0)하고 어트랙터 전환 형태의 계단 함수 반응만 관찰되어 실증적 기반이 없음을 보였다.
정보 이론적 정규화(information-theoretic regularization)를 기반으로 특징 언러닝(feature unlearning)과 데이터 포인트 언러닝(data-point unlearning)을 통합적으로 다루는 수학적 프레임워크를 제안하며, 감사 가능한 Marginal Unlearning Principle과 레이트-왜곡 이론(rate-distortion theory)에 유사한 최적화 목표를 통해 유용성 손실을 최소화하면서 엄격한 언러닝 보장을 제공한다. 이론적 분석을 통해 기계 언러닝과 최적 수송(optimal transport), 극한 시그마 대수(extremal sigma algebras) 간의 연결을 밝히고, MNIST 및 CelebA 등 다양한 데이터셋에서의 수치 실험으로 이를 검증한다.
두 분포 비교를 위한 Rényi 발산을 W개의 분포로 일반화하는 문제에 답하여, 데이터 처리 단조성과 독립 곱 가법성을 만족하는 모든 다분포 범함수가 다방향 동시 발산(multi-way coincidence divergence) $\mathsf{C}_\alpha(\pi_1,\dots,\pi_W) := -\log\int\pi_1^{\alpha_1}\cdots\pi_W^{\alpha_W}$의 양의 적분으로 유일하게 표현됨을 증명한다. 이 정준적 다분포 Rényi 미적분은 공리적 구조, Kolmogorov-Nagumo 평균, 다중 가설 검정 오류 지수, 다중 복권 베팅 해석 등 여러 독립적 경로에서 동일하게 도출되며, 다집단 공정성 분석과 다사전 PAC-Bayes 경계 등 실용적 문제에 직접 적용된다.
의미가 커뮤니케이션 교환을 통해 어떻게 전파되는지 정량화하는 연구는 계산 언어학에서 아직 충분히 발전하지 않은 분야이다. 본 연구에서는 대화 참여자 간 의미적 내용의 방향성 있는 흐름을 정량화하고, 다중 출처의 기여를 중복(redundant), 고유(unique), 시너지(synergistic) 성분으로 분해하는 정보 이론적 프레임워크를 제안한다. 제안하는 접근법은 대규모 언어 모델(LLM)을 자연어의 확률적 추정기로 활용하여 두 가지 측정값을 계산한다: 화자 간 방향성 있는 예측적 영향을 포착하는 의미적 전이 엔트로피(STE, semantic transfer entropy)와, 복수의 출처가 수신자의 언어를 함께 어떻게 형성하는지를 분해하는 의미적 부분 정보 분해(SPID, semantic partial information decomposition)이다. 네 가지 실험을 통해, 이 프레임워크가 인지적으로 경직된 대화에서의 정보 흐름 감소를 탐지하고, 담론 형성에서 설득자의 지배적 역할을 포착하며, 치료사-내담자 정보 교환의 방향성을 통해 고품질 심리치료와 저품질 심리치료를 구별하고, 논증적 에세이에서 시너지적 전제 기여를 드러냄을 보인다. 이 프레임워크는 디지털 담론, 교육적 상호작용, 임상 대화, 그리고 언어적 교환의 구조가 연구 관심사인 모든 영역에서 정보 역학 연구를 위한 새로운 방향을 제시한다.