닫힌 형식의 가우시안 BROJA 부분 정보 분해
Gaussian BROJA Partial Information Decomposition in Closed Form
한국어 초록
BROJA 부분 정보 분해(partial information decomposition, PID)는 두 개의 정보원(source)이 목표 변수(target)에 대해 전달하는 정보를 고유 정보(unique), 중복 정보(redundant), 시너지 정보(synergistic) 구성요소로 분리하는 조작적으로 타당한 방식을 제공합니다. 그러나 연속형 및 고차원 변수의 경우 BROJA 분해를 계산하려면 어려운 최적화 문제를 풀어야 합니다. 이전 연구에서는 각 정보원-목표 변수 쌍이 결합 가우시안(jointly Gaussian) 분포를 따를 때 이 문제가 유한 차원 수치 최적화로 축소될 수 있음을 보여주었습니다. 본 연구에서는 이 최적화 문제에 대한 닫힌 형식의 해(closed-form solution)를 도출하여 일반적인 다변량 가우시안 환경에서 BROJA 분해를 직접 계산할 수 있도록 합니다. 이를 통해 도출된 닫힌 형식 표현은 고차원 가우시안 BROJA PID에 대해 두 자릿수(100배) 이상의 속도 향상을 가능하게 합니다. 코드는 https://github.com/brainsandmachines/Eigen_PID 에서 확인할 수 있습니다.
원문 초록
The BROJA partial information decomposition provides an operationally motivated way to separate the information that two sources carry about a target into unique, redundant, and synergistic components. For continuous and high-dimensional variables, however, computing the BROJA decomposition requires solving a difficult optimization problem. Previous work showed that, when each source-target pair is jointly Gaussian, the problem can be reduced to finite-dimensional numerical optimization. Here, we derive a closed-form solution to this optimization problem, enabling direct computation of the BROJA decomposition in the general multivariate Gaussian setting. The resulting closed-form expression enables speedups exceeding two orders of magnitude for high-dimensional Gaussian BROJA PID. Code is available at https://github.com/brainsandmachines/Eigen_PID.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
상호 정보량 추정을 위한 다양하고 포괄적인 벤치마크를 향하여
Towards Diverse and Comprehensive Benchmarks for Mutual Information Estimation
FlowEdit: 갈등을 수반하는 부적정 문제에서 LLM 추론 흐름의 정보 이론적 제어
FlowEdit: Information-Theoretic Control of LLM Reasoning Flows for Ill-posed Problems Involving Conflicts
대규모 언어 모델(LLM)은 실행 가능한 답이 있는 명확히 정의된 추론 과제에서 강한 성능을 보인다. 그러나 개방 세계에서 마주하는 문제는 일관되지 않은 조건, 상충하는 진술, 또는 상호 배타적인 요구로 인해 부적정해질 수 있으며, 유효한 응답을 허용하지 않는다. 우리는 갈등을 수반하는 이러한 부적정 문제에 대한 추론이 숨겨진 갈등을 명시화하고, 다중 추론 분기를 통해 경쟁 가설을 유지하며, 단일 패스로 대안적 응답을 생성하는 새로운 LLM 역량을 요구한다고 주장한다. 이 모든 것은 LLM의 다음 토큰 예측 메커니즘의 한계로 인해 도전적이다. 이를 위해 우리는 정보 이론적 원리를 활용하여 LLM의 내부 추론 흐름을 정량화하고 조절함으로써 유효한 가설 하에서 대안적 응답의 전체 집합을 생성하는 새로운 프레임워크인 FlowEdit을 제안한다. FlowEdit은 모델의 내부 추론 표현에 두 가지 이중 정보 이론적 목표를 적용하여 분기 인식(branch-aware) 추론 과정을 강제하는 것으로 볼 수 있다. 각 선택된 가설에서 분기 결과로의 정보 흐름을 최대화하는 동시에 형제 분기 간 겹침과 조건부 의존성을 최소화하여, 넓은 범위를 아우르는 다양하고 정보가 풍부한 응답 집합을 제공한다. 우리는 경계 임베딩(boundary embeddings)이 ε-충분(ε-sufficient)일 때 계산 가능한 변분 하한(variational bounds)을 통해 이를 달성하며, LLM 추론 과정의 기저 조건부 상호정보(conditional mutual information)를 최적화함을 보인다. 광범위한 실험은 FlowEdit이 선도적인 독점 모델을 능가하며 exact-set-match 정확도를 68% 향상시키고 전체 응답의 정보성을 24% 높인다는 것을 보여준다. 또한 흐름 조절이 토큰 스트림에서 다음 토큰 엔트로피의 재분배로 나타나며, 각 분기 내부에 집중되고, 흐름 경계에서 증폭되며, 문제가 요구하는 흐름 수에 따라 스케일링됨을 추가로 보인다.
보상 최대화자와 환경 간 상호 정보량 계산
Calculating Mutual Information between a Reward Maximizer and its Environment
AI 분야에서 중요한 질문 중 하나는 성공적인 행동이 세계에 대한 내부 표현을 어느 정도 필요로 하는지이다. 본 연구에서는 최적 정책이 기저 환경에 대해 제공하는 정보의 양을 정량화한다. 우리는 $n$개의 상태와 $m$개의 행동을 갖는 제어 마르코프 과정(Controlled Markov Process, CMP)을 고려하며, 가능한 전이 역학 공간에 대한 균등 사전분포를 가정한다. 상수가 아닌 보상 함수에 대해 최적인 결정론적 정책을 관찰하면 환경에 대해 정확히 $n \log m$ 비트의 정보를 전달한다는 것을 증명한다. 구체적으로, 환경과 최적 정책 사이의 상호 정보량이 $n \log m$ 비트임을 보인다. 이 한계는 유한 시계, 무한 시계 할인, 시간 평균 보상 최대화를 포함한 광범위한 목적 함수 클래스에 걸쳐 성립한다. 이러한 결과는 최적성에 필요한 ``암묵적 세계 모델(implicit world model)''에 대한 정밀한 정보 이론적 하한을 제공한다.
고차원 데이터에서 상호 정보량의 정확한 추정
Accurate Estimation of Mutual Information in High Dimensional Data
상호 정보(MI)는 변수 간 통계적 의존성을 정량화하며 여러 과학 분야에서 널리 사용되지만, 유한한 데이터로부터의 정확한 추정은 여전히 악명 높을 정도로 어렵다. 일반적인 접근법은 현대 실험에서 흔한 고차원·과소표본 영역($N \lesssim K$)에서 실패하며, 신경망 기반 추정기가 실패하는 시점을 검출하는 데 허용된 검정은 존재하지 않아 이를 과학적 도구로 사실상 사용할 수 없게 만든다. 우리는 통계적 의존성이 저차원 잠재 표현을 허용할 때 신경망 MI 추정기를 신뢰할 수 있게 만들 수 있음을 보인다. 이때 표본 복잡도(sample complexity)는 주변 차원이 아니라 잠재 차원 $K_Z \ll K$에 의해 지배되며, 이는 우리가 실험적으로 확인하고 랜덤 행렬 이론(random matrix theory)을 통해 이론적으로 근거를 마련한 영역 전환이다. 이 통찰에 기반하여, 우리는 신경망 추정기에 명시적 통계적 일관성 검사, 바이어스 보정, 신뢰 구간을 제공하는 실용적 프로토콜을 개발한다. 또한 우리는 표준 추정기가 무너지는 더 높은 MI 값에서 바이어스와 분산을 실질적으로 줄이는 새로운 확률적 critic(VSIB 계열)을 도입한다. 우리는 $K=500$, $N$이 256까지 낮은 합성 벤치마크, Czyz et al. (2023)의 표준 40-데이터셋 벤치마크 스위트, ResNet-20 백본을 사용한 noisy MNIST ($K=784$) 및 CIFAR-10/100 ($K=3072$)에서 이 프로토콜을 검증한다. 우리 프로토콜은 신뢰 구간을 보고하고 신뢰할 수 없는 추정치를 표시하는 유일한 접근법이면서 기존 방법과 지속적으로 동등하거나 그 이상의 성능을 달성하며, 실제 이미지에서 주변 픽셀 차원 훨씬 아래에서도 신뢰할 수 있는 MI 검출을 달성한다.
언어 모델링은 단조 압축이다
Language Modeling is Monotone Compression
인공지능과 신경과학에서 오랫동안 제기되어 온 가설은 지능이 압축(compression)과 밀접하게 관련되어 있다는 것이다: 정보를 효율적으로 압축하는 능력은 직관적으로 지능 및 학습과 관련된 역량을 반영한다. 실제로 최근의 실험적 연구들은 대규모 언어 모델(LLM)의 능력과 압축기로서의 성능 사이의 연관성을 보여줌으로써 이러한 직관을 입증하고 있다: 예를 들어, Deletang 등(ICLR'24)은 LLM이 강력한 압축기로 사용될 수 있음을 보였고, Huang 등(COLM'24)은 LLM의 압축 능력이 지식 및 추론 벤치마크 성능과 높은 상관관계를 가짐을 보였다. 본 연구에서는 이러한 연관성에 대한 이론적 연구를 시작한다. 우리의 주요 결과는 (다음 토큰 예측기(next-token predictor)로 형식화된) LLM이 단조(monotone, 순서 보존) 압축 알고리즘---즉, 인코딩 과정이 입력의 순서를 보존하는 압축 알고리즘---과 동치라는 것이다. 이는 한쪽으로부터 다른 쪽을 구성할 수 있으며, 그 과정에서 오차가 덧셈적으로 최대 2의 차이까지 보존된다는 의미에서의 동치이다. 다음으로 우리는, 이 동치 관계에서 단조성이 필수적인 조건이 되는 것이 암호학적 (infinitely-often) 일방향 함수(one-way function)가 존재하는 경우이며, 오직 그 경우에만 그러함을 보인다. 이로부터 직접적인 결론으로서 독립적으로 흥미로운 암호학적 결과를 얻는다: 어떤 분포의 다음 비트 유사 엔트로피(next-bit pseudoentropy, 엔트로피의 계산적 유사체) 개념은 그 분포의 단조 비압축성(monotone incompressibility)과 동치이다. (이전에는 비압축성이 다음 비트 유사 엔트로피를 함의한다는 것만 알려져 있었다(Haitner 등, ITCS'23).)
위험 민감 Schrödinger bridge: KL 투영이 아니다
The Risk-Sensitive Schr\"odinger Bridge: Is Not a KL Projection
Schrödinger bridge의 계산적 힘은 하나의 구조적 사실에서 나온다. Girsanov 정리에 의해 제어 문제는 고정 참조 확률측도 위의 Kullback–Leibler(KL) 투영이 되며, 교대 투영으로 풀 수 있다. 본 서신은 그 사실이 위험 민감성(risk sensitivity)에서는 유지되지 않음을 보인다. 기대 경로 비용을 엔트로피 위험 측도(entropic risk measure)로 바꾸고 두端点 주변(marginal)을 모두 강한 제약(hard constraint)으로 두면, 그때의 고정점 bridge 값 J_θ(말단 제약을 강제하는 승수에서의 soft 문제 값)는 규칙적인端点 법(endpoint law)을 갖는 어떤 고정 경로 공간 참조에 대해서도 제약 KL 최솟값으로 표현될 수 없다(균일 타원형 확산 참조보다 엄격히 더 큰 클래스이며, Markov 성질은 필요하지 않다). 초기 주변에 의존하는 가산 정규화(normalisation)를 허용해도 마찬가지이다. 더 나아가, 단일 참조 하나로 위험 매개변수에 따른 일매개변수 family 전체를 생성할 수 없다. 장애물은 닫힌 형(closed form)으로 계산된다. Gaussian bridge 값은 고정端点 밀도의 임의 Gaussian smoothing이 만족해야 하는 열 방정식(heat equation)을 정확히 θ/2만큼 위반한다. 투영 대신 이론은 말단 승수(terminal-multiplier) 고정점과, backward factor의 score energy를 penalize하는 비대칭 인수분해(asymmetric factorisation) 위에 서 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
28 pages total, including 10 pages of main text, 2 main figures, 5 supplementary sections, and 5 supplementary figures