PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.03487v2cs.LG

상호 정보량 추정을 위한 다양하고 포괄적인 벤치마크를 향하여

Towards Diverse and Comprehensive Benchmarks for Mutual Information Estimation

Mutual information estimation is a central problem in machine learning and statistics; however, existing benchmarks typically evaluate estimators on simplified, low-dimensional distributions, leaving their performance on complex, realistic data largely unexplored. We address this gap with a comprehensive benchmarking framework grounded in a unified copula-theoretic perspective that subsumes existing benchmarks as special cases. Within this framework, we propose two complementary families of tests: a copula-first family that systematically varies ground-truth mutual information, dimensionality, and marginal complexity using synthetic and flow-based transformations; and a marginals-first family that couples real-world image data with controlled dependency structures, extending the classic same-class-pairing paradigm. We use this suite to extensively evaluate three classes of estimators: non-parametric, variational, and generative. Contrary to prevailing assumptions, our results indicate that there is no universal winner: each category can systematically outperform all other estimators under specific setups. By analyzing these cases, we identify fundamental estimation barriers and propose new tests that more effectively stress these specific limitations. We share the open source code at https://github.com/VanessB/mutinfo.

arXiv:2610.13464v1cs.IT

닫힌 형식의 가우시안 BROJA 부분 정보 분해

Gaussian BROJA Partial Information Decomposition in Closed Form

BROJA 부분 정보 분해(partial information decomposition, PID)는 두 개의 정보원(source)이 목표 변수(target)에 대해 전달하는 정보를 고유 정보(unique), 중복 정보(redundant), 시너지 정보(synergistic) 구성요소로 분리하는 조작적으로 타당한 방식을 제공합니다. 그러나 연속형 및 고차원 변수의 경우 BROJA 분해를 계산하려면 어려운 최적화 문제를 풀어야 합니다. 이전 연구에서는 각 정보원-목표 변수 쌍이 결합 가우시안(jointly Gaussian) 분포를 따를 때 이 문제가 유한 차원 수치 최적화로 축소될 수 있음을 보여주었습니다. 본 연구에서는 이 최적화 문제에 대한 닫힌 형식의 해(closed-form solution)를 도출하여 일반적인 다변량 가우시안 환경에서 BROJA 분해를 직접 계산할 수 있도록 합니다. 이를 통해 도출된 닫힌 형식 표현은 고차원 가우시안 BROJA PID에 대해 두 자릿수(100배) 이상의 속도 향상을 가능하게 합니다. 코드는 https://github.com/brainsandmachines/Eigen_PID 에서 확인할 수 있습니다.

arXiv:2607.20553v1cs.AI

CMI-Mem: CMI 증강 강화학습을 통한 일반화 가능한 장기 메모리 관리

CMI-Mem: Toward Generalizable Long-Term Memory Management via CMI-Augmented Reinforcement Learning

메모리 관리자 모델은 에이전트 시스템에서 핵심적이다. 기존 방법은 주로 LLM이 판단한 합성 질의응답(QA) 쌍에 의존하여, 메모리 가치 평가가 샘플링된 쿼리와 하위(downstream) 리더에 종속되게 만든다. 이 한계를 해결하기 위해, 우리는 하위 QA 정확도와 내재적 조건부 상호정보량(Conditional Mutual Information, CMI)을 결합한 하이브리드 보상을 갖춘 강화학습(RL) 기반 경량 메모리 관리자 모델인 CMI-Mem을 제안한다. CMI는 샘플링된 QA 쿼리에 조건을 걸지 않고, 현재 메모리 상태 대비 새로운 대화 입력이 기여하는 정보를 평가하므로, QA 그라운딩(grounding)을 대체하기보다 이를 보완한다. 코드는 https://github.com/Wyb0627/CMIMem 에서, CMI-Mem-4B 모델 체크포인트는 https://www.modelscope.cn/models/wyb0627/CMIMem-4B 에서 이용할 수 있다.

arXiv:2607.20500v1cs.AI

FlowEdit: 갈등을 수반하는 부적정 문제에서 LLM 추론 흐름의 정보 이론적 제어

FlowEdit: Information-Theoretic Control of LLM Reasoning Flows for Ill-posed Problems Involving Conflicts

대규모 언어 모델(LLM)은 실행 가능한 답이 있는 명확히 정의된 추론 과제에서 강한 성능을 보인다. 그러나 개방 세계에서 마주하는 문제는 일관되지 않은 조건, 상충하는 진술, 또는 상호 배타적인 요구로 인해 부적정해질 수 있으며, 유효한 응답을 허용하지 않는다. 우리는 갈등을 수반하는 이러한 부적정 문제에 대한 추론이 숨겨진 갈등을 명시화하고, 다중 추론 분기를 통해 경쟁 가설을 유지하며, 단일 패스로 대안적 응답을 생성하는 새로운 LLM 역량을 요구한다고 주장한다. 이 모든 것은 LLM의 다음 토큰 예측 메커니즘의 한계로 인해 도전적이다. 이를 위해 우리는 정보 이론적 원리를 활용하여 LLM의 내부 추론 흐름을 정량화하고 조절함으로써 유효한 가설 하에서 대안적 응답의 전체 집합을 생성하는 새로운 프레임워크인 FlowEdit을 제안한다. FlowEdit은 모델의 내부 추론 표현에 두 가지 이중 정보 이론적 목표를 적용하여 분기 인식(branch-aware) 추론 과정을 강제하는 것으로 볼 수 있다. 각 선택된 가설에서 분기 결과로의 정보 흐름을 최대화하는 동시에 형제 분기 간 겹침과 조건부 의존성을 최소화하여, 넓은 범위를 아우르는 다양하고 정보가 풍부한 응답 집합을 제공한다. 우리는 경계 임베딩(boundary embeddings)이 ε-충분(ε-sufficient)일 때 계산 가능한 변분 하한(variational bounds)을 통해 이를 달성하며, LLM 추론 과정의 기저 조건부 상호정보(conditional mutual information)를 최적화함을 보인다. 광범위한 실험은 FlowEdit이 선도적인 독점 모델을 능가하며 exact-set-match 정확도를 68% 향상시키고 전체 응답의 정보성을 24% 높인다는 것을 보여준다. 또한 흐름 조절이 토큰 스트림에서 다음 토큰 엔트로피의 재분배로 나타나며, 각 분기 내부에 집중되고, 흐름 경계에서 증폭되며, 문제가 요구하는 흐름 수에 따라 스케일링됨을 추가로 보인다.

arXiv:2602.12963v2cs.AI

보상 최대화자와 환경 간 상호 정보량 계산

Calculating Mutual Information between a Reward Maximizer and its Environment

AI 분야에서 중요한 질문 중 하나는 성공적인 행동이 세계에 대한 내부 표현을 어느 정도 필요로 하는지이다. 본 연구에서는 최적 정책이 기저 환경에 대해 제공하는 정보의 양을 정량화한다. 우리는 $n$개의 상태와 $m$개의 행동을 갖는 제어 마르코프 과정(Controlled Markov Process, CMP)을 고려하며, 가능한 전이 역학 공간에 대한 균등 사전분포를 가정한다. 상수가 아닌 보상 함수에 대해 최적인 결정론적 정책을 관찰하면 환경에 대해 정확히 $n \log m$ 비트의 정보를 전달한다는 것을 증명한다. 구체적으로, 환경과 최적 정책 사이의 상호 정보량이 $n \log m$ 비트임을 보인다. 이 한계는 유한 시계, 무한 시계 할인, 시간 평균 보상 최대화를 포함한 광범위한 목적 함수 클래스에 걸쳐 성립한다. 이러한 결과는 최적성에 필요한 ``암묵적 세계 모델(implicit world model)''에 대한 정밀한 정보 이론적 하한을 제공한다.

arXiv:2607.01392v1cs.CL

Multi-Objective Exploration and Preference Optimization via Mutual Information

다양한 인간 가치와의 정렬을 위해 온라인 다목적 최적화 시 발생하는 탐색 불확실성 문제를 해결하고자, 상호정보량(mutual information) 최대화를 통해 생성 응답과 선호 벡터 간의 정렬 및 구별 가능한 탐색을 동시에 촉진하는 정보이론적 프레임워크 MI-EPO를 제안한다. 안전성 정렬 및 유용한 어시스턴트 태스크 실험에서 MI-EPO는 기존 MO-ODPO 대비 응답과 선호 벡터 간 정렬을 크게 향상시키고 다목적 간 안정적인 트레이드오프를 달성하였다.

arXiv:2607.02199v1eess.SP

Fourier Preconditioning for Neural Feature Learning

H-Score 기반 특징 학습(feature learning)에서 유한 폭(finite-width) 신경망의 절단 오차(truncation error)가 입력 기저(basis)에 민감함을 이론적으로 증명하고, 근사 정상(stationary) 과정에 대해 FFT를 저비용 전처리기(preconditioner)로 적용하면 8개 다변량 데이터셋에서 NMSE를 최대 50%까지 감소시킬 수 있음을 실험으로 검증했다. 또한 네트워크 학습 전에 스펙트럼 엔트로피와 누적 의존 에너지 기반의 학습-불필요(training-free) 지표를 도입해 FFT 전처리의 효과를 사전 예측할 수 있음을 보였다.

arXiv:2602.19473v3stat.ME

일반화된 언더랩 계수와 클러스터링에의 응용

The generalized underlap coefficient with an application in clustering

언더랩 계수(UNL)를 다변량 및 혼합형 변수로 일반화하고, 베이즈 위험(Bayes risk)·상호 정보량(mutual information)과의 이론적 관계를 규명하며, 고차원에서 확장 가능한 중요도 샘플링(importance sampling) 기반 추정량을 제안한다. 클러스터링에서 분할-공변량 의존성을 평가하는 핵심 응용을 유방암 유전체 데이터셋과 독성학 데이터셋에 적용하여 방법론의 유용성을 실증한다.

arXiv:2606.21593v1cs.LG

심층 학습에서 표현의 기하학적 및 정보 압축

Geometric and Information Compression of Representations in Deep Learning

심층 신경망은 입력 데이터를 다양한 다운스트림 태스크를 지원하는 잠재 표현으로 변환한다. 이러한 표현은 정보 이론적 차원과 기하학적 차원에서 특성화할 수 있으나, 두 차원 간의 관계는 아직 충분히 이해되지 않은 상태다. 핵심적인 미해결 질문은 입력과 표현 사이의 낮은 상호 정보량(MI)이 필연적으로 기하학적으로 압축된 잠재 공간을 함의하는지, 그리고 그 역도 성립하는지 여부다. 우리는 이 질문을 클래스별 클러스터링을 기하학적 압축의 척도로 사용하고, 조건부 엔트로피 병목(CEB) 네트워크 및 연속 드롭아웃 네트워크에서 이론적으로 건전한 MI 추정을 통해 탐구한다. 우리는 통제된 노이즈 주입 방식 하에서 분류 태스크에서 MI, 기하학적 압축, 그리고 일반화 간의 상호작용을 평가한다. 우리의 연구 결과는 낮은 MI가 기하학적 압축에 신뢰성 있게 대응하지 않으며, 두 요소 간의 연결이 흔히 가정되는 것보다 더 복잡한 양상을 띤다는 것을 보여준다. 실제로, 우리의 실험은 학습 설정을 달리할 때 역전될 수 있는 부정적이고 비선형적인 관계를 드러낸다. 우리의 결과는 일반화가 이 연결의 직접적인 결과라기보다는 잠재적인 교란 변수로 작용한다는 가설을 제시한다.

arXiv:2606.18997v1cs.LG

DIPHINE: Diffusion-based $Φ$-ID Neural Estimator

연속적 비가우시안 동역학에 적용하기 어려웠던 통합 정보 분해(ΦID)를 위해, DIPHINE은 점수 기반 확산 모델로 필요한 상호정보 항을 단일 아모티제이션 네트워크에서 공동 추정하고 뫼비우스 반전으로 16개 원자를 복원하는 최초의 신경망 추정기를 제안한다. 합성 벤치마크에서 정답 원자를 정확히 복원하고 기존 상호정보 추정기보다 우수하며, 분포 가정 없이 실제 심폐 데이터에서 생리학적으로 해석 가능한 정보 역학 구조를 추출할 수 있음을 보였다.

arXiv:2506.00330v3physics.data-an

고차원 데이터에서 상호 정보량의 정확한 추정

Accurate Estimation of Mutual Information in High Dimensional Data

상호 정보(MI)는 변수 간 통계적 의존성을 정량화하며 여러 과학 분야에서 널리 사용되지만, 유한한 데이터로부터의 정확한 추정은 여전히 악명 높을 정도로 어렵다. 일반적인 접근법은 현대 실험에서 흔한 고차원·과소표본 영역($N \lesssim K$)에서 실패하며, 신경망 기반 추정기가 실패하는 시점을 검출하는 데 허용된 검정은 존재하지 않아 이를 과학적 도구로 사실상 사용할 수 없게 만든다. 우리는 통계적 의존성이 저차원 잠재 표현을 허용할 때 신경망 MI 추정기를 신뢰할 수 있게 만들 수 있음을 보인다. 이때 표본 복잡도(sample complexity)는 주변 차원이 아니라 잠재 차원 $K_Z \ll K$에 의해 지배되며, 이는 우리가 실험적으로 확인하고 랜덤 행렬 이론(random matrix theory)을 통해 이론적으로 근거를 마련한 영역 전환이다. 이 통찰에 기반하여, 우리는 신경망 추정기에 명시적 통계적 일관성 검사, 바이어스 보정, 신뢰 구간을 제공하는 실용적 프로토콜을 개발한다. 또한 우리는 표준 추정기가 무너지는 더 높은 MI 값에서 바이어스와 분산을 실질적으로 줄이는 새로운 확률적 critic(VSIB 계열)을 도입한다. 우리는 $K=500$, $N$이 256까지 낮은 합성 벤치마크, Czyz et al. (2023)의 표준 40-데이터셋 벤치마크 스위트, ResNet-20 백본을 사용한 noisy MNIST ($K=784$) 및 CIFAR-10/100 ($K=3072$)에서 이 프로토콜을 검증한다. 우리 프로토콜은 신뢰 구간을 보고하고 신뢰할 수 없는 추정치를 표시하는 유일한 접근법이면서 기존 방법과 지속적으로 동등하거나 그 이상의 성능을 달성하며, 실제 이미지에서 주변 픽셀 차원 훨씬 아래에서도 신뢰할 수 있는 MI 검출을 달성한다.