기저 텐서 네트워크에서 모수적 텐서 분해를 통한 확률적 추론에 대하여
On Probabilistic Inference Through Parametric Tensor Decomposition in Base Tensor Networks
한국어 초록
확률적 추론(inference)은 일반적으로 트리폭(treewidth)이 낮은 그래피컬 모델(graphical model)에서만 계산적으로 다룰 수 있어(tractable), 트리폭이 높은 환경에서의 실질적인 적용에 한계가 있습니다. 기존의 많은 방법은 대칭성과 같은 특정한 모수적(parametric) 구조를 활용하여 효율성을 향상시킵니다. 그러나 이러한 방법들은 대개 해당 구조가 사전에 명시적으로 존재해야 하므로, 더 넓은 범위의 그래피컬 모델에 적용하기 어렵습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 모수적 구조가 사전에 명시적으로 존재할 것을 요구하지 않고 잠재된 모수적 구조를 활용함으로써 다루기 쉬운(tractable) 추론을 제어하는 프레임워크를 제안합니다. 제안하는 접근 방식은 먼저 그래피컬 모델을 기저 텐서 네트워크(base tensor network)라고 부르는 특정 텐서(tensor) 네트워크 표현으로 재매개변수화합니다. 이 표현은 모수적 구조를 통해 추론의 다루기 쉬운 특성을 제어할 수 있게 하는 두 가지 핵심적인 성질을 제공합니다: 1) 첫째, 추론 복잡도는 주로 기저 텐서(base tensor)라는 단일 텐서의 모수적 구조에 의해 결정됩니다. 본 연구에서는 전체 기저 텐서 네트워크를 효율적으로 축약(contraction)할 수 있는 몇 가지 다루기 쉬운 기저 텐서 클래스를 규명합니다. 2) 둘째, 기저 텐서를 분해하면 다시 기저 텐서 네트워크들의 모음이 생성됩니다. 이를 통해 추론 문제를 충분한 모수적 구조를 지닌 다루기 쉬운 구성 요소들로 기저 텐서를 분해하는 문제로 자연스럽게 귀결시킬 수 있습니다. 본 연구에서는 이 절차를 모수적 텐서 분해(parametric tensor decomposition)라고 부릅니다. 기저 텐서 내의 모수적 구조를 활용함으로써, 본 프레임워크는 이러한 구조가 명시적으로 존재하는 환경을 넘어 추론에 대한 새로운 관점을 제시합니다.
원문 초록
Probabilistic inference is generally only tractable in low-treewidth graphical models, limiting its effective applicability in high-treewidth settings. Many existing methods improve efficiency by exploiting specific parametric structure, such as symmetries. However, they typically require such structure to be explicitly present, limiting their applicability to a broader range of graphical models. To address this limitation, we propose a framework where tractable inference is controlled by latent parametric structure exploitation, rather than requiring it to be explicitly present a priori. Our approach first reparameterises a graphical model as a specific tensor network representation, which we call a base tensor network. This representation yields two key properties that allow inference tractability to be controlled by parametric structure: 1) First, the complexity of inference is mainly determined by the parametric structure of a single tensor, called the base tensor. We characterise several tractable classes of base tensors for which the entire base tensor network can be contracted efficiently. 2) Second, decomposing the base tensor yields again a collection of base tensor networks. This allows inference to be naturally reduced to decomposing the base tensor into tractable components with sufficient parametric structure. We call this procedure parametric tensor decomposition. By exploiting parametric structure within the base tensor, our framework enables a novel view on inference beyond settings where such structure is explicitly present.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23774v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 추론 모델에서 추론 시점 역량과 효율성의 스케일링
Scaling of Capability and Efficiency at Inference Time in Large Reasoning Models
역량과 효율성은 대규모 언어 모델(LLM)에서 추론의 두 가지 핵심 차원이다. 역량은 주어진 문제를 올바르게 풀 능력을, 효율성은 제한된 자원으로 그렇게 할 수 있는 능력을 가리킨다. LLM이 사고의 연쇄(Chain-of-Thought, CoT) 추론을 사용해 난이도가 통제된 문제를 풀 때, 올바르게 풀린 문제 수와 정답에 도달하는 데 필요한 토큰(token) 수는 모두 문제 난이도와 모델(model) 크기에 따라 달라진다. 그러나 이러한 요인들이 역량과 효율성을 어떻게 공동으로 형성하는지는 여전히 잘 이해되지 않았다. 본 연구에서는 계층 베이지안(hierarchical Bayesian) 모델을 사용해 DeepSeek-R1-Distill 모델 계열의 LLM에 대해 산술 및 알고리즘 추론 문제 네 클래스 전반에서 역량과 효율성을 평가한다. 고정된 모델 크기에서, 사례를 올바르게 풀 확률은 문제 난이도의 대리 변수인 사례 크기에 대해 대략 지수적으로 감쇠한다. 감쇠 스케일은 모델 크기에 대해 아선형(sublinearly)으로 증가하며, 이는 더 큰 모델이 더 역량이 높지만 역량 향상이 스케일(scale)에 따라 수확 체감(diminishing returns)을 보임을 나타낸다. 출력 길이는 난이도의 대리 변수인 사례 크기에 대해 거듭제곱 법칙(power law)으로 증가한다. 그러나 이 거듭제곱 법칙의 매개변수는 모델 크기에 따라 체계적으로 변하지 않으며, 이는 더 큰 모델이 더 효율적이 되지 않음을 시사한다. 종합하면, 이러한 결과는 더 역량 있는 AI 시스템을 개발하기 위한 전략으로서 순진한 스케일링(naive scaling)의 잠재적 한계를 드러낸다: 역량은 수확 체감과 함께 개선되지만, 효율성은 거의 또는 전혀 개선되지 않는다.
트랜스포머 Key-Value 캐시의 텐서 분해: 스펙트럼 구조와 포맷 비교
Tensor Decomposition of Transformer Key-Value Caches: Spectral Structure and Format Comparison
자기회귀 트랜스포머의 키-값(KV) 캐시는 어텐션 헤드, 토큰, 특징, 그룹화된 층에 걸친 4차 텐서로 볼 수 있다. 본 연구에서는 Mistral-7B-v0.3과 LLaMA-2-13B에서 네 가지 모드 전개(mode unfolding) 모두의 특이값 스펙트럼을 측정하고, 동일한 저장 용량 조건에서 Tucker, CP, 텐서 트레인(tensor train), t-SVD의 네 가지 표준 텐서 분해를 비교한다. 스펙트럼은 네 축을 두 부류로 나눈다. 토큰 모드와 특징 모드는 특히 키(key)에서 저순위(low-rank) 구조를 보인다. 반면 헤드 모드와 층 모드는 거의 전순위(full-rank)이며, 실용적인 어떤 오차 수준에서도 압축에 저항한다. 네 가지 분해 중 Tucker는 전순위 모드를 그대로 둘 수 있기 때문에 $2\times$에서 $5\times$까지 모든 압축률에서 가장 낮은 복원 오차를 달성한다. 2차원 전개(unfolding) 기준선과의 비교에서는 키와 값(value)에 따라 선호되는 표현이 다르다는 점이 나타난다. 동일한 저장 용량에서 2D 방법은 더 낮은 키 오차를 달성하는 반면, 4방향 Tucker는 더 낮은 값 오차를 달성한다. 모드 고정(mode-pinning) 정리는 측정된 스펙트럼만으로 전순위 모드가 보존됨을 보증한다. 전순위 모드에는 영향을 주지 않으면서 압축 가능한 모드에 영향을 미치는 두 가지 스펙트럼 특성이 더 있다. 값은 모든 압축률에서 키보다 더 높은 오차 하한(error floor)에 도달하며, RoPE 이후의 키는 두 모델 모두에서 RoPE 이전 압축 가능성의 $41\%$ - $64\%$를 잃는다.
머신러닝을 활용한 재귀적 상태 추정에서 근사 솔버의 수리 가능성
Repairability of Inexact Solvers in Recursive State Estimation with Machine Learning
재귀적 상태 추정은 종종 피드백 루프 안에서 근사적인 수치 해를 실행하며, 국소적으로 매우 정확한 단계가 전체적으로 더 나은 결과를 보장하지는 않는다. 고정된 선형 Kalman 모델에 대해, 규정된 부분공간과 노름 예산 내 보정이 국소 허용 가능성 허용 오차를 충족할 수 있는 조건을 특성화하고, 실제로 실행된 결함이 유한 구간 공분산 응답에 미치는 영향을 분석한다. 구현된 공분산에 대한 정확한 이득(gain)을 중심으로 각 결함을 두면 현재 솔브 오류와 상속된 이득 드리프트를 분리할 수 있다. 정확한 잔차-드리프트 항등식을 전개하면 2차 응답을 넘어 상반되는 4차 기여가 드러난다. 혁신(innovation) 공분산 팽창은 양의 방향으로, 국소 이득 재최적화는 음의 방향으로 작용한다. 일치하는 초기화 하에서, 고정 구간에서 유계 결함 열에 대해 균일한 절대 6차 나머지 상한은 2차 과소 또는 과대 예측에 대한 충분 조건을 제공한다. 머신러닝은 유계 보정을 제안하고, 학습기에 독립적인 잔차 증명서(residual certificate)와 검증된 폴백(fallback)이 기준 추정기를 바꾸지 않은 채 고전 및 양자 후보의 실행을 관장한다. 전력망 허용 오차 연구에서, 학습된 보정은 동일한 잔차 증명서 하에서 보정되지 않은 솔브에 비해 폴백 없이 배포할 때 최소 �共轭梯度(conjugate-gradient) 반복 횟수를 낮춘다. 변분 양자 선형 솔버와 어닐링 기반 이진 인코딩으로 재구성된 이득은 초전도 하드웨어上的 소규모 단말 측정과 양자 어닐러(quantum annealer)上的 샘pling을 거쳐 동일한 인터페이스로 실행된다. 국소 수리 가능성을 비선형 오류 전파와 연결함으로써, 이 프레임워크는 독립적 인증과 유한 구간 응답을 통해 근사 솔버와 학습된 보정을 평가하며, 하이브리드 양자-고전 계산 연구를 위한 실용적 토대를 제공한다.
XLOG: 신경기호 통합을 위한 CUDA 네이티브 엔진
XLOG: A CUDA-Native Engine for Neurosymbolic Integration
xlog는 타입 프론트엔드와 제공자 소유(provider-owned) CUDA 런타임을 통해 신경망 지각을 결정론적 데이탈로그(Datalog), 확률적 추론, 인식론적 세계관과 통합하는 CUDA 네이티브 논리 프로그래밍 엔진입니다. 추론 모드들은 디바이스 데이터 평면을 공유하지만 실행 경계는 서로 다릅니다. 일반 데이탈로그와 정확 추론(exact inference)은 호스트가 오케스트레이션하는 반면, 인증된 상주 재귀(certified resident recursive) 및 몬테카를로 샘플링 코어는 유계 종단 수신(bounded terminal receipt) 전까지 추적 대상 호스트-디바이스 전송을 0회 기록합니다. 확률적 경로는 프로버넌스(provenance)부터 CNF, Decision-DNNF에 이르는 GPU 지식 컴파일, 정확 가중치 모델 카운팅(exact weighted model counting), 역방향 그래디언트를 통해 엔드투엔드 그래디언트를 지원합니다. 최종 평활화된 회로는 캐싱 또는 평가 전에 소스 포뮬러에 대해 검증(certified)됩니다. 회로 캐싱을 통해 MNIST 덧셈 학습에서 2.74배의 속도 향상을 얻었으며, 최악 조건 최적 조인(worst-case-optimal join) 서브시스템은 xlog의 이항 조인 기준선 대비 27.96배의 기하 평균 이득을 보입니다. MNIST 덧셈 정확도는 Scallop과 대등하지만(0.9561 대 0.9468), 기준선 에포크 시간이 CPU 할당량에 따라 달라지므로 에포크당 속도 주장은 하지 않습니다. 5개의 허브 편향 삼각형 카운팅 사례에서 Souffle 대비 융합 xlog의 실행 시간 비율은 Souffle이 더 빠른 15만 개 엣지에서의 0.88배에서 120만 개에서의 5.54배로 증가하며, 융합 피크 디바이스 할당량은 구체화(materializing) 암의 3,287~44,979MB에 비해 85~1,033MB입니다. 정확 추론은 ProbLog2와 정확도 측면에서 동등하지만 더 느립니다. 공개 비디오 벤치마크에서는 기호적 크레딧(symbolic credit)으로만 학습된 근접 술어가 동일한 홀드아웃 정확도를 유지하면서 수작업으로 설정된 기하 구조를 대체하지만, Event-Calculus 규칙 탐색 내에서는 10겹 교차 검증에 실패하며 누출 없는(leak-free) 분할에서는 전이되지 않습니다. 해양 코퍼스에서 가중치 부여 절(weighted clauses)은 크리스프(crisp) 선택 대비 F1 점수에서 0.065 앞섰으며, 이 결과는 단일 시계열 학습 패스로 재현되었습니다.
Probabilistic Streaming Tensor Decomposition
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.