arXiv:2609.24942v1 cs.LG

추론 시 정확성: 분포 외 일반화를 위한 표현적 기준

Exactness at Inference: A Representational Criterion for Out-of-Distribution Generalization

Filipe Marinho Rocha, In\^es Dutra, V\'itor Santos Costa, Lu\'is Paulo Reis

제출 2026-09-22

한국어 초록

모델이 학습 분포 밖에서 일반화하려면, 생성 메커니즘에 맞춰 적합화된 근사가 아니라 그 메커니즘과 구조적으로 동등한 표현을 계산해야만 한다. 이러한 동등성은 분포 내·외에서의 정확성(exactness)에 필요하며, 외삽(extrapolation)은 구현 방식과 무관하게 추론 시 이 정확성에 의해 좌우된다. Tensor Logic이 이를 보여 준다. 영온도(zero-temperature) 수축(contraction)은 이산 논리와 동등하며, 추출된 산출물(artefact) 없이 제자리에서 추론(deducing)하고, 텐서는 Boolean, 임베딩(embedding)은 직교 정규(orthonormal)이며, 연산(arithmetic)만이 연속적이다. 무한 재귀가 없어 Prolog가 아니라 Datalog에 이르며, 닫힌 영역(closed domain)에서는 정확하지만 새로운 개체(entity)를 결합(bind)하려면 외부 메모리가 필요하다. 이 기준은 이산 표현이나 추출된 식(expression)을 요구하지 않으며, 학습이 아니라 추론을 제약한다. $[0,1]$에서의 정확한 주변(marginal)은 통과하지만, 하드 레이블로 임계값(threshold) 처리된 신경망은 통과하지 않는다. Logic Tensor Networks는 이를 만족하지 못하고, 미분 가능 ILP와 $T=0$에서의 Tensor Logic은 만족한다. 구간별 아핀(piecewise-affine) 외삽 발산과 새로운 개체 결합 불능은 정확한 표현 가능성의 부족이라는 한 결함의 두 면이다. 하이브리드 아키텍처에 대해서는 전파 규칙이 따라온다. 출력은 경로상의 모든 적합화된 추정량(estimator)의 경계(bounds)를 상속하며, 이는 equivariant 모델에서 어떤 축이 실패하는지와 ARC-AGI의 induction/transduction 분할을 설명한다. 정확한 가설 클래스(hypothesis class)만이 학습 데이터가 미결정(underdetermined)으로 남기는 것을 보증한다. 법칙(law)에서 유도된 분할(partition)에서, 답 가능한 원거리 쿼리의 $56.3\%$를 찾아내는데, 앙상블(ensemble)은 거짓 확신(false confidence)으로 이를 충족하고 거리 지표(distance metric)는 역순으로 순위를 매긴다. 대칭(symmetry)에서 메모리에 이르는 흔한 귀납적 편향(inductive bias)은 인간이 주입하기 때문에만 정확성에 이르며, 이는 학습 데이터 밖에서 잔차(residual)가 발산하고 합성(composition) 아래에서 누적되는 대리(surrogate)를 적합화하기보다 정확한 표현을 유도(inducing)해야 한다는 논거가 된다. 심지어 학습에서 산술 하한(arithmetic floor)에 있더라도 마찬가지이다.

원문 초록

A model generalizes outside its training distribution only when it computes a representation structurally equivalent to the generating mechanism, not an approximation fitted to it. Such equivalence is necessary for exactness in and out of distribution, and extrapolation is governed by this exactness at inference, whatever its realization. Tensor Logic shows this: a zero-temperature contraction is equivalent to discrete logic, deducing in place with no artefact extracted, its tensors Boolean, its embeddings orthonormal, only its arithmetic continuous. Lacking infinite recursion it reaches Datalog, not Prolog, and though exact over closed domains it needs external memory to bind a novel entity. The criterion needs neither a discrete representation nor an extracted expression, and constrains inference, not training: an exact marginal in $[0,1]$ passes, a Neural Network thresholded to a hard label does not. Logic Tensor Networks fail it, while differentiable ILP and Tensor Logic at $T=0$ pass. Piecewise-affine extrapolation divergence and an inability to bind novel entities are two faces of a shortfall in exact representability. For hybrid architectures, a propagation rule follows: the output inherits the bounds of every fitted estimator on its path, explaining which axes fail in equivariant models and the ARC-AGI induction/transduction split. Only an exact hypothesis class certifies what the training data leave underdetermined: on a law-derived partition it finds the $56.3\%$ of distant queries that are answerable, which ensembles meet with false confidence and distance metrics rank backwards. Common inductive biases, from symmetries to memory, reach exactness only because humans inject them, an argument for inducing exact representations rather than fitting surrogates whose residuals, even at the arithmetic floor in training, diverge outside the data and compound under composition.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.24942v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.