arXiv:2610.09206v2 cs.LG

손실차 조건부 상호정보량에 대한 정확도-정보량 트레이드오프

An Accuracy-Information Tradeoff for Loss-Difference Conditional Mutual Information

Hazar Yueksel

제출 2026-10-06

저자 비고

arXiv Comments

v2: title metadata corrected (no change to the paper). 61 pages, of which 8 pages main text. Code, data and the Lean 4 formalization are in the ancillary files

한국어 초록

손실차 조건부 상호정보량(ld-CMI)은 일반화 한계(generalization bounds)의 슈퍼샘플 계층 구조에서 표준 관측치 중 가장 작은 것을 사용합니다. 즉, 학습 모델(learner)의 손실차가 각 쌍의 후보 중 어느 후보를 바탕으로 학습되었는지에 대해 무엇을 드러내는지를 측정합니다. 정확도는 정보를 모델로 유입시키는 것으로 알려져 있으나, 데이터 처리 부등식(data processing)은 이러한 하한을 손실까지 전달하지 못합니다. 본 논문에서는 손실차의 세 가지 모멘트를 한계 지음(bounding)으로써, 정확도가 ld-CMI 또한 강제함을 보입니다. 로지스틱 손실과 같이 0에서 0이 아닌 기울기를 갖는 매끄러운 볼록 손실에 곡률과 증가율이 모두 거듭제곱 $r\ge2$인 정규화 항이 더해진 선형 예측기에서, $n$에 대해 최소 선형 차원인 스케일된 부호 큐브 상의 곱분포에 대해, 최적 표본 크기 $n\asymp\varepsilon^{-2+2/r}$에서 이 분포들에 대한 기대 초과 위험(expected excess risk)이 최대 $\varepsilon$인 모든 적합 학습자(proper learner)는 $n$ 비트 오더의 최악의 경우 ld-CMI를 가지며, 손실차에 표준편차 $τ$인 가우시안 노이즈가 주어질 경우 $\Theta(n/(1+(τ/\varepsilon)^2))$ 비트의 ld-CMI를 가집니다. 이는 정규화 항이 없는 $n\asymp\varepsilon^{-2}$인 경우에도 동일하게 성립합니다. 결과적으로 모든 적합 학습자의 일반화 격차가 $O(n^{-1/2})$임에도 불구하고, 범위 스케일된 ld-CMI 한계는 이러한 분포에서 0으로 수렴할 수 없습니다. 또한 모델 수준의 정보량이 노이즈가 있는 손실차 정보량을 결정하지 않으며, 증가율, 기울기, 그리고 로그 인자까지 고려한 차원 조건이 필요함을 보입니다.

원문 초록

Loss-difference conditional mutual information (ld-CMI) uses the smallest of the standard observations in the supersample hierarchy of generalization bounds: it measures what a learner's loss differences reveal about which candidate of each pair it was trained on. Accuracy is known to force information into the model; data processing does not carry such lower bounds to losses. We show, by bounding three moments of the loss differences, that accuracy also forces ld-CMI. For linear predictors with a smooth convex loss of nonzero slope at zero, such as the logistic loss, plus a regularizer whose curvature and growth are both of power $r\ge2$, on product distributions over a scaled sign cube in dimension at least linear in $n$, every proper learner with expected excess risk at most $\varepsilon$ on these distributions at the optimal sample size $n\asymp\varepsilon^{-2+2/r}$ has worst-case ld-CMI of order $n$ bits, and $Θ(n/(1+(τ/\varepsilon)^2))$ bits under Gaussian noise of standard deviation $τ$ on the loss differences. The same holds without a regularizer, at $n\asymp\varepsilon^{-2}$. Consequently, range-scaled ld-CMI bounds cannot vanish on these distributions, although every proper learner's generalization gap is $O(n^{-1/2})$. We also show that model-level information does not determine noisy loss-difference information, and that the growth, slope and dimension conditions are needed, the last up to a logarithm.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.09206v2
  2. arXiv:2610.09206v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.