손실차 조건부 상호정보량에 대한 정확도-정보량 트레이드오프
An Accuracy-Information Tradeoff for Loss-Difference Conditional Mutual Information
한국어 초록
손실차 조건부 상호정보량(ld-CMI)은 일반화 한계(generalization bounds)의 슈퍼샘플 계층 구조에서 표준 관측치 중 가장 작은 것을 사용합니다. 즉, 학습 모델(learner)의 손실차가 각 쌍의 후보 중 어느 후보를 바탕으로 학습되었는지에 대해 무엇을 드러내는지를 측정합니다. 정확도는 정보를 모델로 유입시키는 것으로 알려져 있으나, 데이터 처리 부등식(data processing)은 이러한 하한을 손실까지 전달하지 못합니다. 본 논문에서는 손실차의 세 가지 모멘트를 한계 지음(bounding)으로써, 정확도가 ld-CMI 또한 강제함을 보입니다. 로지스틱 손실과 같이 0에서 0이 아닌 기울기를 갖는 매끄러운 볼록 손실에 곡률과 증가율이 모두 거듭제곱 $r\ge2$인 정규화 항이 더해진 선형 예측기에서, $n$에 대해 최소 선형 차원인 스케일된 부호 큐브 상의 곱분포에 대해, 최적 표본 크기 $n\asymp\varepsilon^{-2+2/r}$에서 이 분포들에 대한 기대 초과 위험(expected excess risk)이 최대 $\varepsilon$인 모든 적합 학습자(proper learner)는 $n$ 비트 오더의 최악의 경우 ld-CMI를 가지며, 손실차에 표준편차 $τ$인 가우시안 노이즈가 주어질 경우 $\Theta(n/(1+(τ/\varepsilon)^2))$ 비트의 ld-CMI를 가집니다. 이는 정규화 항이 없는 $n\asymp\varepsilon^{-2}$인 경우에도 동일하게 성립합니다. 결과적으로 모든 적합 학습자의 일반화 격차가 $O(n^{-1/2})$임에도 불구하고, 범위 스케일된 ld-CMI 한계는 이러한 분포에서 0으로 수렴할 수 없습니다. 또한 모델 수준의 정보량이 노이즈가 있는 손실차 정보량을 결정하지 않으며, 증가율, 기울기, 그리고 로그 인자까지 고려한 차원 조건이 필요함을 보입니다.
원문 초록
Loss-difference conditional mutual information (ld-CMI) uses the smallest of the standard observations in the supersample hierarchy of generalization bounds: it measures what a learner's loss differences reveal about which candidate of each pair it was trained on. Accuracy is known to force information into the model; data processing does not carry such lower bounds to losses. We show, by bounding three moments of the loss differences, that accuracy also forces ld-CMI. For linear predictors with a smooth convex loss of nonzero slope at zero, such as the logistic loss, plus a regularizer whose curvature and growth are both of power $r\ge2$, on product distributions over a scaled sign cube in dimension at least linear in $n$, every proper learner with expected excess risk at most $\varepsilon$ on these distributions at the optimal sample size $n\asymp\varepsilon^{-2+2/r}$ has worst-case ld-CMI of order $n$ bits, and $Θ(n/(1+(τ/\varepsilon)^2))$ bits under Gaussian noise of standard deviation $τ$ on the loss differences. The same holds without a regularizer, at $n\asymp\varepsilon^{-2}$. Consequently, range-scaled ld-CMI bounds cannot vanish on these distributions, although every proper learner's generalization gap is $O(n^{-1/2})$. We also show that model-level information does not determine noisy loss-difference information, and that the growth, slope and dimension conditions are needed, the last up to a logarithm.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
v2: title metadata corrected (no change to the paper). 61 pages, of which 8 pages main text. Code, data and the Lean 4 formalization are in the ancillary files