hazaryueksel.com

이 이메일 도메인이 관측된 논문 3건

arXiv:2610.09206v2cs.LG

손실차 조건부 상호정보량에 대한 정확도-정보량 트레이드오프

An Accuracy-Information Tradeoff for Loss-Difference Conditional Mutual Information

손실차 조건부 상호정보량(ld-CMI)은 일반화 한계(generalization bounds)의 슈퍼샘플 계층 구조에서 표준 관측치 중 가장 작은 것을 사용합니다. 즉, 학습 모델(learner)의 손실차가 각 쌍의 후보 중 어느 후보를 바탕으로 학습되었는지에 대해 무엇을 드러내는지를 측정합니다. 정확도는 정보를 모델로 유입시키는 것으로 알려져 있으나, 데이터 처리 부등식(data processing)은 이러한 하한을 손실까지 전달하지 못합니다. 본 논문에서는 손실차의 세 가지 모멘트를 한계 지음(bounding)으로써, 정확도가 ld-CMI 또한 강제함을 보입니다. 로지스틱 손실과 같이 0에서 0이 아닌 기울기를 갖는 매끄러운 볼록 손실에 곡률과 증가율이 모두 거듭제곱 $r\ge2$인 정규화 항이 더해진 선형 예측기에서, $n$에 대해 최소 선형 차원인 스케일된 부호 큐브 상의 곱분포에 대해, 최적 표본 크기 $n\asymp\varepsilon^{-2+2/r}$에서 이 분포들에 대한 기대 초과 위험(expected excess risk)이 최대 $\varepsilon$인 모든 적합 학습자(proper learner)는 $n$ 비트 오더의 최악의 경우 ld-CMI를 가지며, 손실차에 표준편차 $τ$인 가우시안 노이즈가 주어질 경우 $\Theta(n/(1+(τ/\varepsilon)^2))$ 비트의 ld-CMI를 가집니다. 이는 정규화 항이 없는 $n\asymp\varepsilon^{-2}$인 경우에도 동일하게 성립합니다. 결과적으로 모든 적합 학습자의 일반화 격차가 $O(n^{-1/2})$임에도 불구하고, 범위 스케일된 ld-CMI 한계는 이러한 분포에서 0으로 수렴할 수 없습니다. 또한 모델 수준의 정보량이 노이즈가 있는 손실차 정보량을 결정하지 않으며, 증가율, 기울기, 그리고 로그 인자까지 고려한 차원 조건이 필요함을 보입니다.

arXiv:2610.12211v1cs.LG

전이 기반 검증: 엄밀한 정보 프론티어와 호출 비용

Verification with Transfer: Exact Information Frontiers and Their Price in Calls

답변 전체를 수락하거나 거부하는 검증자(verifier)가 제공하는 정보는 극히 제한적입니다. $k$비트 답변에 대한 균등 사전 분포(flat prior) 하에서 오류율 0을 달성하려면 $2^k-1$번의 검증이 필요합니다. 이에 대한 일반적인 해결책은 커리큘럼처럼 관련 소스 태스크를 사전에 모두 해결하거나, 검증과 번갈아 수행(interleaving)하는 것입니다. 본 연구에서는 이 해결책의 비용을 정보량과 호출 횟수 관점에서 산정합니다. 정확한 검증자 환경에서 소스 호출과 $n$번의 검증을 임의로 번갈아 수행하여 성공 확률 $s$를 달성하는 데 필요한 최소 인과적 정보량은 리스트 율-왜곡 함수(list rate-distortion function)이며, 이는 어떠한 검증도 수행하기 전 단 한 번의 관측으로 도달할 수 있습니다. 이는 이진 소스 호출의 기댓값에 대한 하한을 제시하며, 설계된 소스는 고유한 정답에 대해 $1+\log_25$번 이내의 호출로, 일반적인 경우에는 가산 상수가 충분하지 않은 로그 항 오차 범위 내에서 이를 달성합니다. 정확한 검증자와 고정된 소스를 사용할 때, 모든 호출을 첫 번째 검증 이전으로 옮기더라도 호출에 대한 모든 엄격한 상한(hard cap)은 보존되지만, 호출을 번갈아 수행하면 기댓값 측면에서 호출 횟수를 무한히 절약할 수 있습니다. 반면 노이즈가 있는 검증자 하에서는 소스 우선 프로토콜이 정보량과 오류율에서 무한한 배수만큼의 손실을 초래할 수 있습니다. $\mathbb{F}_2$ 상의 선형 뱅크의 경우 최적 정확도는 닫힌 형태(closed form)를 가지며, 다항 시간 환원 후 $J$개의 소스와 불필요한 차원(nuisance dimension) $h$에 대해 예산 프로파일을 $2^{O(h^2)}\operatorname{poly}(J,k+h)$ 시간 내에 계산할 수 있습니다. 이러한 뱅크에서 엄격한 상한 하에 오류율 0을 달성하기 위해 올림된 정보 비용을 초과하여 소모되는 호출은 정확히 불필요한 차원에 사용된 호출과 일치합니다. 플래너에 관한 두 절을 제외한 모든 번호가 매겨진 결과는 기발표된 두 결과를 가정하여 Lean 4에서 기계 검증되었습니다. 이 프론티어를 척도로 활용한 결과, 고정된 학습(training) 예산 내에서 소형 트랜스포머(transformer)가 잠재 차원 5에서는 전달된 모든 비트를 활용하지만 11에서는 전혀 활용하지 못함을 보였습니다. 또한 학습 전 기록된 예측을 이용한 테스트에서는 타깃 비트의 낮은 XOR 차수만으로는 해당 비트의 활용을 보장하기에 충분하지 않았습니다.

arXiv:2609.36252v2cs.LG

원샷 리소스의 부호 기하학: 경로 상 타당성과 부호 곡률 기준

The Signed Geometry of One-Shot Recourse: On-Path Validity and the Signed-Curvature Criterion

닫힌 형식(closed-form)의 리소스(recourse)는 거절된 사용자를 분류기 점수 $f$의 단위 그래디언트 $\hat g$를 따라 선형화된 점수가 0에 도달하는 약속된 거리 $d_p=|f(x)|/\|\nabla f(x)\|$만큼 이동시킵니다. 본 논문에서는 이러한 원샷(one-shot) 단계가 언제 성공하는지, 그리고 추가적인 모델 쿼리가 무엇을 변화시키는지 묻습니다. 주요 차수(leading order)에서 이 단계는 경로 곡률 $κ=\hat g^\top\nabla^2 f(x)\,\hat g$가 음이 아닐 때 정확히 유리한 측면에서 끝납니다. 80개의 얕은 모델에 걸쳐, 단계가 해당 위치에서 끝나는 거절된 사용자의 비율과 $κ\ge0$인 비율은 $r=0.985$로 상관관계를 보이지만, Fashion-MNIST에서는 전자가 후자보다 평균 8.2포인트 낮게 나타납니다. 점수 값과 그래디언트만을 사용하는 규칙은 경로 곡률이 $K$로 제한된 모든 점수에 대해 일부를 $Kd_p^2/\|\nabla f(x)\|$ 차수만큼 오버슈트(overshoot)하지 않고서는 유효할 수 없습니다. 곡률이 립시츠(Lipschitz) 연속이고 스텝이 짧은 경우, 약속된 지점에서 $f$를 한 번 평가하는 것은 곡률 경계와 그 립시츠 상수를 아는 결정론적 단일 쿼리 규칙 중에서 미니맥스(minimax) 속도를 달성하며, 분할 정합 보정(split-conformal calibration)은 이러한 규칙이 최소 $1-δ$의 확률로 첫 번째 교차에 도달하거나 기권하도록 만듭니다. 비대칭 곡률 페널티를 적용한 학습은 언더슈트가 발생하기 쉬운 얕은 데이터에서 경로의 99-100%가 약속된 스텝 내에서 교차하도록 허용하지만, 대칭 페널티에 비해 약 4-22배의 오버슈트가 발생합니다(Fashion-MNIST, COMPAS). $κ$와 $d_p$는 점수가 어떻게 스케일링되는지에 따라 달라지므로 이러한 이득의 일부는 더 긴 약속된 스텝일 수 있으며, 일치된 타당성에서 짧게 학습된 모델을 대상으로 한 더 작은 감사에서는 튜닝된 인플레이션 대비 균일한 이점을 찾지 못했습니다. 광선을 따라 사용자별 라인 탐색을 감당할 수 있는 경우, 이는 그리드 해상도에 대해 정확하며 더 선호됩니다.