원샷 리소스의 부호 기하학: 경로 상 타당성과 부호 곡률 기준
The Signed Geometry of One-Shot Recourse: On-Path Validity and the Signed-Curvature Criterion
한국어 초록
닫힌 형식(closed-form)의 리소스(recourse)는 거절된 사용자를 분류기 점수 $f$의 단위 그래디언트 $\hat g$를 따라 선형화된 점수가 0에 도달하는 약속된 거리 $d_p=|f(x)|/\|\nabla f(x)\|$만큼 이동시킵니다. 본 논문에서는 이러한 원샷(one-shot) 단계가 언제 성공하는지, 그리고 추가적인 모델 쿼리가 무엇을 변화시키는지 묻습니다. 주요 차수(leading order)에서 이 단계는 경로 곡률 $κ=\hat g^\top\nabla^2 f(x)\,\hat g$가 음이 아닐 때 정확히 유리한 측면에서 끝납니다. 80개의 얕은 모델에 걸쳐, 단계가 해당 위치에서 끝나는 거절된 사용자의 비율과 $κ\ge0$인 비율은 $r=0.985$로 상관관계를 보이지만, Fashion-MNIST에서는 전자가 후자보다 평균 8.2포인트 낮게 나타납니다. 점수 값과 그래디언트만을 사용하는 규칙은 경로 곡률이 $K$로 제한된 모든 점수에 대해 일부를 $Kd_p^2/\|\nabla f(x)\|$ 차수만큼 오버슈트(overshoot)하지 않고서는 유효할 수 없습니다. 곡률이 립시츠(Lipschitz) 연속이고 스텝이 짧은 경우, 약속된 지점에서 $f$를 한 번 평가하는 것은 곡률 경계와 그 립시츠 상수를 아는 결정론적 단일 쿼리 규칙 중에서 미니맥스(minimax) 속도를 달성하며, 분할 정합 보정(split-conformal calibration)은 이러한 규칙이 최소 $1-δ$의 확률로 첫 번째 교차에 도달하거나 기권하도록 만듭니다. 비대칭 곡률 페널티를 적용한 학습은 언더슈트가 발생하기 쉬운 얕은 데이터에서 경로의 99-100%가 약속된 스텝 내에서 교차하도록 허용하지만, 대칭 페널티에 비해 약 4-22배의 오버슈트가 발생합니다(Fashion-MNIST, COMPAS). $κ$와 $d_p$는 점수가 어떻게 스케일링되는지에 따라 달라지므로 이러한 이득의 일부는 더 긴 약속된 스텝일 수 있으며, 일치된 타당성에서 짧게 학습된 모델을 대상으로 한 더 작은 감사에서는 튜닝된 인플레이션 대비 균일한 이점을 찾지 못했습니다. 광선을 따라 사용자별 라인 탐색을 감당할 수 있는 경우, 이는 그리드 해상도에 대해 정확하며 더 선호됩니다.
원문 초록
Closed-form recourse moves a rejected user along the unit gradient $\hat g$ of the classifier score $f$ by the promised distance $d_p=|f(x)|/\|\nabla f(x)\|$, at which the linearized score reaches zero. We ask when this one-shot step succeeds and what additional model queries change. To leading order the step ends on the favorable side exactly when the path curvature $κ=\hat g^\top\nabla^2 f(x)\,\hat g$ is nonnegative. Across 80 shallow models, the fraction of rejected users whose step ends there and the fraction with $κ\ge0$ correlate at $r=0.985$, although on Fashion-MNIST the first falls below the second by 8.2 points on average. No rule that uses only the score value and gradient can be valid for every score with path curvature bounded by $K$ without overshooting some by order $Kd_p^2/\|\nabla f(x)\|$. When the curvature is also Lipschitz and the step is short, one evaluation of $f$ at the promised point attains the minimax rate among deterministic one-query rules that know the curvature bound and its Lipschitz constant, and split-conformal calibration makes such a rule reach the first crossing or abstain with probability at least $1-δ$. Training with an asymmetric curvature penalty lets 99-100% of paths cross within the promised step on undershoot-prone shallow data, at about 4-22 times the overshoot of symmetric penalties (Fashion-MNIST, COMPAS). Because $κ$ and $d_p$ depend on how the score is scaled, part of this gain can be a longer promised step, and at matched validity a smaller audit of briefly trained models finds no uniform advantage over tuned inflation. Where a per-user line search along the ray is affordable, it is exact to grid resolution and preferable.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Optimal distribution-free sequential change detection with conformal martingales
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
라벨 조건부 등각 예측을 활용한 라디오믹스 기반 갑상선 결절 분류
Radiomics-Based Thyroid Nodule Classification with Label-Conditional Conformal Prediction
갑상선 결절의 악성도 평가는 초음파 영상에 의존하지만, 기존의 위험 계층화 시스템은 관찰자 간 상당한 변동성으로 인해 불필요한 생검 비율이 높아지는 문제를 겪고 있습니다. 본 논문에서는 PyRadiomics를 통한 정량적 특징 추출과 일반화 가산 모델(GAM) 분류기를 결합한 라디오믹스(radiomics) 기반 프레임워크를 제안합니다. 이 분류기는 판별 성능과 해석 가능성 간의 우수한 절충점을 보여 6개의 후보 중 선정되었습니다. 점 예측을 불확실성 추정으로 보완하기 위해 라벨 조건부 보장을 갖춘 교차 등각 예측(Cross-Conformal Prediction)을 적용하여, 이진 결정을 강제하기보다는 모호한 사례를 임상 검토 대상으로 플래깅(flagging)합니다. 실험은 갑상선 결절의 공개 초음파 데이터셋인 TN5000에서 수행되었습니다. 스피어만 상관관계 필터링 후 36개의 특징이 유지되었으며, GAM은 검증 세트에서 $0.89$의 AUC, $0.83$의 민감도, $0.82$의 특이도를 달성했습니다. 두 클래스 모두에 대한 실증적 커버리지 보장을 보장하도록 선택된 유의수준 $ε=0.09$에서, 테스트 세트 결절의 63\%가 확실한(즉, 단일 라벨) 예측을 받았으며, 확실한 악성에 대해서는 $0.94$의 조건부 정밀도와 확실한 양성 사례에 대해서는 $0.73$의 조건부 음성 예측도(NPV)를 기록한 반면, 나머지 37\%는 임상의에게 의뢰되었습니다.
시간 가변적 계층 인프라에서의 전기차 충전 확률적 예측
Probabilistic Forecasting of Electric Vehicle Charging in a Time-varying Hierarchical Infrastructure
전기차(EV) 보급 확대가 전력 시스템에 가하는 부담을 유연성의 원천으로 전환하기 위해서는 전기차 충전 수요에 대한 불확실성 정량화가 필수적이다. 본 연구에서는 개별 충전 지점부터 지역 및 국가 단위에 이르기까지 여러 집계 수준에 걸쳐 계층적 구조를 보이는 스코틀랜드의 대규모 공공 충전소 데이터셋을 분석한다. 충전 인프라는 새로운 충전소가 설치되고 기존 충전소가 때때로 제거되는 등 지속적으로 변화하고 있으며, 이에 따라 이러한 진화하는 구조에 맞춤화된 예측 및 불확실성 정량화 기법이 요구된다. 이러한 문제를 해결하기 위해, 계층적 예측과 결측 데이터를 다루는 등각 예측(conformal prediction)의 최신 발전 성과를 결합한다. 고려된 등각 절차는 계층 구조의 모든 노드에서 유효한 예측 구간을 생성하며, CP-MNR-Nested 알고리즘은 데이터의 시간 가변적 계층 구조를 성공적으로 반영한다.
컨포멀 불확실성 추정을 적용한 초음파 영상 내 갑상선 결절 분할
Thyroid Nodule Segmentation in Ultrasound Images with Conformal Uncertainty Estimation
갑상선 결절은 일반 인구의 상당 비율에서 발생합니다. 대부분은 양성이지만, 악성인 경우도 적지 않은 비율을 차지합니다. 초음파 영상은 주요 진단 방식(modality)이며, 악성 여부를 분류(classification)하고 전이 위험을 평가하는 CAD 시스템에서는 정확한 결절 분할(segmentation)이 필수적인 선결 조건입니다. 본 연구에서는 DeepLabV3+, 채널 어텐션(channel-attention) 모듈, 그리고 사후 컨포멀 예측(post-hoc conformal prediction)을 결합하여 정확한 마스크와 픽셀 수준의 불확실성 추정치를 모두 제공하는 갑상선 결절 분할 프레임워크를 제안합니다. 우리는 악성도 분류 및 전이 위험 예측까지 포함하는 파이프라인의 첫 번째 단계로 갑상선 초음파 결절 분할을 다룹니다. Atrous Spatial Pyramid Pooling(ASPP)을 통해 다중 스케일 컨텍스트를 포착하는 DeepLabV3+를 채택하고, 정확도와 효율성 간의 절충(trade-off)을 고려하여 EfficientNet-B5 백본을 사용합니다. 또한 Squeeze-and-Excitation, CBAM, Grouped Channel Attention(GCA)의 세 가지 채널 어텐션 모듈을 두 가지 손실(loss) 함수 구성(Dice-BCE 및 Boundary)과 결합하여 테스트합니다. 이진 마스크는 예측 신뢰도를 나타내지 못하므로, 통계적 커버리지 보장(statistical coverage guarantees)을 제공하는 픽셀 수준의 불확실성 맵을 생성하도록 분할 컨포멀 예측(split conformal prediction) 층(layer)으로 학습된 모델(model)을 감쌉니다. 고정 분할 방식을 사용하여 TN3K 공개 벤치마크에서 모든 구성을 평가하고 최신 기법(SOTA)들과 직접 비교합니다. 기본 백본만으로도 이전에 보고된 결과를 개선하며, CBAM + Dice-BCE가 전반적으로 가장 우수한 구성으로 나타났습니다.
TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기
TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy
정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
v2: minor corrections and clarifications. Main text 8 pages; 58 pages including appendix and checklist