PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15954v1cs.LG

인스턴스 적응형 온라인 다중 클래스 다중 보정

Instance-Adaptive Online Multiclass Multicalibration

본 논문에서는 $T$ 라운드에 걸친 온라인 다중 클래스 다중 보정(online multiclass multicalibration)을 연구하고, 최악의 경우를 넘어서는(beyond-worst-case) 보장을 제공하는 알고리즘을 제시한다. $n$개의 가능한 결과가 주어질 때, 예측값은 $d=n-1$ 차원의 심플렉스(simplex) 내에 존재한다. 최악의 경우 누적 $\ell_1$ 다중 보정 오차의 스케일링은 $\widetildeΘ(T^{(d+1)/(d+2)})$를 따르며, 이는 $d$가 작은 상수를 넘어서면 감당하기 어려워진다. 본 연구의 알고리즘은 실현된 시퀀스의 기하학적 구조에 적응한다. 즉, 적대적으로 선택된 결과 평균의 시퀀스가 $s$ 차원의 아핀 부분공간(affine subspace)에 속하는 경우, 높은 확률로 $\widetilde O(n^{1/(s+2)}T^{(s+1)/(s+2)})$의 오차를 달성한다. 이 알고리즘은 해당 부분공간이나 그 차원을 알지 못하더라도 이러한 구조에 적응한다. $T\ge n\ge2$에 대해 이 속도는 다항 로그(polylogarithmic) 인수를 제외하고 미니맥스 최적(minimax optimal)이다. 고정된 조건부 평균을 갖는 확률적 인스턴스의 경우, 이 상한은 $\widetilde O(\sqrt{nT})$로 특화되어 시계(horizon)에 대해 제곱근 의존성을 제공한다.

arXiv:2604.21549v2cs.AI

편향 없는 모델 기반 유병률 추정을 위한 다중 캘리브레이션

Multicalibration for Unbiased Model-Based Prevalence Estimation

불완전한 측정 장치(진단 검사, 분류기, 또는 대규모 언어 모델)를 사용하여 모집단 내 특정 범주의 유병률(prevalence)을 추정하는 것은 과학, 공중보건, 온라인 신뢰 및 안전 분야에서 매우 중요합니다. 표준적인 접근 방식들은 알려진 장치의 오류율을 보정하지만, 이러한 오류율이 여러 모집단에 걸쳐 일정하게 유지된다고 가정합니다. 본 논문에서는 공변량 변화(covariate shift) 상황에서 이러한 가정이 무너지며, 단순 평균이 아닌 입력 특징(feature)을 조건으로 캘리브레이션을 강제하는 다중 캘리브레이션(multicalibration)이 이러한 변화 하에서도 편향 없는 유병률 추정에 충분함을 보입니다. 표준 캘리브레이션 및 정량화 방법들은 이러한 보장을 제공하지 못합니다. 본 연구는 공정성에 관한 최근의 이론적 연구를 거의 모든 학문 분야에 걸친 유서 깊은 측정 문제와 연결합니다. 시뮬레이션을 통해 표준 방법들은 변화의 크기에 따라 증가하는 바이어스(bias)를 보이는 반면, 다중 캘리브레이션된 추정기는 거의 0에 가까운 바이어스를 유지함을 확인합니다. 본 논문에서는 주로 LLM에 초점을 맞추어 논의하지만, 이론적 결과는 모든 분류(classification) 모델에 적용됩니다. 두 가지 실증적 응용 사례인 미국 커뮤니티 설문조사(ACS)를 활용한 미국 주별 고용률 추정과 LLM을 활용한 4개국 정치 텍스트 분류를 통해, 다중 캘리브레이션이 실제 환경에서 바이어스를 크게 감소시킴을 입증하는 동시에, 타깃 모집단 간에 차이가 발생할 수 있는 주요 특징 차원을 캘리브레이션 데이터가 포괄해야 함을 강조합니다.

arXiv:2606.20557v1cs.LG

최적 결정론적 멀티캘리브레이션과 옴니프레딕션

Optimal Deterministic Multicalibration and Omniprediction

모델(model)은 그룹 가중치(group weights) $G$의 집합에 대해 멀티캘리브레이션(multicalibration)되는데, 이는 전체적으로뿐만 아니라 각 $g \in G$에 의해 컨텍스트(contexts)를 재가중치한 후에도 캘리브레이션된(calibrated) 상태, 즉 예측에 조건부로 편향되지 않은(unbiased) 상태를 의미합니다. 이는 많은 다운스트림(downstream) 애플리케이션에 유용한 속성이며 신뢰할 수 있는 머신러닝의 기본적인 요구 조건입니다. 이 연구 이전에는 $\varepsilon$-멀티캘리브레이션($\varepsilon$-multicalibration)을 위해 미니맥스 최적(minimax-optimal)인 $\widetilde O(\varepsilon^{-3})$ 샘플 복잡도(sample complexity) 비율을 달성하는 것으로 알려진 모든 예측기(predictor)가 랜덤화된(randomized) 것이었으며, 결정론적(deterministic) 예측기는 훨씬 더 나쁜 샘플 복잡도를 가진 것으로만 알려져 있었습니다. 멀티캘리브레이션에서 최적 샘플 복잡도를 위해 랜덤화가 필요한지 여부는 [CLNR26]에 의해 명시적으로 질문되었으며 여러 선행 연구에서 암묵적으로 다루어졌습니다. 우리는 결정론적 예측기를 출력하는 미니맥스 최적 멀티캘리브레이션 알고리즘을 제시하여 이 미해결 문제를 해결합니다. 그런 다음 유한하거나 유한하게 덮인 테스트 컬렉션에 대해 결과 구별 불가능성(outcome indistinguishability, OI)을 만족하는 최적의 결정론적 예측기를 생성하도록 알고리즘을 일반화합니다. 이를 응용하여 최적 샘플 복잡도를 가진 결정론적 옴니프레딕터(omnipredictor) 및 팬프레딕터(panpredictor)를 제공함으로써, [OKK25]와 [BHHLZ25]가 제기한 미해결 문제를 해결합니다.

arXiv:2606.12615v1cs.LG

증명 가능한 공정한 머신러닝을 향하여: 일관적이고 투명한 예측을 위한 베이지안 접근법

Towards Provably Fair Machine Learning: Bayesian Approaches For Consistent and Transparent Predictions

세분화된 하위 그룹에서 데이터와 모순되는 예측 문제를 해결하기 위해 결정론과 통계적 일관성을 강제하고 불가능 시 예측을 보류하는 Fair Bayesian 분류기를 제안한다. 이 방법은 벤치마크 데이터셋에서 기존 모델보다 높은 정확도를 보이며 일관성 오류를 0으로 달성하여 포괄적인 공정성을 실현함을 입증했다.