PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.21549v2cs.AI

편향 없는 모델 기반 유병률 추정을 위한 다중 캘리브레이션

Multicalibration for Unbiased Model-Based Prevalence Estimation

불완전한 측정 장치(진단 검사, 분류기, 또는 대규모 언어 모델)를 사용하여 모집단 내 특정 범주의 유병률(prevalence)을 추정하는 것은 과학, 공중보건, 온라인 신뢰 및 안전 분야에서 매우 중요합니다. 표준적인 접근 방식들은 알려진 장치의 오류율을 보정하지만, 이러한 오류율이 여러 모집단에 걸쳐 일정하게 유지된다고 가정합니다. 본 논문에서는 공변량 변화(covariate shift) 상황에서 이러한 가정이 무너지며, 단순 평균이 아닌 입력 특징(feature)을 조건으로 캘리브레이션을 강제하는 다중 캘리브레이션(multicalibration)이 이러한 변화 하에서도 편향 없는 유병률 추정에 충분함을 보입니다. 표준 캘리브레이션 및 정량화 방법들은 이러한 보장을 제공하지 못합니다. 본 연구는 공정성에 관한 최근의 이론적 연구를 거의 모든 학문 분야에 걸친 유서 깊은 측정 문제와 연결합니다. 시뮬레이션을 통해 표준 방법들은 변화의 크기에 따라 증가하는 바이어스(bias)를 보이는 반면, 다중 캘리브레이션된 추정기는 거의 0에 가까운 바이어스를 유지함을 확인합니다. 본 논문에서는 주로 LLM에 초점을 맞추어 논의하지만, 이론적 결과는 모든 분류(classification) 모델에 적용됩니다. 두 가지 실증적 응용 사례인 미국 커뮤니티 설문조사(ACS)를 활용한 미국 주별 고용률 추정과 LLM을 활용한 4개국 정치 텍스트 분류를 통해, 다중 캘리브레이션이 실제 환경에서 바이어스를 크게 감소시킴을 입증하는 동시에, 타깃 모집단 간에 차이가 발생할 수 있는 주요 특징 차원을 캘리브레이션 데이터가 포괄해야 함을 강조합니다.