PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15916v1cs.LG

ERM 오라클을 활용한 표본 최적 다중 그룹 학습

Sample-Optimal Multi-Group Learning with an ERM Oracle

다중 그룹 학습(multi-group learning)에서는 단일 예측기가 풍부하며 잠재적으로 무한하고 중첩될 수 있는 하위 집단 모음의 모든 그룹에 대해 해당 클래스 내 최적의 가설만큼 우수한 성능을 보여야 합니다. 최적의 표본 복잡도(sample complexity)를 갖는 기존 알고리즘들은 그룹과 가설의 모든 쌍을 추적하는데, 이는 관심 대상인 대규모 클래스에서는 불가능하며, 알려진 오라클 기반 알고리즘들은 더 열등한 수렴 속도를 갖습니다. 본 연구에서는 경험적 위험 최소화(ERM) 오라클을 통해서만 클래스에 접근하는 학습자가 최적의 수렴 속도를 달성할 수 있는지 질문을 던집니다. 본 논문에서는 그룹과 가설 쌍에 대한 가중치 적용 ERM 오라클을 다항 횟수만큼 호출하고 $\tilde{O}((d_G+d_H)/\varepsilon^2)$개의 표본을 사용하는 알고리즘을 제시합니다. 여기서 $d_G$와 $d_H$는 그룹 및 가설 클래스의 VC 차원이며, $\varepsilon$은 확률로 가중치가 부여된 모든 그룹에서의 초과 위험(excess risk)을 제한합니다. 또한 무제한의 계산 능력을 가진 모든 학습자에 대해서도 일치하는 하한인 $\Omega((d_G+d_H)/\varepsilon^2)$개의 표본을 보여줌으로써, 오라클 효율성을 위해 추가적인 표본이 소모되지 않음을 입증합니다. 아울러 모든 입력이 최대 $k$개의 그룹에 속하고 이러한 그룹들을 나열할 수 있는 자연스러운 특수 경우도 고려합니다. 이 경우 가설 클래스에 대한 ERM 오라클만으로 충분하며, 애그노스틱(agnostic) 설정에서는 $\tilde{O}((d_H+\log k)/\varepsilon^2)$개의 표본이, 모든 그룹에 대해 해당 그룹에서 올바른 가설이 존재하는 경우에는 $\tilde{O}((d_H+\log k)/\varepsilon)$개의 표본이 필요합니다.