PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.02681v1stat.ML

Contaminated Multi-task Learning with Heterogeneity: Fundamental Limits and Optimal Algorithms

관련 작업 간 정보를 통합하면 전이 학습, 다중 작업 학습, 연합 학습에서 추정 및 예측 성능을 향상시킬 수 있지만, 오염(contamination)과 이질성(heterogeneity)으로 인해 강건한 정보 차용(borrowing)이 어렵다. 본 연구에서는 각각 표본 크기 $n$을 가진 $K$개의 작업 중 $ε$ 비율의 작업이 임의로 오염될 수 있고 나머지 작업은 이질적인, 오염된 다중 작업 경험적 위험 최소화(ERM) 프레임워크를 연구한다. 우리의 목표는 평균 위험의 전역 최솟값과 정제된 작업별 최솟값을 모두 추정함으로써 강건성과 개인화를 동시에 달성하는 것이다. 가우시안 평균 모델에서, 공유 중심 주변의 적응적·강건 정규화, 전역 행렬 정규화, 분해 기반 정규화, 점수 기반 이상 작업 탐지 등 여러 일반적인 패러다임이 모두 $ε\sqrt{d/n}$ 차수의 최악 오염 오차를 보임을 보여주며, 이는 하한(lower bound) $ε/\sqrt{n}$에 비해 최적이 아님을 밝힌다. 이를 통해 이러한 접근법들의 차원 의존적 장벽을 식별한다. 이어서 일반적인 이질적 ERM 설정에 대한 미니맥스(minimax) 하한을 확립하고, 계산 효율적인 필터링 기반 강건 다중 작업 경사하강법을 제안한다. 국소 강볼록성(local strong convexity), 평활성(smoothness), 서브-가우시안 그래디언트 가정 하에서, 제안된 방법은 광범위한 구간에서 로그 인수(logarithmic factor)까지 미니맥스 속도에 일치하는 고확률 상한을 달성한다. 특히, 많은 정규화 기반 방법 및 점수 기반 이상 탐지에서 나타나는 추가적인 $\sqrt{d}$ 오염 의존성을 제거하면서, 강한 이질성 하에서도 로컬 작업에 대한 개인화를 달성한다. 시뮬레이션과 실제 데이터 분석은 광범위한 벤치마크 방법들에 비해 강한 강건성과 개인화를 입증한다.