PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.07157v2cs.LG

적응형 서브 모델 연합 학습에서의 용량 교란 요인과 커버리지 보장

Capacity Confounds and Coverage Guarantees in Adaptive Sub-model Federated Learning

서브 모델 연합 학습(federated learning)은 자원이 제한된 클라이언트가 글로벌 모델의 너비(width)가 축소된 버전을 학습할 수 있도록 하지만, 기존 방식들은 디바이스 자원만을 기준으로 용량을 할당합니다. 이에 대한 자연스러운 다음 단계로, 학습에서 파생된 신호로 서브 모델 크기를 결정하는 최근 방법들에서 착안하여 서버가 이미 관찰한 업데이트를 통해 추정된 각 클라이언트의 데이터 이질성(data heterogeneity)에 따라 용량을 할당하는 방식을 고려해 볼 수 있습니다. 본 논문에서는 적응형 용량 할당 프레임워크인 HAS-FL을 테스트 케이스로 삼아 이러한 단계가 실현 가능한지 질문을 던집니다. 첫째, 재현 가능한 분할 상에서 실측 라벨 분포 다이버전스(divergence)를 기준으로 검증한 결과, 클라이언트 이질성에 대한 업데이트 다이버전스 추정치는 데이터가 아닌 용량에 지배됩니다. 두 이미지 벤치마크 및 모든 시드에서 이 추정치는 디바이스 용량과 강한 음의 상관관계를 보이며, 용량을 통제하고 나면 데이터 이질성과의 연관성은 0에 가깝거나 음수로 나타납니다. 서브 모델 업데이트로부터 클라이언트 통계량을 추정하는 모든 방법은 이전에 보고되지 않은 이러한 교란(confound)에 노출됩니다. 둘째, 적응형 할당에는 숨겨진 실패 모드가 존재합니다. 모든 클라이언트가 전체 너비 미만으로 제한될 경우, 커버되지 않은 매개변수(parameter)는 무작위 초기화(initialization) 상태로 남아 점진적으로 글로벌 모델을 손상시킵니다. 단순한 커버리지 보장은 이러한 실패를 제거하며 균일 할당이 붕괴하는 이유를 설명합니다. 셋째, 동일 예산 대조군(matched-budget control)을 통해 적응성이 기여하는 바를 명확히 밝힙니다. 동일한 평균 예산에 대한 무작위 할당은 두 이미지 벤치마크에서 시드 간 변동 범위 내로 적응형 정책과 일치하며, 자연 분할된 텍스트 벤치마크에서는 적응형 정책이 가장 많은 용량을 소비하면서도 세 가지 전략 중 가장 낮은 성능을 보입니다. 서브 모델 학습은 이차적으로(quadratically) 감소된 비용으로 제약이 있는 클라이언트를 수용하지만 전체 모델 학습 대비 상당한 정확도 손실을 초래하며, 이러한 정확도를 보호하는 것은 정교한 할당 지능이 아닌 매개변수 커버리지입니다.

arXiv:2602.10045v2cs.CV

인스턴스 분할을 위한 컨포멀 예측 집합

Conformal Prediction Sets for Instance Segmentation

현재 인스턴스 분할(instance segmentation) 모델들은 평균 예측에서 높은 성능을 달성하지만, 원칙에 기반한 불확실성 정량화가 부재하다: 모델의 출력은 캘리브레이션되지 않으며, 예측된 마스크가 정답에 근접한다는 보장이 없다. 이러한 한계를 해결하기 위해, 우리는 인스턴스 분할에 대한 적응형 신뢰 집합(confidence set)을 생성하는 컨포멀 예측(conformal prediction) 알고리즘을 제안한다. 이미지와 픽셀 좌표 쿼리가 주어지면, 우리의 알고리즘은 해당 픽셀에 대한 인스턴스 예측의 신뢰 집합을 생성하며, 예측들 중 적어도 하나가 실제 객체 인스턴스 마스크와 높은 교집합-대-합집합 비율(IoU)을 가질 확률에 대한 증명 가능한 보장을 제공한다. 우리는 이 알고리즘을 농업 경지 구획, 세포 분할, 차량 탐지 분야의 인스턴스 분할 예제에 적용한다. 실험적으로, 우리의 예측 집합은 쿼리 난이도에 따라 크기가 달라지며 목표 커버리지를 달성함으로써, 기준선(단순 최적 매개변수 및 형태학적 팽창 기반 방법)을 능가함을 확인하였다. 우리는 점근적 보장과 유한 샘플 보장을 갖는 알고리즘 버전을 모두 제공한다. 본 연구는 다양한 분할 예측의 신뢰 집합을 구성하여 인스턴스 분할에서 구조적 불확실성을 포착한 최초의 연구이다.