PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21999v1cs.LG

섭동 보정에서 기하 인식 샘플링으로: 꼬리 분포 학습에서 균형 잡힌 평탄 최소값을 위한 날카로움 유도 평형 샘플링

From Perturbation Correction to Geometry-Aware Sampling: Sharpness-Guided Equilibrium Sampling for Balanced Flat Minima in Long-Tailed Learning

꼬리 분포 학습은 일반화 저하의 두 가지 원인을 결합한다. head 클래스가 학습 노출을 지배하는 반면, 과소 대표 클래스는 종종 손실 landscape의 더 날카로운 영역으로 수렴한다. 기존 재샘플링(re-sampling)은 기하학을 고려하지 않고 전자만 다루는 반면, 기존 꼬리 분포 날카로움 인식 최소화(SAM) 방법들은 편향된 미니배치가 이미 추출된 후에만 손실이나 섭동을 수정한다. 우리는 최적화 기하학을 위한 능동적 제어 변수로 샘플링 분포를 취급하는 날카로움 유도 평형 샘플링(SGS)을 제안한다. SGS는 표준 SAM 업데이트로부터 얻은 누적 클래스 카운트와 EMA 날카로움 추정치만을 사용하여, 클래스별 섭동이나 추가 역전파(backward pass) 없이, 덜 자주 샘플링된 클래스의 샘플링 확률을 높이고 SAM 유발 손실 변화가 큰 클래스를 억제함으로써 후속 미니배치를 동적으로 조정한다. 우리는 연속 시간 확률 미분 방정식과 샘플링 의존적 PAC-Bayes 분석을 통해 이 샘플링 과정을 특성화하고, 빈도-날카로움 피드백이 학습을 더 균형 잡힌 평탄성(flatness) 프로파일로 이끌 수 있는 방식을 설명한다. 불균형 비율 100인 CIFAR-100 LT에서 SGS-SAM은 tail 정확도에서 Focal-SAM 대비 10.85%p, 전체적으로 3.56%p 향상시킨다. ImageNet-LT에서는 tail 클래스에서 ImbSAM 대비 6.59%p, 전체적으로 1.20%p 향상시킨다. 학습 시간은 vanilla SAM의 1.02배에 불과하다. 이러한 성능 향상 외에도, SGS는 손실 landscape 제어를 위한 샘플링 측면의 경로를 확립하며, 향후 꼬리 분포 방법들이 데이터 노출과 최적화 기하학 중 어느 하나를 고정된 것으로 취급하기보다 공동으로 조절할 수 있음을 시사한다.

arXiv:2606.11235v1cs.LG

확장 가능하고 통계적으로 건전한 데이터 마이닝을 위한 퓨샷 리샘플링

Few-Shot Resampling for Scalable Statistically-Sound Data Mining

지식 발견의 핵심 단계는 데이터 마이닝 결과의 평가이다. 패턴 마이닝, 그래프 분석 등 여러 응용 분야에서 이 단계는 데이터의 노이즈나 무작위 변동으로 인한 허위 발견을 방지하기 위해 결과의 통계적 유의성 평가를 포함한다. 일부 특정 응용 분야에는 전용 절차가 개발되어 있지만, 리샘플링 기반 접근법은 분석적 결과를 도출할 수 없는 복잡한 분석에서 특히 널리 사용된다. 그러나 현재의 리샘플링 기반 접근법은 수천 개의 리샘플링된 데이터셋을 생성하고 분석해야 하므로, 대규모 데이터셋이나 계산 집약적인 분석에서는 비현실적이다. 본 논문에서는 허위 발견 확률에 대한 엄격한 보장과 함께 데이터 마이닝 결과의 통계적 유의성을 평가하는 단순하고 효과적인 리샘플링 기반 접근법인 FewRS를 소개한다. 우리의 접근법은 리샘플링 기반 접근법이 적용되는 모든 상황에서 사용 가능하다. FewRS는 데이터 마이닝 결과의 품질을 나타내는 검정 통계량의 상한 편차(supremum deviation)에 대한 새로운 경계 유도에 기반한다. 우리는 FewRS가 극히 적은 수의 리샘플링된 데이터셋만 생성하고 분석하면 됨을 증명하며, 이는 광범위한 적용 가능성을 갖춘 고도로 확장 가능한 접근법으로 이어진다. 우리는 패턴 마이닝과 네트워크 분석 같은 일반적인 태스크에서 접근법을 테스트한다. 모든 경우에서 우리의 접근법은 높은 통계적 검정력을 유지하면서 최신 기술 대비 최대 두 자릿수의 실행 시간 단축을 달성하며, 대규모 실세계 데이터셋에서 데이터 마이닝 결과의 통계적 검증을 가능하게 한다.