arXiv:1901.05331

Optimization Problems for Machine Learning: A Survey

Claudio Gambella, Bissan Ghaddar, Joe Naoum-Sawaya

제출 2019-01-16

원문 초록

This paper surveys the machine learning literature and presents in an optimization framework several commonly used machine learning approaches. Particularly, mathematical optimization models are presented for regression, classification, clustering, deep learning, and adversarial learning, as well as new emerging applications in machine teaching, empirical model learning, and Bayesian network structure learning. Such models can benefit from the advancement of numerical optimization techniques which have already played a distinctive role in several machine learning settings. The strengths and the shortcomings of these models are discussed and potential research directions and open problems are highlighted.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02559v1cs.LG공통 태그 regression, Clustering

시그모이드 신경망의 사후 학습 압축을 위한 역활성화 회귀 기반 뉴런 병합

Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks

신경망의 규모가 지속적으로 커짐에 따라, 제한된 계산 자원 환경에서의 효율적인 추론을 위한 모델 압축의 중요성이 점차 커지고 있습니다. 구조적 가지치기(structured pruning) 방식은 덜 중요하다고 추정되는 뉴런이나 채널을 제거하지만, 이렇게 제거된 단위들도 여전히 유용한 정보를 담고 있을 수 있습니다. 학습된 네트워크를 조대화(coarse-graining)하는 관점에서 볼 때, 여러 뉴런 자유도가 통합될 때 어떤 정보를 보존해야 하는지 묻는 것은 가치 있는 일입니다. 본 논문에서는 학습된 신경망의 압축을 위한 군집 기반 병합 방법을 논의합니다. 데이터가 필요 없는(data-free) 기여도 가중 평균 방식뿐만 아니라, 뉴런 반응을 역활성화 함수를 통해 사전 활성화(pre-activation) 공간으로 역매핑하고 최소자승법을 사용하여 각 대표 뉴런의 가중치와 편향을 추정하는 뉴런 병합 방법을 제안합니다. 또한 실제 학습 입력을 활용하는 데이터 보조 전략과 무작위로 생성된 입력을 사용하는 데이터 무관(data-free) 전략을 모두 검토합니다. 이러한 비교를 통해 실험 대상인 시그모이드 네트워크에서 병합 과정 시 군집화에는 가중치 정보가 특히 유용하고, 대표 뉴런 복원에는 활성화 정보가 유용하다는 실증적 증거를 제공합니다.

arXiv:2609.26445v1stat.ML공통 태그 regression, Survey

그래프 기반 모델 검증 실무 가이드

A Practical Guide on Graphical Model Validation

이 논문은 손해보험 계리 모델링에서 가장 널리 사용되는 모델 검증(validation) 도구들을 체계적으로 정리한다. 여기에는 보정 도표(calibration plot), 실제 대 기대(actual-vs-expected) 도표, 리프트 차트(lift chart), 머피 다이어그램(Murphy diagram)과 같은 그래프 도구뿐 아니라, 브레그만 손실(Bregman loss), 편차 손실(deviance loss), 기초 손실(elementary loss), 머피 분해(Murphy's decomposition), 지니 점수(Gini score)와 같은 고전적인 통계 도구가 포함된다. 특히 보정(calibration)과 판별(discrimination)을 계약 건수 가중(policy-weighted) 모집단 측도 하에서 연구하는지, 아니면 노출 가중(exposure-weighted) 모집단 측도 하에서 연구하는지에 중점을 둔다. 이 구분은 보험료 체계가 올바른 척도에서 보정되도록 하는 데 매우 중요하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.