가우시안 혼합 모델(Gaussian mixture model)에서의 확률 함수 미분 가능성을 분석하기 위해, 구면 방사 분해(spherical radial decomposition)를 조건부 가우시안 구조로 확장하여 확률 함수를 유클리드 구 위의 적분으로 표현하는 프레임워크를 제안한다. 이를 통해 미분 가능성의 충분 조건과 그래디언트의 적분 표현을 도출하고, 매개변수 공간과 단위 구에 대한 몬테카를로 샘플링 기반 근사가 기존 방식보다 분산을 줄이며 균등 수렴함을 이론적·수치적으로 입증한다.
자율주행 궤적 예측 모델은 조건부 가우시안 혼합 모델(GMM)로 모델링되지만 winner-take-all(WTA) 손실의 강할당으로 학습되어, 모델링-학습 불일치가 모드 확률의 비정보성과 궤적 공간 과분할을 유발한다는 점을 K-means 관점에서 분석한다. 테스트 시점 사후분포 가중 병합과 1단계 기대-최대화(EM) 업데이트를 사후 처리로 적용하면 인접 모드 간 확률 질량을 공유하여, 재학습 없이 WTA로 학습된 여러 아키텍처에서 모드 사후분포 품질과 변위 지표 예측 성능을 개선한다.
스코어 매칭 문제는 현대 생성 모델링, 디퓨전 모델, 정규화되지 않은 통계 모델 피팅, 역문제에서 중심적인 학습 목적 함수입니다. 표준적인 접근 방식은 교사 분포에 대해 기댓값을 취하는 순방향 피셔 발산(forward Fisher divergence)을 최소화하는 것입니다. 그러나 최근 연구 결과에 따르면, 단순한 가우시안 혼합 모델 설정에서도 이 목적 함수는 바람직하지 않고 초기화에 의존적인 수렴 거동을 초래할 수 있습니다. 본 논문에서는 학생 분포에 대해 기댓값을 취하는 대안적인 목적 함수인 역 피셔 발산(reverse Fisher divergence)을 연구합니다. 가우시안 혼합 모델을 피팅하기 위한 경사하강법(GD)을 분석하고, 목적 함수의 이러한 변화가 훨씬 더 우수한 최적화 성질로 이어진다는 것을 보여줍니다. 첫째, 교사 분포가 단일 가우시안이고 학생 모델이 고정된 가중치와 단위 공분산을 갖는 가우시안 혼합 모델인 경우, 임의의 초기화로부터의 GD의 전역 수렴을 증명합니다. 둘째, 분석을 교사 분포 또한 가우시안 혼합 모델인 경우로 확장하고, 전역 무작위 초기화 방식과 타겟 평균에 대한 $\widetildeΩ(1)$-분리 가정 하에서 전역 수렴 보장을 증명합니다. 특히, 높은 확률로 각 학생 구성 요소는 가장 가까운 교사 구성 요소 근처로 수렴하며, 학생 분포가 총 변동 거리(total variation distance)로 수렴하는 조건을 제공합니다. 우리의 증명은 경사하강법 역학에 대한 새로운 리아푸노프 기반 분석에 의존하며, 이를 통해 역 피셔 발산이 순방향 피셔 발산보다 훨씬 더 유리한 최적화 지형을 가짐을 보여줍니다.