본 논문에서는 최대 평균 불일치(MMD)라고도 불리는 양의 정부호 커널과 연관된 힐베르트 임베딩에 의해 유도된 기하에서 마르코프 연쇄(Markov chain)의 수렴을 연구합니다. 커널 유도 기하에서의 수축 가정과 표준 스펙트럼 갭 가정을 바탕으로, 경험적 점유 측도가 불변 측도로 수렴하는 것에 대한 비점근적 고확률 경계를 확립합니다. 도출된 경계는 두 조건의 역할을 분리합니다. 스펙트럼 갭은 주요 항의 유효 표본 크기를 결정하는 반면, 커널 수축은 선형 보정을 통해서만 반영됩니다. 응용 사례로서, 단일 궤적으로부터 동적 시스템의 1단계 예측을 연구하고 비선형 최소제곱 추정기에 대한 빠른 학습률을 유도합니다. 이 비율은 커널 유도 기하에서의 혼합 특성과 최소제곱 분석에 사용되는 고전적인 소스 및 용량 조건 간의 상호작용을 강조합니다.
연구의 외적 타당도(external validity)는 해당 연구의 결과가 데이터셋과 같은 미확인 실험 조건으로 얼마나 잘 일반화되는지를 나타내는 척도입니다. 본 논문에서는 연구 질문과 함께 연구 결과를 공식화하고, 외적 타당도를 독립적이고 동일한 규모를 가진 두 건의 반복 연구 결과 간 최대 평균 불일치(MMD)가 주어진 허용 오차 이하일 확률로 정의합니다. 결과 공간과 MMD를 위한 적절한 재생 커널(reproducing kernel) 선택을 중심으로 하는 이 접근 방식은 여러 다양한 유형의 연구 결과와 연구 질문에 적용할 수 있을 만큼 유연합니다. 또한, 연구 규모와 MMD의 분위수(quantile) 사이의 점근적 거듭제곱 법칙(power-law) 관계를 규명하여, 소규모 예비 연구로부터 외적으로 타당한 연구에 필요한 목표 규모를 추정하는 데 활용합니다. 우리는 이 프레임워크를 동점을 포함하는 순위 데이터에 적용하고 다양한 연구 질문에 적합한 커널을 논의합니다. 기존 사례 연구와 시뮬레이션된 신규 설계 연구에 대한 실험을 통해 프레임워크의 적용 가능성을 입증합니다. 관련 코드는 genexpy Python 모듈의 일부로 공개합니다.
생성 모델은 이미지 및 텍스트 합성을 넘어 분자 및 재료 설계에 이르기까지 과학과 산업 전반에서 핵심적인 역할을 하게 되었습니다. 양자 회로는 자신이 인코딩하는 분포로부터 자연스럽게 표본을 생성하며, 적절한 회로의 경우 해당 분포를 고전 컴퓨터로 재현하기 어렵다고 여겨지므로, 양자 생성 모델은 양자 컴퓨터의 가장 유망한 응용 분야 중 하나로 간주됩니다. 이를 위한 대표적인 전략은 고전 컴퓨터에서 이러한 모델을 학습(training)시키고, 배포 시 표본 생성을 위해 양자 장치를 남겨두는 방식입니다. 이는 학습 손실(loss)을 고전 컴퓨터에서 평가할 수 있을 때 가능합니다. 대표적인 예로는 모델과 데이터를 파울리-$Z$(Pauli-$Z$) 상관관계를 통해 비교하는 모멘트 매칭(moment-matching) 손실인 최대 평균 불일치(MMD$^2$, Maximum Mean Discrepancy)가 있습니다. 지금까지의 연구는 이러한 모델이 학습될 수 있는지, 그리고 표본 생성이 어려운지에 집중해 왔습니다. 그러나 이러한 목적 함수를 최소화하는 것이 단순히 학습 통계를 재현하는 것을 넘어 \emph{일반화(generalizes)}하는 모델을 만들어내는지 여부는 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 실제 응용 분야에서 영감을 얻은 두 가지 데이터셋(dataset)에서 직접 표본을 추출하여 13가지의 양자 및 고전 생성 모델(model)을 벤치마크합니다. 첫 번째는 최대 30큐비트에 달하는 기수 제약(cardinality-constrained) 데이터셋이며, 두 번째는 유효 집합이 관측된 데이터인 유전체 단일 염기 다형성(single-nucleotide variants) 데이터셋입니다. 손실을 동일한 값으로 수렴시킨 모델들이라 할지라도, 관측되지 않은 유효 집합을 얼마나 포함하는지에는 큰 차이를 보였습니다. 이러한 결과는 수렴된 모멘트 매칭 손실이 신뢰할 수 있는 일반화 척도가 아니며, '고전적 학습, 양자 배포' 워크플로에서는 학습된 모델의 표본을 추출하여 일반화를 측정해야 함을 시사합니다. 관심 대상 규모에서 이 표본 추출 단계는 양자 장치를 필요로 한다고 여겨집니다.
불균등 표본 크기에서도 최대 평균 불일치(MMD) 추정량을 활용할 수 있도록 일반화된 U-통계량 이론을 확장하여 점근 분포를 새롭게 규명하고, 이를 통해 데이터 손실 없이 검정력을 최적화하는 기준을 제시한다. 또한 MMD가 0이 아닌 경우에도 퇴화된 추정량이 존재할 수 있음을 증명하여 기존 문헌의 오해를 바로잡는다.
조건부 생성 모델들을 밀도 함수 없이 샘플만으로 결합할 수 있는 최적 모델 평균화(model averaging) 프레임워크를 제안하며, 샘플 기반 최대 평균 불일치(MMD)를 기준으로 고정 가중치를 부여하는 StaticMA와 소프트맥스 신경망 게이트로 입력 적응형 가중치를 학습하는 전문가 혼합(MoE) 방식의 MoEMA를 개발한다. 표 형식, 이미지, 텍스트 등 다양한 모달리티 실험에서 MoEMA가 경쟁 기준선 대비 우수한 성능을 보였으며, 표본 내·외 점근적 최적성과 가중치 함수의 일치성에 대한 이론적 보장도 함께 제시한다.
에너지 변분 추론(energetic variational inference) 프레임워크를 활용해 최대 평균 불일치(MMD)를 최소화하는 결정론적 샘플링 방법 EVI-MMD를 제안하며, MMD 최소화 문제를 파티클에 대한 ODE 동적 시스템으로 변환하고 암묵적 오일러 기법으로 해결한다. 핵심 혁신인 동적 대역폭 선택 전략을 통해 커널 기반 방법의 오랜 난제를 개선하였으며, 밀도 함수가 명시된 경우와 학습 데이터만 주어진 생성 모델링 시나리오 모두에서 기존 방법들을 능가함을 수치 실험으로 입증한다.
대규모 언어 모델(LLM)이 수치 토큰을 구조 없는 범주로 취급하는 교차 엔트로피의 한계를 극복하기 위해, 값 거리 커널과 그래프 기반 평활성을 결합한 Smooth Maximum Mean Discrepancy(SMMD) 손실 함수를 제안한다. 수학적 추론, 산술 계산, 시계 인식, 차트 질의응답 등 네 가지 수치 예측 과제에서 기존 교차 엔트로피 및 최신 수치 손실 함수 대비 일관된 정확도 향상을 달성했다.
우리는 미분 가능하며 점의 수에 대해 선형 계산 복잡도를 갖는, 대응점(correspondence) 없이 수행하는 새로운 포인트 클라우드 정합 접근법 MMD-Reg를 제안한다. 정합을 최대 평균 불일치(Maximum Mean Discrepancy, MMD)에 기반한 비선형 최소자승 문제로 모델링하며, 이를 무작위 푸리에 특징(random Fourier features)으로 근사한다. 이렇게 얻은 목적 함수는 Levenberg-Marquardt와 같은 표준 방법으로 효율적으로 풀 수 있으며, 암시적 함수 정리(implicit function theorem)를 통해 해가 미분 가능하다. 이를 통해 MMD-Reg는 종단간(end-to-end) 학습 가능 모델 내 미분 가능한 최적화 층으로 사용될 수 있으며, 초기 정렬 불량과 부분 중첩(partial overlap) 같은 어려운 조건에서의 정합을 지원한다. 층을 세트 트랜스포머(set transformer)와 통합하고, 결과 모델을 지도 및 비지도 설정에서 학습하며, 최근 학습 기반 방법들과 성능을 비교함으로써 이러한 Neural MMD-Reg 공식화를 입증한다. 또한 독립형 MMD-Reg를 평가하여, 널리 사용되는 비학습 기반 정합 방법들과 정확도 및 확장성을 비교한다.
다양한 운전 조건에서 회전축의 불균형 질량을 추정하는 회귀 문제에 도메인 적응(domain adaptation) 기반 신경망을 적용하고, 최대 평균 불일치(MMD)로 소스·타깃 분포의 특징 표현을 정렬한다. 실험 결과 도메인 시프트를 명시적으로 다루면 학습 조건을 벗어난 경우에도 예측 정확도가 개선되어, 구조 건전성 모니터링(SHM) 회귀 태스크에 활용 가능함을 보였다.
딥 투-샘플 테스트(Deep two-sample testing)의 해석 가능성을 높이기 위해 디퓨전 오토인코더와 사전학습된 모델을 결합하여 표현 공간에서 최대 평균 불일치(MMD)를 최소화하는 카운터팩추얼 설명 프레임워크를 제안한다. 제안된 방법은 합성 데이터와 MRI 코호트에서 p-값을 증가시켜 통계적 유사성을 높이면서도 원본 샘플과 유사한 해석 가능한 특징 변화를 생성한다.
생성적 모멘트 매칭 네트워크(GMMN) 적합을 위한 최대 평균 불일치(MMD) 내 혼합 커널의 적응형 대역폭 선택 절차를 소개하고, 코풀라 난수 생성기의 학습이 개선됨을 입증합니다. 학습 손실의 상대 오차를 기반으로 학습 중 커널의 수를 증가시키며, 추가로 검증 손실의 상대 오차를 조기 종료 기준으로 사용합니다. 학습 시간은 유지되면서도 GMMN을 적응형으로 학습(AGMMN)시키면 학습 성능이 현저히 향상되는데, 이는 검증 MMD 궤적, 샘플 및 검증 MMD 값을 통해 확인할 수 있습니다. 또한 세 가지 응용 분야에서 AGMMN이 GMMN 및 모수적 코풀라 모델보다 우월함을 입증합니다. 첫째, 코풀라에서 생성된 준난수와 의사 난수 샘플을 기반으로 하는 추정량의 수렴 속도를 최초로 100차원까지의 차원에서 조사합니다. 둘째, 반복된 검증 MMD와 몬테카를로 및 준몬테카를로 응용을 통해, deGARCHing 후 S&P 500 지수의 50개 구성 종목에서 도출된 코풀라 모델에 대한 AGMMN의 개선된 학습을 입증합니다. 마지막으로, 후자의 데이터셋과 FTSE 100의 50개 구성 종목을 모두 사용하여 AGMMN의 개선된 학습이 실제로 개선된 모델 예측으로 이어짐을 입증합니다.