arXiv:2610.13625v1 stat.ME

실험 연구의 커널 기반 외적 타당도

Kernel-based External Validity of Experimental Studies

Federico Matteucci, Gerhard Neumann

제출 2026-10-09

한국어 초록

연구의 외적 타당도(external validity)는 해당 연구의 결과가 데이터셋과 같은 미확인 실험 조건으로 얼마나 잘 일반화되는지를 나타내는 척도입니다. 본 논문에서는 연구 질문과 함께 연구 결과를 공식화하고, 외적 타당도를 독립적이고 동일한 규모를 가진 두 건의 반복 연구 결과 간 최대 평균 불일치(MMD)가 주어진 허용 오차 이하일 확률로 정의합니다. 결과 공간과 MMD를 위한 적절한 재생 커널(reproducing kernel) 선택을 중심으로 하는 이 접근 방식은 여러 다양한 유형의 연구 결과와 연구 질문에 적용할 수 있을 만큼 유연합니다. 또한, 연구 규모와 MMD의 분위수(quantile) 사이의 점근적 거듭제곱 법칙(power-law) 관계를 규명하여, 소규모 예비 연구로부터 외적으로 타당한 연구에 필요한 목표 규모를 추정하는 데 활용합니다. 우리는 이 프레임워크를 동점을 포함하는 순위 데이터에 적용하고 다양한 연구 질문에 적합한 커널을 논의합니다. 기존 사례 연구와 시뮬레이션된 신규 설계 연구에 대한 실험을 통해 프레임워크의 적용 가능성을 입증합니다. 관련 코드는 genexpy Python 모듈의 일부로 공개합니다.

원문 초록

The external validity of a study is the extent to which its findings generalize to unseen experimental conditions, such as datasets. We formalize the results of a study together with its research question, and define external validity as the probability that two independent and same-sized replications of the study produce results whose maximum mean discrepancy (MMD) is below a given tolerance. This approach, centered on the choice of a space of results and of an appropriate reproducing kernel for the MMD, is flexible enough to be deployed on multiple different types of results and research questions. Additionally, we establish an asymptotic power-law relation between the size of a study and the quantiles of the MMD, which we use to estimate the desired size of an externally valid study from a small-scale preliminary study. We deploy our framework to rankings with ties and discuss kernels suited to different research questions. Experiments on existing case studies and on a simulated newly designed study illustrate the applicability of the framework. We release our code as part of the genexpy Python module.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13625v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13916v1math.PR공통 태그 maximum mean discrepancy

커널 유도 기하에서의 마르코프 연쇄 수렴

Markov Chain Convergence in Kernel-Induced Geometry

본 논문에서는 최대 평균 불일치(MMD)라고도 불리는 양의 정부호 커널과 연관된 힐베르트 임베딩에 의해 유도된 기하에서 마르코프 연쇄(Markov chain)의 수렴을 연구합니다. 커널 유도 기하에서의 수축 가정과 표준 스펙트럼 갭 가정을 바탕으로, 경험적 점유 측도가 불변 측도로 수렴하는 것에 대한 비점근적 고확률 경계를 확립합니다. 도출된 경계는 두 조건의 역할을 분리합니다. 스펙트럼 갭은 주요 항의 유효 표본 크기를 결정하는 반면, 커널 수축은 선형 보정을 통해서만 반영됩니다. 응용 사례로서, 단일 궤적으로부터 동적 시스템의 1단계 예측을 연구하고 비선형 최소제곱 추정기에 대한 빠른 학습률을 유도합니다. 이 비율은 커널 유도 기하에서의 혼합 특성과 최소제곱 분석에 사용되는 고전적인 소스 및 용량 조건 간의 상호작용을 강조합니다.

arXiv:2608.31117v2quant-ph공통 태그 maximum mean discrepancy

"고전적 학습, 양자 배포" 패러다임은 일반화에 대한 재고를 요구한다

"Train classical, deploy quantum" requires rethinking generalization

생성 모델은 이미지 및 텍스트 합성을 넘어 분자 및 재료 설계에 이르기까지 과학과 산업 전반에서 핵심적인 역할을 하게 되었습니다. 양자 회로는 자신이 인코딩하는 분포로부터 자연스럽게 표본을 생성하며, 적절한 회로의 경우 해당 분포를 고전 컴퓨터로 재현하기 어렵다고 여겨지므로, 양자 생성 모델은 양자 컴퓨터의 가장 유망한 응용 분야 중 하나로 간주됩니다. 이를 위한 대표적인 전략은 고전 컴퓨터에서 이러한 모델을 학습(training)시키고, 배포 시 표본 생성을 위해 양자 장치를 남겨두는 방식입니다. 이는 학습 손실(loss)을 고전 컴퓨터에서 평가할 수 있을 때 가능합니다. 대표적인 예로는 모델과 데이터를 파울리-$Z$(Pauli-$Z$) 상관관계를 통해 비교하는 모멘트 매칭(moment-matching) 손실인 최대 평균 불일치(MMD$^2$, Maximum Mean Discrepancy)가 있습니다. 지금까지의 연구는 이러한 모델이 학습될 수 있는지, 그리고 표본 생성이 어려운지에 집중해 왔습니다. 그러나 이러한 목적 함수를 최소화하는 것이 단순히 학습 통계를 재현하는 것을 넘어 \emph{일반화(generalizes)}하는 모델을 만들어내는지 여부는 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 실제 응용 분야에서 영감을 얻은 두 가지 데이터셋(dataset)에서 직접 표본을 추출하여 13가지의 양자 및 고전 생성 모델(model)을 벤치마크합니다. 첫 번째는 최대 30큐비트에 달하는 기수 제약(cardinality-constrained) 데이터셋이며, 두 번째는 유효 집합이 관측된 데이터인 유전체 단일 염기 다형성(single-nucleotide variants) 데이터셋입니다. 손실을 동일한 값으로 수렴시킨 모델들이라 할지라도, 관측되지 않은 유효 집합을 얼마나 포함하는지에는 큰 차이를 보였습니다. 이러한 결과는 수렴된 모멘트 매칭 손실이 신뢰할 수 있는 일반화 척도가 아니며, '고전적 학습, 양자 배포' 워크플로에서는 학습된 모델의 표본을 추출하여 일반화를 측정해야 함을 시사합니다. 관심 대상 규모에서 이 표본 추출 단계는 양자 장치를 필요로 한다고 여겨집니다.

arXiv:2512.13997v2stat.ML공통 태그 maximum mean discrepancy

일반화된 U-통계량을 통한 불균등 표본 크기에서의 최대 평균 불일치

Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics

기존의 이표본 검정(two-sample testing) 기법들, 특히 최대 평균 불일치(Maximum Mean Discrepancy, MMD)를 위한 커널 선택에 기반한 방법들은 두 분포에서 표본 크기가 동일하다고 가정하는 경우가 많다. 이러한 방법들을 실제로 적용하면 귀중한 데이터를 버려야 할 수 있어, 불필요하게 검정력(test power)을 감소시킨다. 우리는 일반화된 U-통계량 이론을 확장하여 표준 MMD 추정량에 적용함으로써 이 오래된 한계를 해결하며, 불균등 표본 크기에서의 MMD 추정량의 점근 분포에 대한 새로운 특성화를 제시한다(특히 기존 부분적 결과들이 요구하는 비례적 조건(proportional regimes) 밖에서도). 또한 이 일반화는 불균등 표본 크기에서의 MMD 검정의 검정력을 최적화하기 위한 새로운 기준을 제공한다. 우리의 접근법은 모든 가용 데이터를 보존하여 현실적인 환경에서 검정 정확도와 적용 가능성을 향상시킨다. 그 과정에서 MMD 추정량의 분산에 대한 훨씬 더 명확한 특성화를 제시하며, 이 분야 연구자들에게 놀라울 수 있는 사실을 밝힌다: MMD가 0이면 퇴화된(degenerate) 추정량을 의미하지만, 경우에 따라 MMD가 0이 아닌 퇴화된 추정량이 존재하는 것도 가능하다. 우리는 이에 대한 구성(construction)을 제시하고, 일반적인 상황에서는 이러한 일이 발생하지 않음을 증명한다.

arXiv:2607.04360v1stat.ML공통 태그 maximum mean discrepancy

조건부 생성 모델을 위한 최적 전문가 혼합 모델 평균화

Optimal Mixture-of-Experts Model Averaging for Conditional Generative Models

조건부 생성 모델은 목표 조건부 분포에서 샘플링하는 강력한 도구로 부상하여 광범위한 과학적·응용 분야에서 상당한 발전을 이끌고 있다. 이러한 모델이 확산됨에 따라, 실무자들은 작업, 데이터, 또는 입력 조건에 따라 성능이 달라질 수 있는 여러 그럴듯한 생성기에 직면하는 경우가 많다. 우리는 조건부 생성 모델을 위한 최적 모델 평균화 프레임워크를 제안하며, 이를 통해 후보 생성기들이 다루기 쉬운 밀도 없이 조건부 샘플을 통해서만 접근 가능한 경우에도 결합될 수 있도록 한다. 구체적으로, 우리는 조건부 분포 간의 샘플 기반 최대 평균 불일치(maximum mean discrepancy)를 사용하며, 이는 먼저 서로 다른 후보들에 고정된 가중치를 부여하는 정적 모델 평균화 방법인 StaticMA로 이어진다. 또한, 소프트맥스 신경망 게이트를 통해 공변량 의존적 가중치를 매개변수화하는 입력 적응형 방법인 MoEMA(전문가 혼합 모델 평균화)를 개발한다. 우리는 제안된 방법들에 대한 표본 내·외 점근적 최적성을 확립하고, 정규성 조건 하에서 추정된 적응형 가중치 함수의 일치성을 함께 증명한다. 이 프레임워크는 유클리드 반응에 직접 적용되며, 고정된 표현 맵과 우리의 공식을 결합함으로써 비정형 데이터로 확장된다. 표 형식, 이미지, 텍스트 모달리티에 걸친 광범위한 시뮬레이션 및 실제 데이터 연구에서 MoEMA는 경쟁 기준선 대비 전반적으로 성능이 향상되어, 제안된 방법들의 효과성을 입증한다.

arXiv:2111.10722v4stat.ML공통 태그 maximum mean discrepancy

적응형 커널을 활용한 최대 평균 불일치 흐름 기반 결정론적 샘플링 방법

A Deterministic Sampling Method via Maximum Mean Discrepancy Flow with Adaptive Kernel

본 논문에서는 커널 불일치, 즉 최대 평균 불일치(Maximum Mean Discrepancy, MMD)를 최소화하여 목표 분포 $ρ^*$를 근사하는 새로운 결정론적 샘플링 방법인 EVI-MMD를 제안한다. 에너지 변분 추론(energetic variational inference) 프레임워크(Wang et al., 2021)를 활용하여 MMD 최소화 문제를 파티클에 대한 상미분방정식(ODE) 동적 시스템을 푸는 문제로 변환한다. ODE 시스템을 풀기 위해 암묵적 오일러 기법(implicit Euler scheme)을 적용하며, 이를 통해 각 반복(iteration)에서 근위 최소화(proximal minimization) 문제가 도출되고 이는 L-BFGS 등의 최적화 알고리즘으로 효율적으로 해결된다. 본 방법의 핵심적인 혁신은 가우시안 커널(Gaussian kernel)에 대한 동적 대역폭 선택 전략으로, 현 단계에서는 휴리스틱이지만 커널 기반 방법에서 오랫동안 지속되어 온 과제를 해결하기 위한 의미 있는 진전을 나타낸다. 포괄적인 수치 실험을 통해 이 적응형 대역폭이 EVI-MMD의 성능을 크게 향상시킴을 입증한다. EVI-MMD 알고리즘을 두 가지 유형의 샘플링 문제에 적용한다: (1) 목표 분포가 밀도 함수로 완전히 명시된 경우와 (2) 학습(training) 데이터만 이용 가능한 「이표본 문제(two-sample problem)」. 후자의 경우 EVI-MMD는 생성 모델(generative model)로 작동하여 학습 데이터의 분포를 충실히 재현하는 새로운 샘플을 생성한다. 신중하게 조정된 파라미터 하에서 EVI-MMD는 두 시나리오 모두에서 기존의 여러 방법들을 능가한다.

arXiv:2606.27731v1cs.CL공통 태그 maximum mean discrepancy

Smooth MMD 정렬을 통한 LLM 수치 예측 향상

Enhancing Numerical Prediction in LLMs via Smooth MMD Alignment

강력한 일반 능력에도 불구하고, 대규모 언어 모델(LLM)은 출력이 수치적으로 정확해야 할 때 종종 신뢰할 수 없는 경우가 많다. 핵심 원인 중 하나는 학습 목표에 있다. 표준 교차 엔트로피는 수치 토큰을 구조 없는 범주로 취급하여 그 값들의 메트릭(metric) 구조를 무시한다. 우리는 Smooth Maximum Mean Discrepancy(SMMD)로 이러한 불일치를 해소한다. SMMD는 고전적인 MMD를 기반으로, 수치 토큰에 대한 값 거리 커널과 그래프 기반 평활성(smoothness)을 통합한다. 수치 부분 어휘 위에 정의된 이 커널을 통해 SMMD는 커널 매칭으로 예측된 수치 분포를 목표에 정렬하고, 유도된 커널 그래프 위에서 예측-목표 잔차를 평활화하여 지역적 일관성을 유도한다. 우리는 SMMD를 수학적 추론, 산술 계산, 시계 시간 인식, 차트 질의응답의 네 가지 수치 목표 과제에서 평가했으며, 여러 오픈 가중치 LLM 및 VLM 백본에 걸쳐 실험했다. SMMD는 교차 엔트로피와 최근의 수치 목표 손실 모두 대비 정확도를 일관되게 향상시켰다. 분석 결과 MMD와 평활성 사이의 상보적 효과가 드러났으며, 거리 기반 커널 설계의 중요성이 강조되었다. 코드는 https://github.com/Zuozhuo/smmd-loss 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.