대규모 언어 모델(LLM)은 대규모로 질의하기에 비용이 많이 드는 인간 선호도와 같은 실제 보상 대신, 흔히 LLM 판별자(judge) 및 기타 저비용 대리 지표(surrogate)를 대상으로 사후학습(post-training)됩니다. 그러나 이러한 방식은 잘못 보정된 대리 모델에 대한 강화학습이 바람직하지 않은 부작용을 초래하는 보상 해킹(reward hacking)으로 이어지는 경우가 많습니다. 본 연구에서는 적은 수 $n$개의 모델 출력에 대해 (예: 전문가 검토를 통한) 정답 레이블을 주석 처리하고, 이를 바탕으로 LLM 판별자를 재보정한 후 최적화를 진행하는 설정을 연구합니다. 기존의 판별자 재보정 접근 방식들은 비용이 많이 들거나 경험적이며, 대리 모델이 드물게 발생하는 출력 집합에 대해 잘못 보정되었을 때 온-정책(on-policy) 샘플링이 실패한다는 점이 알려져 있습니다. 본 연구에서는 인간 보상과 재보정된 보상이 판별자 주변의 $L^2$ 볼(ball) 내에 위치한다는 가정하에, 사후학습된 모델의 리그렛(regret) 상한을 최소화하는 이론적 근거를 갖춘 판별자 재보정 기법인 포락선 샘플링(envelope sampling)을 제안합니다. 또한 기각(rejection) 방식이나 수정된 보상에 대한 미세조정(fine-tuning)을 통해 포락선에서 샘플링하는 실용적인 알고리즘을 제시하며, 임상 기록 생성 및 제어된 아첨(sycophancy) 태스크에 대한 실험을 통해 기본 모델 샘플로 재보정했을 때는 해결되지 않던 보상 해킹이 포락선 샘플로 재보정했을 때 완화됨을 보입니다.
소지역 추정(Small Area Estimation, SAE)은 흔히 지역 간 정보를 공유(borrowing information)하는 것과 추정값을 신뢰할 수 있는 집계값(aggregates)에 맞춰 벤치마킹하는 것을 동시에 요구한다. 본 연구에서는 새로운 벤치마킹 사전분포(Benchmarking priors) 계열을 통해 이 두 가지 목표를 함께 다루는 베이지안 프레임워크를 개발한다. 이 사전분포들은 벤치마크 제약이 있는 정규화 문제로부터 유도된다. 그 결과로 얻어지는 계열에는 지역 간 추가적인 정규화 없이 벤치마킹 제약을 포함하는 벤치마킹 사전분포(Benchmarking Prior)와, 외부 공변량(covariate) 정보에 기반한 지역 간 유사도로부터 구성된 그래프 라플라시안(graph Laplacian)을 통해 정규화를 도입하는 단일 뷰(Single-View) 및 다중 뷰(Multi-View) 라플라시안 벤치마킹 사전분포가 포함된다. 이러한 퇴화된(degenerate) 사전분포 하에서의 사후분포 계산을 위해, 제약 공간의 축소된 매개변수화(reduced parameterization)에 기반한 맞춤형 MCMC 알고리즘을 개발한다. 제안된 모델들은 데이터 기반 시뮬레이션을 통해 평가되며, 이 프레임워크를 2025년 콜롬비아의 시정촌(municipality) 단위 평균 가구원수(Average Household Size, AHS) 추정에 적용한다. 이 응용에서 그래프 기반 정규화는 모델 성능을 향상시키며, 다중 뷰(Multi-View) 모델이 일반적으로 더 정밀한 시정촌 단위 추정값을 산출한다.
마르코프 연쇄 몬테카를로(MCMC) 방법은 복잡한 확률 분포에서 기댓값을 계산하기 위한 표준적인 도구입니다. 제어 변량(control variate)은 이를 통해 얻은 추정치의 분산을 줄여주지만, 좋은 제어 변량을 얻으려면 샘플러의 포아송 방정식(Poisson equation)을 풀어야 하며 이는 닫힌 형태의 해(closed-form solution)를 갖는 경우가 드뭅니다. 단순한 참조 밀도(reference density) 상에서 샘플러의 커널(kernel)에 대한 스펙트럼 분해(spectral decomposition)가 알려져 있을 때는 정확한 해를 구할 수 있습니다. 본 연구에서는 학습된 변수 변환(change of variables)을 통해 이러한 해를 일반적인 목표 분포로 확장합니다. 목표 분포가 잠재 공간(latent space)에서 참조 분포와 가까워지도록 정규화 흐름(normalizing flow)과 같은 전단사 함수(bijection)를 학습시키며, 마르코프 커널과 해당 포아송 해가 임의의 전단사 함수에 의해 변환됨을 보입니다. 이어 이러한 샘플러를 잠재 공간에서 실행하면 명시적인 제어 변량이 도출되며, 사상(map)과 목표 분포에 대한 온건한 꼬리 조건(mild tail conditions) 하에서 추정량의 일치성(consistency)이 보장됩니다. 흐름(flow) 기반의 중요도 샘플링(IS)은 동일한 구조의 극한 사례(limiting case)이며, 제어 변량은 이 경우에도 동일하게 적용됩니다. 합성 목표 분포 및 실제 사후 분포(posterior)를 대상으로 한 실험을 통해 본 절차를 최신 샘플러 및 제어 변량과 비교합니다.
재구성을 위해 행렬을 압축할 때는 여전히 단일 저계수(low-rank) 구조로 데이터를 근사하는 절단 SVD(truncated SVD)가 기본적으로 사용됩니다. 중첩되는 행-희소(row-sparse) 성분을 추가하여 잔차를 더욱 줄이는 방식이 흔히 쓰이지만, 이러한 결합 문제를 해결하는 방법들은 대개 반복적 솔버(iterative solver)와 정규화(regularization) 매개변수(parameter) 튜닝을 필요로 합니다. 본 논문에서는 절단 SVD를 개선하거나 정확히 일치시키는 닫힌 형식(closed-form)의 직접 대체제인 서로소 행-희소 및 저계수(D-SLR, Disjoint Row-Sparse plus Low-Rank) 분해를 제안합니다. D-SLR은 행을 그대로 저장하거나 저계수 적합으로 근사하는 것 중 하나로만 제한하며, 둘 다 적용하지는 않습니다. 제곱 오차 기준에서 이러한 제한은 아무런 손실을 초래하지 않습니다. 즉, 모든 비자명한 랭크와 저장된 행 수(형태)에서 더 적은 매개변수로 서로소 형태의 결합 최적해를 달성할 수 있습니다. 저장된 행 수가 0일 때 D-SLR은 절단 SVD로 환원되므로 동일한 비용에서 절단 SVD보다 결코 나빠지지 않습니다. 이 알고리즘은 오차 대 매개변수의 전체 트레이드오프를 평가하며, 이후 제공된 목표 오차나 매개변수 수, 또는 선택 규칙에 따라 해가 결정됩니다. 그리드와 해를 구하는 데 드는 비용은 튜닝이나 정규화 없이 SVD 3회 분량에 불과합니다. 또한 모든 형태에 대해 오차에 대한 가정 없는 사후(a-posteriori) 하한을 도출하여, 각 해에 대해 랭크 및 저장된 행 수의 다른 선택에 따른 잠재적 이득에 관한 계산 가능한 인증서를 제공합니다. 합성 데이터 및 실제 데이터(대규모 언어 모델(LLM) 임베딩(embedding) 테이블, 네트워크 트래픽, 초분광 영상)에 대한 실험을 통해 성능 향상을 확인하고 인증서를 정량화합니다.
AI 모델을 위한 공개 리더보드는 지속적으로 열람되며, 공격자는 공개된 모든 순위를 확인할 수 있다. 투표 조작, 비공개 변형 모델의 선택적 공개, 벤치마크 오염은 각각 순위를 뒤흔들 수 있다. 기존의 보증 방식은 기록이 조작되지 않았다고 가정하거나 단계별 오염 정도를 제한하는데, 이는 일시적으로 대량 오염을 가하는 공격자에게 무력화된다. 본 연구에서는 $t$개의 기록 이후 계산되어 각 쌍대 비교 주장과 함께 공개되는 허용 오차인 인증된 오염 예산(certified corruption budget) $\widehat{B}_t$를 제안한다. 최소 $1-α$의 확률로 모든 시점에서 동시에, 해당 주장이 정확하거나 또는 $\widehat{B}_t$개를 초과하는 기록이 오염되었음이 보장된다. 이는 예산 제한 없이 모든 인증서를 모니터링하는 공격자를 상대로도 성립한다. 위조된 기록과 확인 후 변경된 기록은 서로 다른 인증서를 필요로 한다. 위조 기록용 인증서는 이미 확인한 투표를 뒤집는 공격자에게 1에 수렴하는 확률로 실패하는 반면, 기록당 약 두 배의 비용을 부과하는 인증서는 미래를 내다보는 공격자를 상대로도 일정한 배팅을 통해 유효성을 유지하며, 모든 수준에서 이보다 더 적은 비용 부과는 성립하지 않는다. 인증된 예산은 유효한 모든 방법이 허용하는 한계에 가깝게 증가한다. 승률이 $\frac{1}{2}+δ$일 때, 각 신규 기록은 주장이 견뎌낼 수 있는 위조 기록 수에 거의 $2δ$만큼($δ$ 뒤집힘)을 추가한다. $V$개의 비공개 변형 중 최적 모델을 공개하는 데 드는 비용은 $\log V$ 수준으로만 증가한다. 180만 건의 Chatbot Arena 투표를 재현한 실험에서, 수백 건의 조작된 투표만으로도 표준 신뢰 구간은 잘못된 순위를 인증해 버린 반면, 제안 기법은 유효성을 유지했다. 실제 투표 데이터에서 본 인증서는 명확히 분리된 모델들이 약 2,000건의 위조 투표를 견뎌낼 수 있음을 보여준다.
현대의 순차적 모니터링 문제는 여러 지표를 다루는 경우가 많으며, 이때 우리는 여러 데이터 스트림을 동시에 모니터링하고 충분한 증거가 확보되면 조치를 취할 수 있습니다. 신뢰 시퀀스(Confidence Sequence, CS)는 이러한 연속적 모니터링을 위한 자연스러운 도구입니다. 그러나 유계 벡터 평균의 경우, 기존의 다변량 CS는 긴밀하지만(tight) 계산적으로 다루기 어렵거나(intractable), 계산은 빠르지만 보수적입니다. 이를 해결하기 위해 본 논문에서는 1차원 베팅 기반 CS를 고차원으로 확장하는 세 가지 방법인 가중치 적용 본페로니 영역, 동등한 최대 자산 형태, 포트폴리오 영역을 연구합니다. 포트폴리오 방식은 특히 고차원에서 일반적으로 훨씬 더 긴밀하지만, 경계 및 부피와 같은 특성을 닫힌 형태(closed form)로 구할 수 없습니다. 이처럼 더 긴밀한 구조를 실질적으로 활용할 수 있도록, 통계적 타당성을 유지하면서 포트폴리오 영역을 다루기 쉽게 외접 근사하는 경계 상자(bounding box), $\ell_p$-타원체, 그리고 이들의 교집합을 제안합니다. 우리는 모든 구조 간의 집합 관계를 증명하고, 이러한 근사법이 (i) 다루기 힘든 포트폴리오에 근접한 영역을 달성하고, (ii) 기존의 계산 가능한 다변량 CS를 크게 능가하며, (iii) 다중 지표 A/B 테스팅 및 모델 비교와 같은 실용적인 사용 사례를 가능하게 함을 실증적으로 보여줍니다.
다변량 반응변수를 위한 해석 가능성이 매우 높은 회귀 트리인 투블록 클러스터링 트리(twoblock clustering tree, \tbtree)를 소개합니다. 투블록 트리는 리프(leaf) 노드에 국소 다변량 선형 모델을 배치하고, 국소 리프 모델 및 불순도(impurity) 계산에 조밀(dense) 또는 희소(sparse) 투블록 차원 축소를 사용하는 결정론적 의사결정 트리입니다. 이를 통해 도출된 모델은 연산 효율성이 높으며 매우 뛰어난 해석력을 가질 수 있습니다. 본 추정기의 주요 목표는 데이터에 대한 해석 가능하고 체제(regime)에 정렬된 구간별 선형(piecewise-linear) 설명을 제공하는 것이며, 분할과 리프의 분리(split/leaf decoupling)를 통해 제약 조건으로서 예측 경쟁력을 유지합니다. 본 논문은 의사결정 트리 추정기 자체를 제안하는 것 외에도 공편도(coskewness) 극대화에 기반하여 데이터 내 비정규 클러스터 식별을 용이하게 하는 투블록 차원 축소 공간 추정기를 소개합니다. 이 트리는 본질적으로 국소 선형 모델들의 집합을 생성하므로 구간별 선형 체제를 복원하는 데 적합하며, 이는 시뮬레이션을 통해 입증됩니다. 아울러 두 가지 실제 데이터 예시를 통해 투블록 트리가 더 복잡한 비선형 의존성을 모델링할 수도 있으며, 랜덤 포레스트(random forests)와 같은 블랙박스 모델링 기법과 대등한 성능을 보일 수 있음을 보여줍니다. 각 단계에서 분할을 생성하는 투블록 모델과 리프에 있는 모델 모두를 직접 점검하고 해석할 수 있습니다.
평균이 0인 확률변수 $X$의 준가우시안(sub-Gaussian) 매개변수(분산 대리량(variance proxy)이라고도 함)는 $ξ^2_\star = \sup_{λ\in \mathbb{R}} L(λ)$로 정의되며, 여기서 $L(λ) = \frac{2}{λ^2} \log \mathbb{E} e^{λX}$는 가중 누적생성함수(cumulant generating function)이다. 본 연구는 $ξ^2_\star$의 추정을 다루며, 최소최대 위험(minimax risk)이 분포 $P$의 꼬리 거동(tail behavior)의 영향을 포착하는 비증가 함수 $δ_P(C) = \sup_{|λ| \geq C} L(λ) - \sup_{|λ| \leq C} L(λ)$에 의해 결정됨을 증명한다. 어떤 비증가 함수 $r$에 대해 $δ_P \leq r$을 만족하는 분포 클래스 전체에서, 최소최대 위험은 (곱셈 상수 범위 내에서) $r(\sqrt{\log n}) + n^{-1/2}$로 하한이 주어지고, 임의의 $\varepsilon > 0$에 대해 $r((\log n)^{1/2-\varepsilon}) + n^{-1/2 + \varepsilon}$로 상한이 주어진다. 상한을 달성하는 우리의 추정량은 $L$의 경험적 유사량에 대한 제약 최대화(constrained maximization)에 기반한다. 이 추정량은 거의 최소최대 최적(minimax optimal)이면서 적응적(adaptive)일 뿐만 아니라, 적절한 조건 하에서 점근적으로 정규분포(asymptotically normal)를 따르며, 기저 분포가 준가우시안이 아닌 경우에는 분포 꼬리의 무거움(heaviness)에 의해 결정되는 속도로 발산함을 추가로 증명한다.
원형 분석(archetypal analysis, AA)은 1994년 Adele Cutler와 Leo Breiman에 의해 관측치로부터 이른바 원형(archetype)이라 불리는 서로 구별되는 측면들을 추출하기 위한 계산적 절차로 처음 제안되었으며, 각 관측 기록은 이러한 원형들의 혼합(즉, 볼록 결합)으로 근사된다. 이를 통해 AA는 특징 추출과 차원 축소를 위한 간단하고 해석 가능하며 설명 가능한 표현을 제공하여 고차원 데이터의 구조를 이해하는 데 도움을 주고, 과학 전반에 걸친 광범위한 응용을 가능하게 한다. 그러나 AA는 관련 최적화 문제가 비볼록(nonconvex)이라는 점에서 특히 어려움에 직면하기도 한다. 본 서베이는 연구자와 데이터 마이닝 실무자에게 AA가 제공하는 방법론과 기회에 대한 개요를 제공하는 최초의 서베이로서, 서로 다른 과학 분야에 걸친 AA의 다양한 응용 사례와 AA를 활용한 데이터 모델링의 모범 사례 및 그 한계점을 함께 조사한다. 본 서베이는 AA와 관련된 중요한 향후 연구 방향을 설명하며 마무리된다.
도로 안전 프로그램은 경찰의 교통사고 기록 중 코드화된 필드를 집계하지만, 해당 필드에서 누락된 요인들이 종종 기록되는 경찰관의 서술문은 거의 검토되지 않습니다. 따라서 안전 당국은 자체 집계에서 얼마나 많은 부분이 누락되었는지 또는 어디를 검토해야 하는지 파악하기 어렵습니다. 본 연구는 2017년부터 2025년까지 발생한 5,601,890건의 텍사스 교통사고에 대해 이 두 가지 관점을 결합하여 명시된 타당성을 갖는 모집단 추정치를 산출하는 시스템을 개발하고 평가합니다. 문맥 내 정형 파운데이션 모델(tabular foundation model)인 Kumo Tabular가 모든 사고의 코드화된 기록을 읽고, 보정된 시스템 원(System One) 모델인 Jev가 두 확률 표본의 서술문을 읽으며, 인간의 판단을 통해 그 확률을 재보정합니다. 다파동 예측-후-편향제거(predict-then-debias) 추정기가 이 세 계층을 결합하며, 기록된 확률로 추출된 두 번째 인간 검증 계층이 설계상 추정치를 교차 검증합니다. 수막현상, 급성 질환, 피로, 동물, 휴대폰 사용 요인에 대해 서술문은 코드화된 필드보다 더 많은 부상 사고를 기록했으며(휴대폰 사용의 경우 7,340건 대비 15,074건), 인간 검증 결과는 오차 마진(margin) 내에서 15개 추정치 모두와 일치했습니다. Kumo Tabular로 순위가 매겨진 재검토 목록은 무작위 검토 대비 7배에서 58배 더 높은 빈도로 확인된 불일치를 찾아냅니다. 인간 코딩의 계획 비용 기준에서 추가적인 1회의 인간 판단 라운드를 거치면 평균제곱근 상대 반폭(relative half-width)이 22.0%에서 16.2%로 감소하며, 이는 모든 서술문을 읽었을 때의 21.2%와 비교됩니다. 서로 다른 관점을 지닌 두 개의 보정된 리더가 표본 추출 설계를 통해 결합됨으로써, 안전 당국에 집계 수치, 불일치 지도, 검증된 재검토 목록, 검토 예산을 제공하며, 이때 Kumo Tabular는 TabPFN 3.5 대비 15배 빠른 속도로 테이블을 처리합니다.
분할 등각 예측(split conformal prediction)은 홀드아웃(보정) 데이터에서의 예측 오차를 활용하여 예측 구간의 너비를 결정합니다. 이 방법은 보정 데이터의 오차와 목표 지점에서의 오차가 교환 가능(exchangeable)할 때 분포 무관 유한 표본 커버리지(distribution-free finite-sample coverage)를 보장합니다. 그러나 공간적 의존성과 비무작위 표본 추출 기하 구조에서는 이러한 가정이 성립하지 않을 수 있습니다. 기존의 공간적 기법들은 적합 잔차를 사용하여 보정 및 목표 오차에서 예측 가능한 공간 변동 성분을 제거합니다. 하지만 보정 잔차만으로 예측할 수 있는 공간 변동은 목표 및 보정 오차 모두에 여전히 남아 있어 구간의 효율성과 안정성을 저하시킵니다. 본 논문에서는 보정 잔차를 순차적으로 추가 조건화하여 이를 해결하며, 최근접 이웃 근사를 통해 대규모 네트워크로 확장할 수 있도록 합니다. 올바른 작업 공분산과 타원형 잔차 법칙 하에서, 제안된 구간은 임의의 공간 설계 하에서도 정확한 유한 표본 커버리지를 가지며, 추가 조건 하에서는 점근적으로 오라클 효율성(oracle efficient)을 달성합니다. 또한 공분산 오지정(misspecification) 시의 커버리지 손실을 제한하고 커버리지 부족 위험이 있는 영역을 식별하는 진단법을 개발합니다. 시뮬레이션 데이터에서 본 기법은 전역 및 국소적 최신 대안 기법들보다 더 좁고 안정적인 구간을 생성합니다. 국가 수준의 PM2.5 실제 데이터 적용에서도 네트워크 내에서 더 좁은 구간을 산출하고 커버리지 실패 위험이 있는 영역을 효과적으로 식별합니다.
디지털 실험에서의 정책 학습(policy learning)은 낮은 신호 대 잡음비(SNR), 풍부한 공변량 공간, 대규모 데이터라는 세 가지 문제에 직면합니다. 본 연구에서는 점점 더 세분화되는 공변량 분할로부터 얻은 처치 효과(treatment-effect) 추정치를 유계된 신호 대 잡음비를 갖는 가우시안 관측치로 모델링하여 이러한 영역을 정형화합니다. 연구진은 이러한 설정에서 일반적으로 최적 처치 정책을 학습할 수 없음을 밝힙니다. 최적 정책 가치를 학습하는 것조차 비실용적으로 느린 수렴 속도를 겪습니다. 그러나 처치 효과가 매끄럽게(smoothly) 변할 때, 점근적으로 소멸하는 후생 후회(welfare regret)를 달성하는 선형 평활기(linear smoother) 기반의 미니맥스 적응형 정책을 도출합니다. 연구진은 이 프레임워크를 넷플릭스의 대규모 실제 실험에 적용하여 실용적 가치를 입증하며, 이러한 까다로운 실증적 환경에서도 개인화된 선형 평활 정책이 비개인화 정책보다 우수할 수 있음을 보여줍니다.
이진 분류(binary classification)는 머신러닝에서 가장 광범위하게 연구된 문제 중 하나이지만, 거의 0에 가까운 거짓 음성률(false negative rate)을 달성하는 분류기를 학습하는 영역은 여전히 거의 탐구되지 않았습니다. 본 논문에서는 학습 세트의 양성 예시 수를 $N_1$이라 할 때, 거짓 음성률 $α$가 $ε_{N_1}=o_{N_1\to\infty}(1/N_1)$로 제약되는 분류기를 학습하는 것을 목표로 하는 '극단적 이진 분류(Extreme Binary Classification)' 문제를 소개합니다. 이 문제를 해결하기 위해, 표본 최댓값에 적용되는 순열 검정 기반의 특징(feature) 선택 절차와 함께 극단값 이론(Extreme Value Theory)에서 도출된 이론적 보장을 바탕으로 하는 임계값 적응 방법을 제안합니다. 다양한 크기의 네 가지 실제 데이터셋에 대한 실험 결과는 본 접근 방식이 최신 방법들과 비교해 우수한 성능을 보임을 입증합니다. 또한, 암 검진 데이터셋에 대한 적용을 통해 본 방법의 해석 가능성을 보여줍니다.
데이터 수집은 종종 비용이 많이 들거나 실행하기 까다로워 연구자가 탐구할 수 있는 질문과 그 질문에 얼마나 정확하게 답할 수 있는지를 모두 제한합니다. 예측 기반 추론(Prediction-powered inference, PPI)은 레이블이 지정된 데이터와 머신러닝 예측을 결합하여 정확한 매개변수 추정에 필요한 데이터의 양을 줄일 수 있습니다. 그러나 클러스터 내의 의존성을 무시하면 참 매개변수를 공칭 수준보다 덜 포함하는 신뢰구간이 생성될 수 있습니다. 본 논문에서는 부트스트랩이나 리샘플링 없이 독립적인 클러스터 내 임의의 의존성 하에서 닫힌 형태(closed form)의 표준오차와 점근적으로 유효한 신뢰구간을 제공하는 클러스터 로버스트 PPI++(Cluster-Robust PPI++)를 제안합니다. 본 연구의 핵심 기여는 클러스터에 레이블이 지정된 단위와 레이블이 지정되지 않은 단위가 모두 포함되는 일반적인 실증적 설정인 부분 레이블 클러스터(partially labeled clusters)를 수용하는 것입니다. 클러스터 내 단위들이 서로 종속적이므로, 부분 레이블 클러스터는 PPI++의 독립성 가정을 위반합니다. 또한 레이블링 설계에 따라 정밀도 향상이 어떻게 달라지는지 보이고, 점근 분산을 최소화하는 클러스터 인식 파워 튜닝 규칙을 도출합니다. 텔레비전 뉴스에 적용한 결과, 표준 PPI++ 신뢰구간은 60% 미만의 포함률(coverage)을 보인 반면, 클러스터 로버스트 PPI++는 공칭 95% 포함률을 달성할 수 있음을 확인했습니다.
조건부 밀도 추정은 공변량에 따라, 그리고 영상 연구에서는 위치에 따라서도 반응 변수의 전체 분포가 어떻게 변화하는지를 설명합니다. 로지스틱 가우시안 프로세스(LGP)는 이러한 밀도에 대한 유연한 사전분포를 제공합니다. 그러나 LGP의 정규화 상수는 닫힌 형태(closed form)를 갖지 않으므로, 기존 방법들은 가능도(likelihood)를 근사하거나 대체합니다. 본 논문에서는 로그 밀도를 두 개의 이변량 함수 합으로 표현하는 정확한 가능도 유한 계수 LGP(ExFR-LGP)를 제안합니다. 여기서 두 함수는 각각 반응 변수와 위치에 따라 변하는 공변량의 선형 지표에 대한 함수, 그리고 반응 변수와 위치에 대한 함수입니다. 각 함수에는 정규 격자상에서 조각별 선형(piecewise linear)인 유한 계수 가우시안 프로세스 사전분포가 할당되어 정규화 상수, 조건부 평균 및 분위수가 닫힌 형태의 표현식을 가질 수 있게 됩니다. 타원 슬라이스 샘플링(elliptical slice sampling)을 통해 가우시안 성분을 업데이트하는 깁스 샘플러(Gibbs sampler)를 활용하여 이 사전분포하의 정확한 사후분포로부터 사후 표본을 추출합니다. 참 로그 밀도가 이러한 두 이변량 함수의 합일 때, 사후분포가 로그 요인을 제외하고 $α$-매끄러운 이변량 밀도의 미니맥스 비율로 수축함을 보입니다. 합성 데이터를 이용한 수치 실험은 조건부 밀도 추정에서 ExFR-LGP의 효과성을 입증합니다. 나아가 알츠하이머병 신경영상 이니셔티브(ADNI) 데이터에서 뇌량을 따른 부분 이방성 반응에 적용한 결과, 불확실성이 포함된 공변량 보정 백분위수 밴드를 산출하여 진단에 따라 신경 섬유 다발을 따른 분포가 어떻게 변화하는지 명확히 보여줍니다.
가중 등각 예측(weighted conformal prediction)은 타깃과 소스 공변량 간의 가능도비(likelihood ratio)로 보정 점수의 가중치를 재조정하여 공변량 변화(covariate shift)를 보정합니다. 그러나 그 비용은 두 공변량 분포 간의 카이제곱 발산(chi-square divergence)에 따라 증가하며, 일반적으로 변화의 크기에 대해 지수적으로 증가하고, 그 비용의 상당 부분은 반응 변수에 영향을 주지 않는 방향의 변화로 인해 발생할 수 있습니다. 본 연구에서는 압축된 공변량 $Z=T(X)$의 비를 가중치 및 선택적으로 점수에 활용하는 가중 등각 예측 기법인 스케치 보정(sketched calibration)을 제안합니다. 압축은 변화 의존적인 보정 비용을 결코 증가시키지 않으며, 타깃 커버리지는 최소 $1-α-Δ_T$가 됩니다. 여기서 누출(leakage) $Δ_T$는 버려진 변화가 $Z$가 주어졌을 때의 반응 변수 또는 점수 분포의 변화로 얼마나 다시 나타나는지를 측정합니다. 이 누출은 스케치의 파이버(fibre) 상에서 버려진 변화와 반응 변수 간의 공분산이며, 스케치가 충분(sufficient)하거나 변화를 유지할 때 소멸합니다. 또한 미니맥스(minimax) 구성을 통해 고정된 점수에 대한 어떠한 임곗값 규칙도 이를 피할 수 없음을 보입니다. 비가중 보정이 실패하는 이분산 시뮬레이션에서 1차원 스케치는 $90\%$ 타깃에 대해 평균 커버리지 $92.3\%$를 유지하면서 무한 예측 집합의 비율을 $37.8\%$에서 $8.0\%$로 줄였습니다. 비선형 및 실제 데이터 실험을 통해 학습된 스케치가 성공하는 경우와 실패하는 경우를 제시합니다.
이미지, 미디어 스트림, 생체의학 오믹스 등 여러 과학 분야의 현대 데이터는 유클리드 공간(Euclidean space)의 점 대신 바서슈타인 공간(Wasserstein space)의 확률 분포로 자연스럽게 모델링됩니다. 이에 따라 유사성을 기반으로 객체를 그룹화하는 탐색적 프레임워크를 제공하는 분포 군집화 방법의 수요가 높습니다. 바서슈타인 공간에서 분포 값을 갖는 데이터를 군집화할 때는 사전에 군집 수를 결정해야 하는 경우가 많습니다. 본 논문에서는 최적의 군집 수를 선택하기 위한 기준으로서 상대적 바서슈타인 공간 깊이(Relative Wasserstein Spatial Depth, RWSD)를 제안합니다. 이는 각 분포가 할당된 군집 내에서 가지는 깊이를 경쟁 군집에서의 깊이와 비교합니다. 이 기준을 바서슈타인 K-평균 또는 새로 제안하는 K-중간값(K-medians) 알고리즘과 결합합니다. 적절한 가정 하에 군집 중심 및 선택된 최적 군집 수의 일치성(consistency)을 규명합니다. 또한 2단계 표본추출 하에서의 오차율을 제시하고 임의의 고정된 분할 하에서 RWSD의 강건성(robustness)을 규명합니다. 광범위한 시뮬레이션에서 RWSD는 실루엣 점수(silhouette score)나 데이비스-볼딘 지수(Davies-Bouldin Index)가 종종 실패하는 불균등한 분리, 이종 분산, 두터운 꼬리(heavy tails), 이상치 조건에서도 의도된 군집 수를 선택합니다. MNIST 이미지 및 유세포 분석 데이터에 대한 적용을 통해 RWSD의 실용적 가치를 입증합니다. 군집이 측지학적으로 볼록(geodesically convex)하지 않고 유의미한 깊이 중심이 결여된 일부 경우에는 RWSD가 실패할 수 있습니다.
공변량과 함께 수집되는 다변량 순서형(multivariate ordinal) 데이터는 언어 모델과 인간 선호도의 정렬(alignment)부터 추천 시스템에 이르는 다양한 문제에서 흔히 수집됩니다. 예를 들어 MovieLens와 같은 데이터셋은 사용자의 연령이나 성별과 같은 인구통계학적 정보와 함께 사용자가 1~5점 척도로 평가한 여러 영화 평점을 포함합니다. 유사하게 HelpSteer와 같은 데이터셋은 LLM 프롬프트-응답 쌍에 의존하는 공변량과 함께, LLM 응답의 "유용성(helpfulness)"이나 "장황함(verbosity)" 같은 여러 속성에 대한 인간 피드백을 순서형 척도로 수집합니다. 안타깝게도 이러한 데이터를 모델링하는 표준 접근 방식은 (a) 속성들을 결합하여 다루기보다 개별적으로 살펴보며, (b) Bradley-Terry 및 Plackett-Luce와 같은 모델에 적합시키기 위해 데이터를 쌍별(pairwise) 또는 리스트별(listwise) 승패 비교 형태로 변환하는 경우가 많습니다. 이러한 방식은 모두 실제로 관측된 정보의 조악화(coarsening)를 초래하며, 본 연구에서는 공변량 의존 결합 연속 비율 마르코프 랜덤 필드(consecutive ratio Markov random field) 모델을 통해 이를 해결합니다. 또한 본 결합 모델의 제약 조건 하에서 쌍별 또는 리스트별 비교 모델이 유도됨을 보이고, 결합 모델링이 비교 성능을 향상시킴을 입증합니다. 아울러 계산이 불가능한 정규화 상수(intractable normalizer)가 존재하는 상황에서도 적용 가능한 최대 가능도(maximum likelihood) 추론 절차를 개발합니다.
다음과 같은 패턴은 공간-시간적(spatiotemporal) 환경에서 흔히 나타난다: 우리는 상대적으로 짧은 최근 기간 동안 관측된 공변량(covariate)과 레이블(label) 쌍의 시퀀스를 가지고 있다. 또한 더 긴 기간에 걸친 레이블이 없는(unlabeled) 공변량에도 접근할 수 있다. 데이터는 여러 공간적 위치(spatial location)에서 관측된다. 예를 들어, 작물 수확량(crop yield)은 최근 몇 년간 넓은 지리적 영역에서 관측될 수 있지만, (작물 수확량에 대한 정보를 제공하는) 기상 데이터는 훨씬 더 긴 기간 동안 이용 가능하다. 목표는 각 공간적 위치에서 미래의 예상 레이블 값(예: 작물 수확량)을 추정하고 이 값에 대한 유효한 신뢰구간(confidence interval)을 제공하는 것이다. 관측된 기간만으로는 신뢰할 수 있는 추정을 하기에 너무 짧다. 머신러닝으로 누락된 레이블을 대체(imputing)하면 상당한 바이어스가 발생할 수 있다. 예측 기반 추론(Prediction-powered inference, PPI)은 이러한 바이어스를 보정할 수 있지만, 우리가 예상하는 시간적 의존성(temporal dependency) 하에서는 깨지는 i.i.d. 가정에 의존한다. 이분산성 및 자기상관에 대해 일관성을 갖는(Heteroskedasticity and autocorrelation consistent, HAC) 절차는 시간적 상관관계를 반영하지만, 일부 레이블이 대체(impute)된 경우에 맞게 조정되지 않았다. 우리는 다음이 주어졌을 때 신뢰할 수 있는 점 추정값(point estimate)과 신뢰구간을 제공한다: (공간적 위치에 걸친) 짧은 레이블이 있는 시계열, 더 긴 레이블이 없는 시계열, 그리고 공변량으로부터 레이블을 예측하는 불완전한 예측기(predictor). 우리는 우리의 방법이 자연스러운 대안들보다 더 우수한 성능을 보인다는 것을 보여준다.
고정된 시점(horizon)에서 경쟁 위험(competing risks) 레이블에 대한 분할 컨포멀 예측(split conformal prediction) 집합을 구성할 때는 우측 중도절단(right censoring)으로 인해 관측되지 않을 수 있는 보정 레이블이 필요합니다. 완전 관측 사례(complete-case) 보정은 레이블이 완전한 하위 모집단에 대해서는 커버리지(coverage)를 보장하지만, 실제 클래스 확률 하에서도 전체 모집단 커버리지는 양방향으로 벗어날 수 있습니다. 본 연구에서는 선택(selection) 편향이 모집단 분위수 부근에서 점수 분포를 어떻게 변화시키는지 살펴봅니다. 독립 표본을 사용한 주요 시뮬레이션 패밀리의 실제 점수에서, 시점 기준 22%의 대상자가 사건 미발생 상태일 때 완전 관측 사례 보정은 공칭 수준 0.900에서 0.8723의 커버리지를 보입니다. 표본별 정규화(per-draw normalisation)를 적용하고, 원인별 Nelson-Aalen 누적 위험도의 음수 지수값을 1에서 뺀 값으로 원인 발생률을 추정하며 사건 미발생 확률을 절단 및 재정규화된 나머지로 산출한 추가 48개 설계 중 4개 설계에서, 완전 관측 사례 커버리지는 공칭 수준보다 표준오차 기준 최소 4배 이상 낮아집니다. 이러한 설계들에서는 올바르게 지정된 중도절단 모델(censoring model)의 가중치를 적용함으로써 커버리지를 공칭 수준에 가깝게 유지할 수 있습니다. Yi et al. (2025)의 논의를 원인 레이블로 확장하여, 중도절단 모델 오차에 대한 명시적인 페널티를 포함하는 유한 표본 커버리지 하한을 규명합니다. 중도절단 모델을 잘못 지정하는 경우에도 커버리지 미달이 발생할 수 있습니다.