커널 밀도 추정(kernel density estimation)은 유한한 표본을 확률 밀도로 변환하지만, 그 성능은 대역폭(bandwidth) 선택에 크게 좌우된다. 기존의 고전적 선택기는 표본에서 대역폭으로 가는 규칙을 해석적 또는 점근적으로 정하거나, 각 표본마다 새로운 최적화 문제를 푼다. 본 연구는 이와 달리 로그 스코어(logarithmic score)를 최적화하여 밀도 추정 과제들의 분포 전반에 걸쳐 이 대응 관계를 학습하는 상각(amortized) 프레임워크를 제안한다. 절단 후 재정규화(truncated-and-renormalized)하는 유계 지지집합(bounded-support) 정식화는 이질적인 과제들에 걸친 안정적인 학습을 가능하게 하며, 아핀 표준화(affine standardization)는 단일 기준 구간에서 학습된 선택기가 다양한 유계 구간으로 전이되도록 한다. 가우시안 샘플링, 다중 분포족 벤치마크, 무작위 가우시안 혼합 학습에 대한 실험 결과, 상각 선택기는 Silverman 규칙, Sheather–Jones 선택기, 최소제곱 교차검증(least-squares cross-validation)보다 일관되고 큰 폭으로 우수한 성능을 보였으며, 특히 표본 수가 적거나 이질적인 표본에서 이득이 컸다. 유한 가우시안 혼합은 $L^1$ 근사 성질에 의해 뒷받침되는 범용적인 학습 메커니즘을 제공한다. 이러한 방식으로 학습된 선택기는 서로 다른 밀도 구조에 대해 강하게 일반화되므로, 분포족을 지정하거나 적합하지 않고도 학습된 동일한 선택기를 미지의 밀도에서 추출한 유한 표본에 직접 적용할 수 있다. 이처럼 폭넓은 적용 가능성과 강력한 실증적 성능을 겸비한 이 프레임워크는 유한 표본이나 앙상블을 연속적인 확률 밀도로 변환해야 하는 다양한 응용 분야에서 매력적이다.
스코어 기반 필터(score-driven filter)는 스케일링된 로그 가능도(log-likelihood) 스코어에 스케일 매개변수(scale parameter)를 곱합니다. 본 연구에서는 이 계수를 게인(gain)이라 부르고 이를 온라인으로 학습합니다. 현재 상태와 실현된 스케일링된 스코어가 주어졌을 때, 각각의 허용 가능한 게인은 도달 가능한 다음 상태와 예측 밀도를 선택합니다. 스칼라 게인은 직선을 따라 이동하며, 대각 게인은 좌표별 전달을 제어하고 방향을 바꿀 수 있습니다. 저자들은 1단계 예측 쿨백-라이블러(Kullback-Leibler) 목적함수를 사용하여 게인 선택을 평가합니다. 스칼라 비스케일링(unscaled) 환경에서 연속된 스코어의 음의 곱은 확률적 그래디언트(stochastic gradient)이며, 가속 재귀에서 사용되는 양의 곱은 하강 방향입니다. 양의 스칼라 스코어 스케일링은 유효 학습률(learning rate)만을 변화시킵니다. 양의 도함수(derivative)를 가지며 엄격히 증가하는 연속 미분 가능 게인 링크는 미러 하강(mirror descent) 기하학을 유도하는 한편, 지속성(persistence)은 기준 게인을 향한 브레그만 풀(Bregman pull)을 추가합니다. 볼록성, 콤팩트성, 적분가능성 및 스케줄 조건 하에서 사영 및 할인된 미러 업데이트는 시변하는 현재 정보 비교자(current-information comparator)에 대한 동적 후회(dynamic-regret) 경계를 만족합니다. 시뮬레이션을 통해 스코어 스케일링, 링크 기하학, 지속성 및 좌표별 게인을 분리하여 분석합니다. 12개 주가 지수 전반에서 유계 할인-로지스틱(discounted-logistic) 게인은 11개 시장에서 상수 게인보다 더 낮은 표본 외(out-of-sample) 평균 음의 로그 스코어를 기록하지만, 시장 수준의 증거는 혼재되어 있습니다. 또한 이는 수치적으로 상한이 제한된 지수 링크 벤치마크의 극단적인 과도 현상을 방지합니다.
본 논문은 연속적인 상태-행동 입력과 벡터값 보상을 갖는 관측된 오프라인 궤적으로부터 조건부 다변량 리턴 분포의 커널 평균 임베딩(kernel mean embedding)을 추정하는 오프라인 방법인 커널 임베딩 분포형 강화학습(Kernel Embedding Distributional Reinforcement Learning, KE-DRL)을 제안한다. KE-DRL은 조건부 임베딩을 근사하고, 최대 평균 불일치(Maximum Mean Discrepancy, MMD) 벨만(Bellman) 기준을 통해 유한 사전 표현(finite-dictionary representation) 계수를 추정한다. 정칙(regular) 리턴 분포 클래스에 대해, Matérn 임베딩과 벨만 불변 Sobolev 모멘트 클래스가 고유한 분포형 벨만 고정점을 식별함을 보이고, 모집단 임베딩 벨만 잔차로 바서슈타인(Wasserstein) 오차를 제어하는 횔더(Hölder)형 경계를 유도한다. 직접 관측된 반응에 대해서는 정규화된 조건부 평균 임베딩 추정량에 대한 유한 표본 및 균등 오차 경계를 제공한다. 시뮬레이션 실험에서는 여러 행동-타깃 정책 쌍에 걸쳐 몬테카를로(Monte Carlo) 벤치마크 대비 점별 임베딩 복원 성능을 평가한다. 또한 Expedia 호텔 검색 데이터에 적용하여 두 정책 하에서의 조건부 다변량 리턴 평가를 실증한다.
본 연구는 LLM을 사용해 서면 텍스트에서 도출된 다변량 행동 측정치가 결과 변수이고 네트워크 형성이 내생적인 경우 동료 효과를 추정하는 새로운 프레임워크를 제시한다. 저보안 교정시설 거주자들 간 20만 건 이상의 서면 교환에 대해 LLM 임베딩과 제로샷(zero-shot) 분류를 구축한다. LASSO와 LoRA 미세조정을 사용할 때 LLM 임베딩은 입소 전 공변량만 사용하는 경우 대비 표본 외 재범 예측을 최대 30%까지 개선하며, 텍스트 표현이 의미 있는 신호를 포착함을 보여준다. 동료 효과 추정을 위해 다변량 결과, 희소 네트워크, 다차원 잠재 동질성(homophily)을 수용하는 새로운 도구변수 추정량을 개발한다. 이 추정량은 동료 효과 문헌에서 널리 쓰이는 밀집 네트워크 가정을 완화하는 희소성 조건 하에서 $\sqrt{N}$-일치성 및 점근적 정규성을 갖음을 보인다. 이어 제한된 인간 주석을 LLM 제로샷 벡터와 결합한 새로운 예측 기반 동료 추론(PPPI, prediction-powered peer inference) 접근법으로 편향이 제거된 추정치와 유효한 추론을 얻는다. 결과는 행동 프로파일에서 유의한 동료 효과를 드러낸다.
개별 트리의 성능을 약화시키지 않으면서 트리 간 상관을 줄이면 랜덤 포레스트를 개선할 수 있다는 브레이먼의 관찰을 재검토한다. 이 원칙을 바탕으로 Dirichlet-Multinomial Bagging Random Forest(DM)와 Dirichlet-Weighted Random Forest(DW) 두 변형을 제안한다. 두 방법 모두 집중도 매개변수 $\alpha>0$를 통해 표본 재가중을 조절한다. 이 변형들이 표준 랜덤 포레스트와 구별되지 않을 정도로 동일하게 동작하는 조건을 밝히는 간단한 이론적 기준을 제시하고, 이를 경량 튜닝 전략의 지침으로 활용한다. 공개 분류 벤치마크에 대한 통제된 평가에서 DM과 DW는 다른 랜덤 포레스트(RF) 기준선과 지속적으로 경쟁력을 보이며 종종 더 우수하고, 추가 실행 시간은 무시할 수 있는 수준이다.
실제 데이터에는 변수 선택에 과도한 영향을 미칠 수 있는 비정상적인 관측치가 포함되는 경우가 많으며, 이는 복잡한 예측 변수 환경에서 특히 두드러집니다. 본 논문에서는 이상치 오염이 존재하는 단일 인덱스 모델(single index models)에서의 변수 선택을 위한 2단계 희소 중위 그래디언트 외적(sparse median outer product of gradients, smOPG) 방법을 제안합니다. 먼저 \(\ell_1\) 페널티 기반 국소 중위 회귀(local median regression)를 통해 희소 국소 그래디언트(sparse local gradients)를 추정한 다음, 정규화된 특이값 분해(singular value decomposition)를 사용해 결과 그래디언트 행렬의 랭크-1 희소 근사로부터 활성 예측 변수 집합을 복원합니다. 중위 회귀와 국소 가중치의 결합은 반응 변수 이상치(response outliers)와 레버리지 포인트(leverage points) 모두에 대해 강건성(robustness)을 제공합니다. 다양한 차원과 오염 메커니즘에 걸친 광범위한 시뮬레이션을 통해 기존 방법 대비 smOPG의 우수한 변수 선택 성능을 입증합니다. 대기 오염 및 유전체 데이터에 대한 적용을 통해 실용적 유용성을 보여주는 한편, 이론적으로는 개별 국소 회귀의 선택 일치성(selection consistency)을 요구하지 않고도 활성 집합 복원이 가능함을 규명합니다.
잠재 변수 생성 모델은 일반적으로 잠재 변수에 대한 단순한 사전분포(prior)를 사용하여 적합(fit)되지만, 이러한 사전분포에서 추출된 표본은 사실적인 데이터를 생성하지 못하는 경우가 많습니다. 이러한 실패는 사전분포와, 적합된 모델 및 데이터에 의해 유도된 잠재 변수의 분포인 집계 사후분포(aggregated posterior) 간의 불일치로 인해 발생합니다. 이러한 불일치는 흔히 사전분포가 오지정(misspecified)되었으며 교체되어야 한다는 증거로 간주됩니다. 대안적으로, 최신 생성 모델에서는 먼저 모델을 적합한 다음 집계 사후분포를 추정하는 2단계 전략(van den Oord et al., 2017; Rombach et al., 2022)이 점점 더 많이 사용되고 있습니다. 그 후 사전분포 대신 이 집계 사후분포에서 샘플링하여 합성 데이터를 얻습니다. 이러한 절차를 점검하기 위해, 본 연구에서는 집계 사후 예측 점검(aggregated posterior predictive check, APPC)을 도입합니다. 이론적으로는 APPC가 점근적으로 보정(calibrated)되기 위한 충분조건을 확립합니다. 확률적 주성분 분석(PPCA)의 경우, 만연한 요인(pervasive factor)이 신호 공간의 복원을 가능하게 할 때 잠재 사전분포가 오지정된 상황에서도 APPC가 보정된 상태를 유지할 수 있음을 보입니다. 변분 오토인코더(VAE)를 사용한 실험을 통해, 집계 사후분포 샘플링이 가우시안 사전분포 샘플링에 비해 두꺼운 꼬리(heavy-tailed) 및 군집형 데이터에 대한 생성을 개선하는 동시에 더 유연한 잠재 사전분포를 가진 모델과 비견할 만한 성능을 보임을 입증합니다.
Reliability-Centered Evaluation of Sparse Longitudinal CT Lesion-Size Forecasting with Conformal Interval Calibration and Gompertz-Inspired Regularization
사전 관측치가 소수만 존재할 때 희소한 종단적(longitudinal) CT 추적 관찰은 병변 크기 예측을 제한합니다. 본 연구에서는 DeepLesion 및 Deep Lesion Tracker(DLT)로부터 5회 방문 DLT 유도 동일 병변 궤적 벤치마크를 구축하여 129명의 환자로부터 205개의 궤적을 확보했습니다. 이전 관측치를 점진적으로 추가하면서 T3에서 T4까지의 상용로그 변화를 예측하는 주요 고정 방문-인덱스 시계(horizon) 설계와 탐색적인 기존 희소-최종 분석을 비교하였으며, 예측 정확도, 불확실성 신뢰도, 사후(post-hoc) 컨포멀 구간 보정(conformal interval calibration), 하위 그룹 성능, 곰페르츠(Gompertz) 기반 궤적 정규화를 평가했습니다. 평가된 방법들은 부분적으로 중복되는 점 예측 정확도를 보였으나 불확실성 동작에서는 뚜렷한 차이를 나타냈습니다. 10개의 학습 시드에 걸친 평균 홀드아웃 RMSE는 m = 1, 2, 3, 4에 대해 각각 0.4726, 0.4305, 0.4499, 0.4513으로 m = 2에서 가장 낮은 평균 RMSE를 보여 추가적인 이력이 RMSE를 개선하지 못함을 나타냈습니다. m = 4에서 원시 코호트 수준 특징 GP(Cohort-Level Feature GP)의 커버리지는 95% 공칭 수준에 근접했던 반면, MC 드롭아웃, 딥 앙상블, 잔차 스케일 구간은 보수적이었습니다. 환자 수준 컨포멀 보정은 구간이 넓어지는 대가를 치르고 대체로 공칭에 가깝거나 보수적인 커버리지를 산출했습니다. 환자 그룹화 개발 교차 검증에서는 곰페르츠 기반 항에 대해 lambda* = 0을 선택했습니다. 전역 모집단 기준은 병변 수준 변화 방향과 빈번히 상충되었으며, 해부학적 하위 그룹 전반에 걸쳐 예측 난이도가 다양했습니다. 종합적으로 예측 시계를 통제했을 때 추가적인 과거 관측치는 제한적인 예측 이점만을 제공한 반면, 예측 정확도, 불확실성 신뢰도, 궤적 일관성은 반드시 함께 개선되지는 않았으므로 희소 종단적 영상에서 이들을 공동으로 평가해야 합니다.
생성형 인공지능은 기업이 고객에게 도달하는 방식을 바꾸고 있지만, 표준 마케팅 데이터에는 사용자가 생성된 답변에서 기업 이름을 얼마나 자주 보고 인지하는지가 기록되어 있지 않다. 본 논문은 생성 엔진 최적화(Generative Engine Optimization, GEO)와 생성 엔진 마케팅(Generative Engine Marketing, GEM)의 인과 효과를 추정하기 위해 생성형 마케팅 믹스 모델링(Generative Marketing Mix Modeling, GMMM)을 개발한다. GEO의 경우, GMMM은 반복적으로 생성된 답변을 질문 수, 생성형 시스템별 이용 비중, 인지 확률과 결합한다. GEM의 경우, 스폰서 노출 게재 기록을 인지 확률과 결합한다. GMMM은 대안적인 처치(treatment) 시퀀스 하에서 기대되는 비즈니스 반응을 비교하며, 그 결과로 도출되는 효과를 식별하기 위한 충분 조건을 제시한다. 본 논문은 영어와 일본어로 시뮬레이션된 제품 추천 답변을 사용하여 제안한 방법의 실증적 성능을 조사한다.
가우시안 프로세스(GP) 예측 분포는 베이지안 최적화(BO)에서 비용이 많이 드는 목적 함수의 평가 지점 선택을 유도하는 데 흔히 사용됩니다. 커널과 하이퍼파라미터의 선택은 탐험(exploration)과 활용(exploitation) 간의 절충(trade-off)에 강한 영향을 미칩니다. 최소화 문제의 경우, 기대 개선량(expected improvement, EI)과 같은 샘플링 기준은 현재 최적값 미만의 확률 질량과 이 영역에서의 예측 분포 형태 모두에 의존합니다. 본 논문에서는 최대 가능도(maximum likelihood)로 선택된 하이퍼파라미터를 갖는 표준 GP 모델에 대해, 노이즈가 없는(noiseless) 설정에서 낮은 임계값 $t$ 미만의 GP 예측 분포에 대한 목표 지향적 캘리브레이션을 연구합니다. 우리는 기준 측도 $μ$에 따라 분포된 입력에 대해 $t$ 미만에서의 두 가지 상호 보완적인 캘리브레이션 형태를 고려합니다: 설계 공간에 걸친 발생 캘리브레이션(occurrence calibration)과 $\{x\in\mathbb{X}, f(x)\le t\}$ 형태의 하위 레벨 집합에서의 임계화된 $μ$-캘리브레이션(thresholded $μ$-calibration)입니다. 우리는 $t$ 미만의 GP 예측 분포를 위해 이 두 가지 형태의 캘리브레이션을 결합하는 사후(post-hoc) 방법인 tcGP를 제안합니다. 고정된 GP 하이퍼파라미터 조건에서, tcGP 기반의 정확한 EI 샘플링 기준은 설계 공간에서 조밀한(dense) 평가 지점 수열을 생성합니다. 표준 벤치마크에 대한 실험을 통해 표준 GP 모델 및 전역적으로 캘리브레이션된 GP 모델과 비교하여 향상된 하위 꼬리 캘리브레이션과 BO 성능을 보여줍니다.
클러스터링은 널리 사용되고 있음에도 불구하고, 클러스터가 무엇인지에 대해 보편적으로 받아들여지는 정의가 없다. Kleinberg의 불가능성 정리(Impossibility Theorem)는 어떤 평면(flat) 클러스터링 방법도 스케일 불변성(scale invariance), 풍부성(richness), 일관성(consistency)이라는 세 가지 자연스러운 공리를 동시에 만족할 수 없음을 보임으로써 이러한 어려움을 형식화한다. 본 논문에서는 출력이 단일 분할(partition)이 아니라 계층 구조(hierarchy)일 때에도 이러한 불가능성이 유지되는지를 묻는다. 우리는 평면 클러스터링의 경우와 달리, 이 공리들의 계층적 대응물은 동시에 만족될 수 있음을 보인다. 실제로 이러한 공리를 만족하는 계층적 클러스터링 방법은 셀 수 없이 많이 존재하며, 우리는 이를 허용 가능(admissible)한 방법이라 부른다. 우리는 잘 분리된 클러스터(well-separated clusters)에 기반한 방법과 단일 연결(single linkage)의 비이진(non-binary) 버전을 포함하여 여러 허용 가능한 방법을 명시적으로 구성한다. 특정한 허용 가능한 방법의 쌍에 대해서는, 한 방법이 생성한 계층 구조가 다른 방법이 생성한 계층 구조를 항상 세분(refine)한다. 이 세분 관계는 허용 가능한 방법들의 클래스 위에 부분 순서(partial order)를 정의한다. 이 부분 순서 집합은 최대 원소(greatest element)를 갖지 않으며, 셀 수 없이 많은 서로 양립할 수 없는 극대 원소(maximal element)들을 포함하여 허용 가능한 방법들 사이에 상당한 다양성이 존재함을 보여 준다. 그럼에도 불구하고 이러한 다양성에는 제약이 있다. 모든 허용 가능한 방법은 충분히 잘 분리된 클러스터로 이루어진 계층 구조를 포함하며, 허용 가능한 방법들의 모든 유한 집합은 이러한 자명하지 않은(nontrivial) 공통 뼈대(backbone)를 공유한다.
본 연구는 환경 소음 수준이 높은 자연 음향(soundscape) 속 침입 조류 종의 발성(vocalization) 처리 및 분류를 위한 통합 프레임워크를 제안한다. 신호 열화 문제에 대해 Epanechnikov 커널 사전(prior)에 기반한 베이지안 웨이블릿 수축(shrinkage) 방법론을 적용하며, 이는 폐형(closed-form) 의사결정 규칙과 대규모 생물음향(bioacoustic) 데이터셋 처리에 높은 계산 효율을 제공한다. 해당 방법론은 iNaturalist 플랫폼에서 수집한 세 종의 녹음에 적용하였다: \textit{Euphonia violacea}, \textit{Leiothrix lutea}, \textit{Passer domesticus}. 신호 디노이징(denoising) 후 멜 주파수 �pststral 계수(MFCC)와 엔트로피, zero-crossing rate 등 스펙트럴 지표를 포함한 포괄적인 특징 집합을 추출하였다. Random Forest, Multinomial Logistic Regression, 서포트 벡터 머신(SVM) 등 여러 지도 학습 모델을 서로 다른 특징 차원에서 평가하였다. 결과는 제안된 웨이블릿 기반 전처리가 분류 성능을 유의미하게 향상시키며, SVM 모델이 10차원 MFCC 구성에서 최고 정확도(최대 0.9398)를 달성함을 보여준다. 본 연구는 자동화된 생태 모니터링 및 생물학적 침입 관리를 위한 견고한 통계 도구를 제공한다.
우리는 관심 분포로부터의 샘플 생성기만을 기반으로, 교란 매개변수(nuisance parameter)가 존재하는 상황에서 피벗 통계량(pivotal statistic, 또는 그에 가까운 것)을 자연스럽게 드러내는, 신경망 기반 정규화 플로우(normalizing flow)의 간단한 분해 방법을 제시한다. 우리는 이 통계량이 균등분포에 대한 $p$-값의 평균 KL 발산(KL-divergence)을 최소화한다는 의미에서 준-피벗(near-pivotal) 통계량임을 보이며, 통계량의 차원이 매개변수의 차원과 같을 때 우수한 검정력(power)을 기대할 수 있다고 주장한다. 이 방법은 평행이동 및 스케일과 같은 군 불변성(group invariance)에 대한 사전 지식을 통합할 수 있다. 또한 일표본 $t$-검정(one-sample $t$-test)을 거의 정확하게 찾아낼 수 있고, 제한된 분산비 범위에서의 최악 크기(worst-case size) 측면에서 Welch 검정보다 우수하며, 부분 이연 상관(partial biserial correlation)에서 우수한 보정(calibration)을 달성한다. 아울러 소규모에서 중간 규모의 표본에서는 프로파일 가능도비(profile likelihood-ratio) 기법보다 더 높은 검정력을 보이면서도 훨씬 빠르다.
최소 노름 신뢰 외피(Minimum-norm confidence envelope) 전략은 재생 핵 힐베르트 공간(RKHS) 이론을 활용하여 대역 제한 함수에 대한 비점근적 동시 신뢰 영역을 구축하는 비모수적(nonparametric) 접근법을 제공합니다. 이러한 외피의 유한 표본 포함 보장(finite-sample coverage guarantees)은 확립되어 있었으나, 일치성(consistency)은 지금까지 분석되지 않았습니다. 본 논문에서는 여기서 최소 노름 신뢰 외피(MiNCE) 프레임워크로 명명된 이러한 구성을 연구하고, 측정 노이즈에 대한 완만한 가정 하에서 잡음 없는(noise-free) 관측 모델과 잡음이 있는(noisy) 관측 모델 모두에 대해 결과적인 밴드의 강력한 균등 일치성(strong uniform consistency)을 확립합니다. 나아가 이 정식화를 주파수 영역으로 확장하여, 평활화된 스펙트럼에 대한 비점근적 동시 강균등 일치 신뢰 밴드를 도출합니다. 비모수 회귀 및 스펙트럼 추정에서의 수치 실험은 표본 크기가 증가함에 따라 신뢰 외피가 목표 함수로 수축하는 것을 보여주며 이론적 결과를 실증적으로 확인합니다.
Davis-Kahan 정리는 스펙트럼 분석의 기본 도구로, 대칭 행렬과 그 섭동(perturbation) 행렬의 고유공간(eigenspace) 사이의 거리를 정량적으로 제어할 수 있게 해 준다. 그러나 행렬의 차원이 클 경우 주요 고유벡터를 계산하는 데 드는 비용이 커서, 현대의 대규모 응용에서 스펙트럼 기법을 실제로 활용하는 데 제약이 따른다. 본 논문은 이 문제를 해결하기 위해 독립 베르누이 샘플링(independent Bernoulli sampling) 기법을 제안하고, 부분표본 행렬의 주요 좌특이벡터(left singular vector)가 저랭크 대칭 행렬의 목표 부분공간을 충실하게 근사함을 증명한다. 핵심 결과는 샘플링 확률에 직접 의존하는 명시적인 오차 경계를 제시하는 부분표본 Davis-Kahan 경계이다. 이 경계는 다음과 같은 트레이드오프를 보여 준다. 계산 비용은 샘플링 확률에 선형적으로 비례하여 증가하는 반면, 통계적 오차는 샘플링 확률의 제곱근에 반비례하여 감소한다. 따라서 본 결과는 Davis-Kahan 정리를 부분표본 설정으로 확장하여, 대규모 대칭 행렬에 대한 확장 가능한 스펙트럼 분석을 가능하게 한다.
확률 분포, 네트워크, 대칭 양의 정부호 행렬, 조성 데이터(composition)와 같은 비유클리드 반응 변수를 다루는 회귀는 현대 응용 분야에서 점점 더 중요해지고 있습니다. 본 논문에서는 유클리드 예측 변수로부터 거리 공간(metric space) 상의 확률 객체로 간주되는 비유클리드 반응 변수를 예측하기 위한 엔드투엔드 심층 학습(deep learning) 프레임워크인 심층 프레셰 신경망(DFNN)을 제안합니다. 제안된 방법은 심층 신경망(DNN)의 표현 학습 능력을 활용하여 프레셰 위험(Fréchet risk)을 최소화함으로써, 조건부 기댓값의 거리 공간 대응물인 예측 변수가 주어졌을 때 반응 변수의 조건부 프레셰 평균을 근사하는 과업에 적용합니다. 이 프레임워크는 매우 유연하여 다양한 거리 척도와 고차원 예측 변수를 수용할 수 있습니다. 우리는 특정 모델(model)을 가정하거나 국소 평활화(local smoothing)에 의존하지 않고, 신경망(neural network) 근사 이론의 최신 기술 수준을 일반적인 거리 공간 값을 갖는 반응 변수로 확장하는 DFNN의 보편 근사 정리를 확립합니다. 나아가 DFNN에 대한 엄밀한 일반화 보장을 확립하고 해당 위험 경계(risk bound)를 도출함으로써, 우리가 아는 한 거리 공간 값을 갖는 반응 변수에 대한 심층 학습 회귀 분야에서 최초의 이론적 결과를 제공합니다. 합성 분포 및 네트워크 값 반응 변수에 대한 실증 연구뿐만 아니라 에치슨 단체(Aitchison simplex)에서의 조성 반응 변수 및 구면 반응 변수 예측에 대한 실제 응용을 통해 DFNN이 기존의 모든 방법을 일관되게 능가함을 입증합니다.
전문가 혼합(Mixtures of experts, MoE)은 혼합 비율과 각 구성 요소의 밀도가 모두 예측 변수에 의존하는 조건부 혼합 모델로, 이질적인 데이터의 회귀, 분류, 모델 기반 클러스터링에 널리 사용된다. 예측 변수가 많거나 서로 상관되어 있을 때 최대 가능도(maximum likelihood)로 MoE를 적합하면 불안정해지며, 때로는 적합 자체가 불가능해지기도 한다. 본 논문에서는 전문가가 일반화 선형 모델(generalized linear model) 계열에 속하는 MoE에서 매개변수 추정과 특징 선택을 동시에 수행하는 정규화 최대 가능도 프레임워크를 제안하며, 이는 가우시안, 푸아송, 다항(multinomial) 반응을 하나의 공식으로 포괄한다. 게이팅 네트워크와 전문가 모두에서 $\ell_1$ 페널티를 통해 희소성을 유도하고, 페널티가 적용된 로그 가능도는 근접 뉴턴-EM(proximal Newton-EM) 알고리즘으로 최대화하며, 이 알고리즘의 M-step은 폐쇄형 좌표 상승(coordinate-ascent) 업데이트를 갖는 가중 Lasso 문제로 귀착된다. 기존의 페널티 적용 MoE 절차와 달리, 이 알고리즘은 페널티에 대한 국소 이차 근사도, 어떠한 행렬 역변환도 필요로 하지 않으며, 임계값 처리(thresholding) 없이도 정확히 희소한 추정치를 반환하고, 근접 뉴턴 방식의 변형은 매 반복마다 페널티 목적 함수가 단조 증가함을 보장한다. 시뮬레이션 데이터와 다섯 개의 실제 데이터셋에서 제안한 방법은 실제 희소성 지지집합(support)을 복원하였으며, 최신 정규화 MoE와 견줄 만하고 종종 더 우수한 예측 및 클러스터링 정확도를 보였다. 개발한 알고리즘의 소스 코드와 문서는 Github(https://github.com/nv-thin/GLM-RMoE)에 공개되어 있다.
다차원 문항반응이론(MIRT)은 시험 응답으로부터 학습자의 다차원 잠재 능력을 정밀하게 추정하는 통계적 검사 이론이다. MIRT에는 보상형 모델과 비보상형 모델이 모두 제안되어 왔는데, 전자는 각 능력이 다른 능력을 보완할 수 있다고 가정하는 반면, 후자는 보완할 수 없다고 가정한다. 이러한 비보상적 가정은 여러 능력을 측정하는 많은 시험에서 설득력을 가지므로, 해당 데이터에 비보상형 모델을 적용하는 것은 편향 없는 정확한 추정을 달성하는 데 매우 중요하다. 시험과 달리, 일상적인 학습에서는 잠재 능력이 시간에 따라 변화한다. 능력의 성장을 모니터링하기 위해 MIRT 모델의 동적 확장이 연구되어 왔다. 그러나 대부분은 보상형 모델을 가정하였으며, 비보상적 가정 하에서 능력의 연속적인 잠재 상태를 재현할 수 있는 모델은 지금까지 제안되지 않았다. 비보상적 가정 하에서 정확한 능력 추적(skill tracing)을 가능하게 하기 위해, 본 논문에서는 선형 동적 시스템과 비보상형 모델을 결합하여 비보상 다차원 MIRT 모델의 동적 확장을 제안한다. 이로 인해 복잡한 능력 사후확률(posterior)이 발생하며, 근사된 사후확률과 실제 사후확률 간의 쿨백-라이블러 발산(Kullback-Leibler divergence)을 최소화함으로써 이를 가우시안 분포로 근사한다. 모델 파라미터의 학습(training) 알고리즘은 몬테카를로 기댓값 최대화(Monte Carlo expectation maximization)를 통해 유도된다. 시뮬레이션 연구를 통해 제안된 방법이 잠재 능력을 정확하게 재현할 수 있음을 검증한 반면, 동적 보상형 모델은 심각한 과소추정 오류를 겪음을 확인하였다. 나아가 실제 데이터셋(dataset)에 대한 실험을 통해, 제안하는 동적 비보상형 모델이 실용적인 능력 추적을 추론(inference)하고 비보상형 및 보상형 모델 간의 능력 추적 차이를 명확히 밝힐 수 있음을 입증한다.
관찰 연구에서 평균 처치 효과(ATE) 추정은 사회과학, 의학 및 기타 분야에서 자주 활용되는 근본적인 통계 도구입니다. 이러한 분야에서는 프라이버시 보호가 중요한 민감한 데이터를 다루는 경우가 많으므로, ATE 추정을 위한 차분 프라이버시(differentially private) 메커니즘이 매우 필요합니다. 본 연구에서는 관찰 데이터에 대한 ATE 추정을 위해 성향점수 기반 알고리즘 두 가지를 제시합니다. 하나는 이전 연구에서 사용된 역확률 가중치(IPW) 방식을 개선한 것이며, 다른 하나는 성향점수 블록화(BPS)를 사용하는 방식입니다. 두 알고리즘 모두 이전 연구에 비해 더 낮은 오차와 더 적은 바이어스를 보이며, 특히 BPS 기반 알고리즘은 이전 연구 대비 오차를 75% 이상 줄이는 경우가 빈번하게 나타납니다.
본 논문에서는 순환정상(cyclostationary) 데이터 스트림을 위해 설계된 효과적인 실시간 이상 탐지 프레임워크인 PeriodicCALM을 소개합니다. 고전적인 순환정상 과정은 주기적으로 시간에 따라 변하는 통계적 특성을 특징으로 하지만, 실제 신호에는 이상 동작을 숨기는 반복적인 임펄스 성분이 포함되는 경우가 많습니다. 기존의 실시간 방법들은 이러한 동역학을 다루는 데 어려움을 겪으며, 위상 의존적 변동성을 비순환적 이상으로 잘못 해석하여 과도한 오경보(false alarm)를 유발하곤 합니다. 이를 해결하기 위해 PeriodicCALM은 주기 의존적 변동성을 반영하여 규칙적인 주기적 임펄스는 체계적으로 무시하는 동시에 실제 이상 현상은 정확하게 분리해 냅니다. 지속적인 재학습(training) 기능을 갖추고 실시간으로 동작하는 이 방법은 진화하는 신호 특성에 동적으로 적응합니다. 모의 데이터를 활용하여 기준선(baseline) CALM 프레임워크와 비교 평가를 수행한 결과, 예측 지연 시간을 줄이는 동시에 탐지 정확도와 학습 효율성 측면에서 상당한 성능 향상을 입증했습니다. 나아가 압축기 모니터링 시스템에서 수집된 실제 진동 신호를 통해 PeriodicCALM의 실용적인 유용성을 검증합니다.