이 교재는 베이즈 추론에 기반하여 천문학 연구를 위한 통계적 기계학습을 체계적으로 다룬다. 현대적 데이터 분석 기법이 고전 통계 방법과 어떻게 연결되며 익숙한 통계 원리로부터 어떻게 도출되는지를 보여 준다. 전반에 걸쳐 사용되는 베이즈 관점은 천문학의 과학적 추론에 필요한 불확실성 정량화와 통계적 엄밀성을 우선시한다. 교재는 확률 이론과 베이즈 추론에서 출발하여 측정 불확실성이 있는 선형 회귀, 로지스틱 회귀, 분류를 포함한 지도학습으로 나아간다. 비지도학습 주제로는 주성분 분석과 군집화 방법을 다룬다. 이어서 샘플링과 마르코프 연쇄 몬테카를로를 소개하고, 확률적 비모수 방법인 가우시안 过程과 더 넓은 통계적 맥락에서의 신경망을 다룬다. 이론 중심의 접근으로 각 방법을 완전한 수학적 전개와 함께 제1원리에서 도출한 뒤 천문학적 응용을 보인다. 우리는 통계적 통찰을 우선시하여 알고리즘이 왜 작동하는지, 언제 적절한지, 더 넓은 통계 원리와 어떻게 연결되는지를 설명한다. 고전적 방법과 그 이론에 대한 탄탄한 기초에서 출발하여 신경망과 같은 현대 기법으로 이어진다. 이러한 기초를 바탕으로 독자는 대규모 천문 서베이가 요구하는 바와 같이 가정, 한계, 불확실성 전파에 적절히 주의하면서 이 방법들을 천문학 연구에 적용할 수 있다. 22개의 동반 튜토리얼은 Jupyter 노트북에서 천문 데이터에 이 방법들을 적용한다.
오프라인 강화학습(ORL)은 안전하고 샘플 효율적인 배포를 약속하지만, 기존 방법들은 하이퍼파라미터 튜닝을 위해 문서화되지 않은 온라인 상호작용에 의존하며 초기 온라인 성능에 대한 신뢰할 수 있는 완전 오프라인 추정치가 부족하다. 우리는 동역학에 대한 사후분포를 학습하고, 예측 불확실성을 통해 정책 가치를 추정하며, 완전한 오프라인 하이퍼파라미터 선택을 가능하게 하는 완전 오프라인 베이지안 모델 기반 강화학습 방법 SOReL을 제안한다. 또한 이 튜닝 프레임워크를 임의의 모델-프리 및 모델 기반 ORL 알고리즘으로 확장하는 TOReL을 제안한다. 표준 정규성 조건 하에서 베이지안 오프라인 강화학습이 minimax-최적 파라미터적 수렴률을 달성함을 보이는 후회(regret) 분석을 제공한다. 이를 통해 우리의 방법들은 완전 오프라인 강화학습을 위한 실용적이고 이론적으로 근거 있는 프레임워크를 확립한다.
불확실성을 인지하는 설명 방법들은 동일한 예측에 대해 종종 여러 대안을 생성합니다. 이들 중에서 선택하려면 예측 신뢰도, 불확실성, 그리고 애플리케이션의 제약 조건 간의 균형을 맞추는 정책이 필요합니다. 본 논문은 생성된 고정된 설명 집합에 이러한 정책을 적용하기 위한 프레임워크를 제시합니다. 후보들은 불확실성 변화, 예측 방향, 그리고 가능한 경우 결정 경계(decision boundary)에 대한 구간 위치로 특성화됩니다. 이 프레임워크는 이러한 속성들을 적격성 규칙, 선택적 양방향 파레토 스크리닝(bidirectional Pareto screening), 정책 인지형 순위 매기기와 결합합니다. 가상의 전립선암 예시를 통해 서로 다른 설명 목적이 동일한 후보 집합에서 어떻게 서로 다른 선택으로 이어지는지 보여줍니다. 우리는 분류(classification), 임계값 기반 회귀, 일반 회귀를 위한 Calibrated Explanations를 통해 이 프레임워크를 구체화합니다. 41개 벤치마크 데이터셋에 걸쳐 평균 후보 수는 단일 특징(feature) 설명의 경우 11.57개에서 21.75개, 결합(conjunction)이 포함된 경우 29.48개에서 69.53개에 이릅니다. 동일 가중치(equal-weight) 정책과 신뢰도 전용 정책은 동일한 신뢰도 방향을 선호하면서도 평균 28.7%의 선택 불일치율을 보입니다. 보조적인 δ-CLUE 실험은 두 번째 생성기와의 활용 가능성을 입증합니다. 선택 정책을 명시화함으로써, 본 프레임워크는 애플리케이션이 의도된 용도에 따라 설명을 비교하고 우선순위를 정할 수 있도록 합니다.
각 데이터 포인트의 클래스를 추정하는 것을 목표로 하는 분류(classification)와 달리, 정량화(quantification, 또는 유병률 추정)는 데이터셋 내 클래스의 분포를 추정하는 것을 목표로 합니다. 유병률 추정에서 중요한 과제는 유병률 추정치의 불확실성을 정량화하는 것입니다. 본 논문에서는 충분한 커버리지(즉, 실제 유병률을 포함하는 구간의 충분한 비율)를 유지하면서 좁은 예측 구간을 달성하는 베이지안 집계형 정량화기인 Precise Quantifier(PQ)를 소개합니다. 연구 결과, 기반이 되는 분류기의 식별 능력이 향상되고 테스트 크기 대비 검증 크기 비율이 증가할수록 PQ가 기존 방법보다 더 정밀한 유병률 추정치를 산출함을 확인했습니다. 이러한 실증적 결과는 PQ가 기존 접근 방식보다 유병률 추정치의 불확실성을 정량화하기 위해 검증 정보를 더 효과적으로 활용함을 시사합니다.
대부분의 기존 비디오 이상 탐지기(video anomaly detector)는 RGB 프레임에만 의존하므로, 이상 이벤트를 식별하는 데 중요한 급격하거나 일시적인 모션 단서를 포착하는 능력이 제한됩니다. 본 연구에서는 원리 기반 가중 메커니즘을 통해 상호 보완적인 RGB 및 합성 모션 정보를 통합하는 프레임워크인 Uncertainty Weighted Image Event Fusion(IEF-VAD)을 제안합니다. 이 방법은 합성 모션 단서의 높은 분산 및 꼬리가 두꺼운(heavy-tailed) 특성을 스튜던트 t(Student's t) 가능도(likelihood)로 모델링하고, 이미지 모달리티가 모션 정보를 압도하는 것을 방지하기 위해 라플라스 근사(Laplace approximation)를 사용하여 값 수준 역분산 가중치를 계산하며, 잔여 교차 모달 노이즈를 억제하기 위해 반복적 정제(iterative refinement)를 수행합니다. 이러한 정식화는 모달리티 지배(modality dominance) 현상을 자주 겪는 크로스 어텐션(cross-attention)이나 게이팅 기반 접근 방식에 비해 더 균형 잡히고 신뢰할 수 있는 융합 과정을 제공합니다. 이벤트 카메라나 프레임 수준의 주석 없이도 IEF-VAD는 여러 실제 이상 탐지 벤치마크(benchmark)에서 새로운 최고 성능(SOTA)을 달성하며 개별 모달리티에 열화가 적용되어도 안정성을 유지합니다. 이러한 결과는 상호 보완적인 모션 단서를 추출하고 통합하는 것이 다양한 환경 전반에서 강건한 비디오 이해를 위한 효과적인 방향임을 보여줍니다.
기존의 불확실성 인식 시간차(TD) 학습은 TD 오차를 영평균(zero-mean) 가우시안으로 모델링하는 경우가 많다. 이 가정은 부트스트래핑과 탐험(exploration)으로 인해 발생하는 heavy-tailed 및 이분산(heteroscedastic) 잔차를 놓칠 수 있다. 우리는 일반화 가우시안 분포(GGD)에 기반한 상태 조건부 형상(shape) 헤드를 도입하고, 수치적으로 수정된 GGD 손실(loss)을 비정상(nonstationary) TD 잔차에 대한 온라인 대리(surrogate)로 사용한다. 때로 혼동되는 두 가지 수학적 사실을 구분한다: 정확한 GGD 가능도(likelihood)는 모든 $β>0$에 대해 정규화되어 있지만, 그 지수 밀도 커널(kernel)은 $β\in(0,2]$에서 양의 정부(positive definite)이다. 학습된 형상을 이용해 단순한 단조 가중 휴리스틱을 구성하고, 앙상블(ensemble) TD 오차의 분산과 표본 초과 첨도(sample excess kurtosis)로부터 Batch Inverse Error Variance(BIEV) 정규화(regularization)를 제안한다. 연속 및 이산 제어 벤치마크(benchmark) 전반에서 형상 인식 변형이 여러 설정에서 가우시안 기반 변형보다 개선되지만, 이득은 과제와 체제(regime)에 따라 달라진다.
잠재 이진 베이지안 신경망(LBBNN)을 발전시킨 ISLaB는 공변량이 임의의 후속 레이어로 직접 스킵하거나 모델에서 완전히 제외될 수 있도록 하여, 표준 LBBNN 대비 네트워크 밀도를 99% 이상 감소시키면서도 높은 예측 정확도와 불확실성 정량화를 유지한다. 핵심 기여는 활성 경로(active path) 개념의 도입으로, 사후(post hoc) 외부 도구 없이 이론적 보증이 있는 전역·지역 설명 가능성을 LBBNN 프레임워크 내에 직접 내장하며, MNIST에서 단 935개의 가중치로 97% 정확도를 달성해 신경망 압축 분야의 최신 성능에 도달했다.
일반화 카이제곱 분포의 cdf, pdf, 역 cdf를 계산하기 위한 정확한 방법 2가지(다변량 정규분포의 이차함수로의 매핑 기반 레이트레이싱, 역 푸리에 변환)와 근사 방법 2가지(확장 Pearson 근사, 무한/유한 꼬리 타원 근사)를 오픈소스 소프트웨어와 함께 제시한다. 기존 방법들과의 정확도 및 속도 비교를 통해 각 방법의 장단점을 분석하며, 레이트레이싱 방법은 배정밀도의 최솟값인 10⁻³⁰⁸까지 도달할 수 있어 다변량 정규분포 간 판별 지수 d'의 대규모 측정에도 활용 가능함을 보인다.
생물통계학·경제학의 대리 결과(surrogate outcome) 모델과 예측 기반 추론(PPI)을 연결하고, 사전학습 모델 예측을 재보정(recalibration)해 최적 대체된 손실을 학습하는 재보정 PPI(RePPI)를 제안한다. 실제 결과만 쓰는 추정량을 항상 능가하며, 세 가지 AI 응용에서 기존 PPI 대비 유효 표본 크기가 크게 증가한다.
머신러닝(ML)은 가설 없는(hypothesis-free) 위험 및 보호 요인 발견을 위해 역학 및 의료 연구에서 인기를 얻고 있습니다. ML은 비선형성과 상호작용을 발견하는 데 강점이 있지만, 신뢰할 수 있는 추론(inference)의 부재로 인해 이러한 강점이 저해됩니다. Shapley 값은 특징의 효과에 대한 국소적 측정치를 제공하지만, 이러한 효과에 대한 타당한 불확실성 정량화가 일반적으로 부족하여 통계적 추론을 불가능하게 만듭니다. 우리는 이러한 한계를 해결하기 위해 전용 베이지안 희소 회귀 모델(model)과 개선된 트리 기반 규칙 생성기, 그리고 Shapley 값 귀속을 결합한 RuleSHAP 프레임워크를 제안합니다. RuleSHAP는 비선형 및 상호작용 효과의 탐지를 제공하며, 개별 수준에서의 불확실성 정량화를 핵심 기여로 포함합니다. 우리는 이 프레임워크 내에서 한계 Shapley 값을 계산하기 위한 효율적인 공식을 유도합니다. 우리는 고콜레스테롤혈증과 고혈압에 대한 여러 효과를 탐지하고 추론하기 위해 역학 코호트 데이터에 RuleSHAP를 적용했으며, 여기에는 연령, 성별, 인종, BMI 및 포도당 수준과 같은 특징 간의 비선형 상호작용 효과가 포함됩니다. 결론적으로, 우리는 시뮬레이션 데이터를 통해 프레임워크의 타당성을 입증합니다.
우리는 원형 반응 변수를 갖는 회귀 문제에 준비 예측 기법을 적용하여, 데이터 교환 가능성 가정 하에 임의의 원형 예측 모델에 대해 적응형 호 길이와 유한 표본 커버리지 보장을 갖는 예측 집합을 생성합니다. 선형 반응 변수를 위해 설계된 기존 예측 모델의 높은 성능을 활용하여, 임의의 선형 반응 회귀 모델을 원형 반응 변수에 적합한 모델로 변환하는 일반적인 투영 절차를 분석합니다. 이 투영 절차에서 랜덤 포레스트를 기본 모델로 사용할 경우, 예측 집합 구성 시 별도의 보정 샘플이 필요 없도록 랜덤 포레스트의 OOB(Out-of-Bag) 메커니즘을 활용합니다. 합성 및 실제 데이터셋에서 결과적으로 도출된 투영 랜덤 포레스트 모델은, 기존의 두 가지 대안 모델이 생성한 분할 준비 예측 집합보다 더 짧은 중앙값 호 길이를 가지는 더 효율적인 OOB 준비 예측 집합을 생성합니다.