PyTorchKR Papers

최신 논문

총 210편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.09028v5cs.LG

권한 기반 Android 악성코드 탐지에서 도메인 이동 진단 및 완화

Diagnosing and Mitigating Domain Shift in Permission-Based Android Malware Detection

기계 학습 기반 Android 악성코드 탐지기는 도메인 이동(domain shift) 때문에 실제 배포 환경에서 자주 실패하며, 한 데이터 소스에서 학습된 모델이 다른 소스의 애플리케이션에서는 성능이 크게 떨어진다. 본 논문은 교차 도메인(cross-domain) 조건에서 권한 기반 탐지기의 일반화 가능성과 해석 가능성에 대한 포괄적인 연구를 제시한다. PerMalDroid와 NATICUSdroid라는 두 상호 보완적 데이터셋과 다섯 가지 앙상블 분류기를 사용하여, 먼저 도메인 내(intra-domain) 기준선을 설정하며 모델이 92% 이상의 정확도를 달성함을 보인다. 이어 심각한 비대칭적 성능 하락을 정량화한다. PerMalDroid에서 학습된 모델은 NATICUSdroid에 잘 일반화되지만(정확도 86%), 반대 방향에서는 정확도가 73%까지 급격히 하락한다. 설명 가능한 AI(Explainable AI) 분석은 이봉(bimodal) 특징 분포를 밝히고, 특징 중요도가 매우 불안정하며 핵심 권한(permission)이 도메인에 따라 영향력을 잃거나 얻는다는 것을 보여준다. 서로 다른 도메인의 예측 특징 집합은 근본적으로 불일치하며, 모델은 데이터셋별로 서로 다른 권한에 의존한다. 가장 중요하게, 절삭(ablation) 연구는 대부분의 모델에서 노이즈가 있는 특징 집합으로 학습할 경우 일반화가 저조함을 보여 주며, 이는 누락된 특징보다 도메인 특이적 인공물(artifact)이 더 큰 장애물임을 확인한다. 이를 완화하기 위해 공통 특징의 교집합에 기반한 하이브리드 학습 전략을 검증하였으며, 교차 도메인 성능을 성공적으로 회복하여 PerMalDroid에서 88%의 정확도를 달성하고 NATICUSdroid에서는 97%를 유지한다. 이러한 결과는 설명 가능하고 교차 도메인에 강건한 악성코드 탐지 시스템의 중요성을 강조하며, 권한 기반 Android 악성코드 탐지기의 실제 배포 개선을 위한 실용적 경로를 제시한다.

arXiv:2609.27710v3cs.CV

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2602.05786v4cs.LG

트리 부스팅을 위한 하이퍼파라미터 선택

Selecting Hyperparameters for Tree-Boosting

트리 부스팅은 표 형식(tabular) 데이터에 널리 사용되는 기계학습 기법이다. 그러나 표본 외(out-of-sample) 정확도는 여러 하이퍼파라미터에 크게 의존한다. 본 논문에서는 $59$개의 회귀 및 이진 분류 데이터셋을 사용하여, 무작위 그리드 탐색(random grid search), 트리 구조 파르센 추정기(tree-structured Parzen estimator, TPE), 가우스 과정 기반 베이지안 최적화(Gaussian-process-based Bayesian optimization, GP-BO), Hyperband, 순차 모델 기반 알고리즘 구성(sequential model-based algorithm configuration, SMAC) 방법, 결정적 전체 그리드 탐색(deterministic full grid search)을 포함한 트리 부스팅을 위한 여러 인기 하이퍼파라미터 최적화(optimization) 방법을 실증적으로 비교한다. SMAC 방법은 평균적으로 고려된 다른 모든 방법을 명확히 능가하며, 고정된 튜닝 예산 하에서 다양한 표 형식 데이터셋 전반에 걸쳐 안정적인 성능을 제공한다. 이는 광범위한 수동 시행착오 튜닝을 감당할 수 없는 사용자에게 중요한 의미를 갖는다. 또한 (i) 정확한 튜닝을 위해서는 일반적으로 $100$회를 넘는 상대적으로 많은 시행(trial)이 필요하다, (ii) 하이퍼파라미터의 기본값을 사용하거나 작은 그리드에 대한 전체 탐색을 수행하는 것은 종종 매우 부정확한 모델을 초래한다, (iii) 고려된 모든 하이퍼파라미터가 트리 부스팅의 정확도에 실질적인 영향을 미칠 수 있으며, 즉 다른 것들보다 더 중요한 소수의 하이퍼파라미터 집합은 존재하지 않는다, (iv) 회귀 작업에서 부스팅 반복 횟수를 탐색 공간에 포함하는 것보다 조기 종료를 사용하여 선택하는 것이 더 정확한 결과를 낳는다.

arXiv:2610.13808v2quant-ph

조합 융합을 통한 양자-고전 모델의 다양성 인지 앙상블

Diversity-Aware Ensemble of Quantum-Classical Models via Combinatorial Fusion

변분 양자 회로(VQC)는 회로 구조에 매우 민감하지만, 대부분의 양자 머신러닝 파이프라인은 단 하나의 최적 설계를 선택하고 나머지 후보는 폐기합니다. 본 논문에서는 양자 회로 탐색 공간 전반의 구조적 다양성을 활용하여 모델 융합(model fusion)을 통해 더 강력한 예측을 생성할 수 있는지 다룹니다. 순위-점수 함수(RSF)와 인지적 다양성(CD)을 활용해 여러 점수 산정 시스템을 선택하고 결합하는 모델 융합 프레임워크인 조합 융합 분석(CFA)을 구조적으로 다양한 29개의 고전 모델 및 양자 회로 풀에 적용합니다. 다양성 인지 모델 선택 방법을 사용하여 최대의 다양성을 지닌 모델 서브셋을 식별하고, 이를 점수 및 순위 결합 방식 모두로 결합합니다. 서로 다른 도메인을 포괄하는 4개의 이진 분류 벤치마크에 대한 실험 결과, CFA 기반의 하이브리드 고전-양자 융합은 고려된 모든 데이터셋에서 최고 성능의 개별 모델보다 일관되게 우수한 성능을 보였으며 정확도가 최대 6.03% 향상되었습니다. 관련 문헌과의 비교에서도 CFA 프레임워크는 4개 데이터셋 전반에서 더욱 우수한 성능을 달성합니다.

arXiv:2610.13422v1cs.CV

SADL: ISLES 2026 만성 뇌졸중 병변 분할을 위한 크기 적응형 결정 층

SADL: A Size-Adaptive Decision Layer for Chronic Stroke Lesion Segmentation in ISLES 2026

만성 허혈성 뇌졸중 병변은 T1 강조 MRI에서 분할하기 어렵습니다. 병변의 외형이 건강한 조직과 겹치고 부피가 4자릿수(orders of magnitude)에 걸쳐 분포하므로, 복셀 수준(voxel-level) 지표와 병변 수준(lesion-level) 지표가 서로 상충하는 경우가 많습니다. 본 연구에서는 다섯 가지 설계 축을 다루는 11개 구성 요소의 nnU-Net 앙상블(ensemble)을 구축합니다. 이 축에는 기준선(baseline) Dice + top-K 손실(loss), 강력한 증강(heavy augmentation), 병변별 부피 손실 재가중치 부여(loss re-weighting), 확률적 가중치 평균화(SWA), 그리고 코호트 균형 샘플링과 잔차 인코더 백본을 결합한 샘플링 및 아키텍처 블록이 포함됩니다. 구성 요소들의 가중 소프트 맵 융합(weighted soft-map fusion) 결과는 튜닝된 결정 층인 SADL로 입력되며, SADL은 병변 부피를 추정하고 적응형 병변 크기별 임계값을 적용하며, 복셀 수와 피크 확률을 기반으로 컴포넌트를 가지치기(pruning)하고, '비어 있지 않음(never-empty)' 구제 단계를 추가합니다. 모든 융합 가중치(weight)와 버킷별 파라미터는 폴드 외(out-of-fold, OOF) 예측값을 기반으로 피팅되므로, 튜닝 과정에서 별도 보관된 테스트 세트를 전혀 참조하지 않습니다. 기관이 분리된 91건의 홀드아웃 데이터셋에서 챌린지의 공개 평가 코드로 온라인 점수를 매긴 결과, SADL은 Dice 0.7322, 병변 F1 0.7461, PR-AUC 0.8430을 달성했습니다. 기준 단일 앙상블 구성 요소와의 대응 비모수 부트스트랩 검정 결과 p=0.024에서 병변 F1 향상이 확인되었으며, 고정 임계값 적용 시 묵과되어 버려졌을 케이스들을 구제 단계가 복원해 냄으로써 작은 병변 구간에서 성능 향상이 가장 두드러졌습니다.

arXiv:2610.10615v1stat.ML

JevForest: 예산 제약 특징 획득을 위한 경로 투표

JevForest: Path Voting for Budgeted Feature Acquisition

제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.

arXiv:2610.05196v2cs.LG

일치된 적격성 조건에서 학습된 단조 시계열 집계의 성능 측정

Measuring Learned Monotone Temporal Aggregation at Matched Admissibility

리스크 규제는 점수에 방향성 제약을 부과하며, 본 연구에서는 엄격한 입력별 형태(모든 익스포저 입력에 대해 점수가 단조 비감소하는 형태)를 규범적 약정으로 채택합니다. 이미 배포된 파이프라인(부호 제약 그래디언트(gradient) 부스팅으로 전달되는 단조 수작업 집계)은 결합을 통해 이를 이미 만족하므로, 제약 모델과 비제약 모델 간의 비교는 기존 파이프라인이 이미 무상으로 확보하고 있는 보장에 비용을 매기는 셈이 됩니다. 이에 따라 본 연구는 양측 모두에서 적격성을 일정하게 유지한 채 집계를 학습하는 것의 가치를 측정합니다. 본 연구의 도구는 상태가 고전적 리스크 통계량(지수 가중 이동 평균 및 학습된 변환을 갖춘 하이워터 마크)으로 구성된 순환 신경망으로, 구조적으로 모든 입력 및 MC-드롭아웃(dropout) 샘플마다 단조성을 만족합니다. 함수형 회귀를 통한 핵심 발견은 포섭 경계(subsumption boundary)입니다. 학습된 단조 채널은 수작업 통계량의 기하 가중 분리 가능 군을 구성원당 하나의 채널을 통해 스피어만 $ρ\ge 0.996$ 수준으로 재현하고, 측정 가능한 상한 내에서 윈도우 통계량을 근사하지만, 구조적 한계인 연속성($ρ= 0.924$) 및 시간 국소화(0.628), 그리고 학습 가능성 한계인 익스포저 하한(0.829)에서는 실패합니다. 하나의 명시적인 적격 기저는 각 실패를 보완합니다(순위 상관관계 1.000). 분리 가능 군 내부 또는 근처에서는 학습된 집계와 엔지니어링된 집계가 서로 대체 가능하며, 학습된 채널은 전체 표본 크기와 지정된 용량에서 통계적으로 결코 뒤처지지 않습니다. 학습된 채널의 이점은 기존 파이프라인별로 특화되어 나타납니다. 고정된 그리드는 커버하지 못하는 감쇠 영역에서 최대 0.019 AUC 손실을 초래하는 반면(학습된 채널은 모든 탐색 지점에서 가장 강력한 엔지니어링 소비자 대비 0.004 이내를 유지함), 가장 고차원인 비교 대상은 데이터가 부족할 때 가장 빠르게 성능이 저하되며, 학습(training) 서포트 외부에서는 그리드 기반 트리 앙상블(ensemble) 점수가 평탄해지는 반면 엄격하게 증가하는 헤드는 순위 매김을 지속합니다. 세 가지 축 모두에서 단일 기존 모델이 완전히 지배당하지는 않습니다.

arXiv:2609.39591v2cs.CV

정보 이론적 불확실성 분해의 구조적 한계

Structural Limits of the Information-Theoretic Uncertainty Decomposition

기계학습에서 불확실성 추정(uncertainty estimation)은 일반적으로 표준 정보 이론적 프레임워크를 사용하여 불확실성을 우연적 불확실성(aleatoric uncertainty, AU)과 인식론적 불확실성(epistemic uncertainty, EU)으로 분해합니다. 그러나 실제로는 두 가지 중대한 문제인 얽힘(entanglement, AU와 EU 간의 높은 상관관계)과 인식론적 붕괴(epistemic collapse, 모델 용량이 증가함에 따라 EU의 크기가 축소되는 현상)가 발생합니다. 본 연구는 이 프레임워크를 함수 수준에서 분석하여, 가정된 AU와 EU 범위의 상당 부분이 유한한 환경에서는 실현 불가능하며 어떠한 클래스 확률로도 도달할 수 없음을 발견했습니다. 우리는 이러한 실현 불가능한 영역이 클래스 수 및 몬테카를로 표본 수 $N$($N$개의 멤버를 가진 앙상블 등)에 따라 어떻게 스케일링되는지 특성화하며, 해당 영역이 $\text{AU} \leq \log(2)/N$으로 제한됨을 밝힙니다. 결정적으로, 이 실현 불가능한 영역의 경계는 인식론적 붕괴를 설명하는 데 도움이 됩니다. 즉, 모델 확신도가 높을 때 이러한 근본적인 구조적 한계로 인해 $\text{AU} > \text{EU}$가 필연적으로 보장됩니다. 우리의 연구 결과는 앙상블 크기를 늘리면 실현 불가능한 영역이 줄어들어 인식론적 붕괴가 완화됨을 보여줍니다. 마지막으로, $\text{AU} \leq \log(2)/N$일 때 AU와 EU가 결합(coupled)되어 있음을 증명하였으므로, 낮은 AU 영역에서 이 둘을 독립적인 양으로 해석하는 것에 주의를 당부합니다.

arXiv:2512.16545v3cond-mat.mtrl-sci

소규모 데이터셋을 이용한 머신러닝 기반 예측적 무기 합성: 유체역학적 직경이 제어된 Cu 나노입자 사례 연구

Predictive Inorganic Synthesis based on Machine Learning using Small Data sets: a case study of Hydrodynamic Diameter-controlled Cu Nanoparticles

Cu 나노입자(Cu NPs)는 광범위한 적용 가능성을 가지지만, 그 합성은 반응 매개변수의 미세한 변화에 민감하다. 이러한 민감성은 실험적 최적화가 시간과 자원을 많이 소모한다는 특성과 결합되어, 재현 가능하고 크기가 제어된 합성을 달성하는 데 있어 중대한 과제를 제기한다. 머신러닝(ML)은 재료 연구에서 유망성을 보이고 있지만, 그 적용은 대규모 고품질 실험 데이터셋의 부족으로 인해 종종 제한된다. 본 연구는 25회의 합성으로 이루어진 소규모 데이터셋을 사용하여 Cu 나노입자의 DLS 기반 유체역학적 직경을 예측하기 위해 ML을 탐구한다. 실험 데이터셋을 구성하는 동안 매개변수 공간을 효율적으로 포괄하기 위해 라틴 하이퍼큐브 샘플링(Latin Hypercube Sampling)이 사용된다. 앙상블 회귀 모델은 제한된 데이터셋에도 불구하고 양호한 예측 성능으로 유체역학적 직경을 성공적으로 예측한다. 정량적 회귀에는 고유한 DLS 기반 유체역학적 직경이 필요하므로, 회귀 모델은 단일 모드(mono-modal) DLS 분포로 제한되며, 이를 보완하는 분류 모델이 정량적 예측이 적용 가능한 합성 조건을 식별한다. 동등한 아웃오브샘플(out-of-sample) 검증을 사용했을 때, ML 모델과 DoE 모델은 비슷한 일반화 성능을 보였다. 최종 앙상블 모델은 DoE 모델의 0.60에 비해 R2=0.74를 달성했으며, 전체 합성 매개변수 공간을 유지함으로써 합성 가이드에 더 적합함을 보였다. 또한, 큰 입자와 작은 입자를 구분하기 위해 랜덤 포레스트와 LLM을 모두 사용하는 분류 모델이 평가되었다. 이러한 분류 모델은 다소 낮은 예측 성능만을 보였으며, 이는 이 소규모 데이터셋이 복잡한 LLM의 역량을 완전히 활용하기에는 불충분함을 나타낸다. 전반적으로, 본 연구는 신중하게 선별된 소규모 데이터셋이 견고한 고전적 ML과 결합될 때 Cu 나노입자의 합성을 효과적으로 지원할 수 있음을 보여주며, 실험실 규모 연구에서는 LLM과 같은 복잡한 모델이 제한적인 이점을 제공할 수 있음을 강조한다.

arXiv:2607.02623v2cs.LG

전력 가격 예측을 위한 시계열 파운데이션 모델 평가: 데이터 오염 위험, 분포 변화 및 공변량 의존성

Evaluating Time Series Foundation Models for Electricity Price Forecasting: Contamination Risk, Distributional Shifts, and Covariate Dependence

시계열 파운데이션 모델(TSFM)은 강력한 제로샷(zero-shot) 예측 성능을 보여주었으나, 공변량(covariate)에 의해 주도되는 비정상(non-stationary) 환경에서의 일반화 능력은 아직 충분히 연구되지 않았다. 전력 가격 예측(EPF)은 복잡한 시간적 의존성, 분포 변화(distributional shifts), 구조적·맥락적 정보에 대한 높은 의존성으로 인해 까다로운 테스트베드가 된다. 본 논문에서는 데이터 오염 위험을 완화하고 TSFM의 공정한 평가를 가능하게 하는 EPF용 2개 데이터셋 벤치마킹 프레임워크를 제안한다. 점 예측 및 확률적 예측 성능, 꼬리 거동(tail behavior), 가격 급등(price spikes), 도메인 특화 방법과의 비교를 포함한 EPF의 주요 측면을 살펴본다. 분석 결과, TSFM은 매우 경쟁력이 있으며 범용 베이스라인을 능가하는 경우가 많았다. 그러나 이들의 성능은 공변량 지원 여부에 결정적으로 의존하며, EPF에 맞춤 설계된 도메인 특화 방법을 일관되게 능가하지는 못한다. 흥미롭게도 TSFM과 도메인 특화 방법의 단순 앙상블이 상당한 잠재력을 지닌 것으로 나타나, 두 접근 방식이 상호 보완적인 예측 정보를 포착함을 시사한다.

arXiv:2609.34577v2cs.AI

수중 환경 모니터링에서의 정보 경로 계획을 위한 보정된 불확실성

Calibrated Uncertainty for Informative Path Planning in Aquatic Environmental Monitoring

스칼라장(scalar field) 재구성을 위한 정보 경로 계획(Informative Path Planning)은 예측 불확실성을 활용해 센싱 비히클을 정보량이 최대인 위치로 안내합니다. 가우시안 프로세스(Gaussian Process)가 이러한 신호를 제공하지만, 정상 등방성 커널(stationary isotropic kernel)은 기름 유출과 같은 비균질 현상에 대해 잘못 지정되어 불확실성 추정의 보정 실패(miscalibration)를 야기하고 경로 계획 성능을 저하시킵니다. 본 연구에서는 가우시안 프로세스를 잘 보정된 딥 앙상블(Deep Ensemble)로 대체할 때 경로 계획 결과가 향상되는지, 그리고 불확실성의 품질이 계획 알고리즘 선택과 어떻게 상호작용하는지 조사합니다. 5가지 전략(ε-Greedy, Value Greedy, Uncertainty Greedy, 몬테카를로 트리 탐색(MCTS), Receding Horizon Orienteering)은 물리 기반 기름 유출 시뮬레이션으로 학습된 공통 딥 앙상블 백본을 공유합니다. 미공개 확률적 유출 시나리오에서 딥 앙상블은 가우시안 프로세스 기준선(baseline) 대비 정규화된 재구성 오차를 83% 줄였습니다. 결정적으로, 잘 보정된 불확실성은 계획 전략의 중요성을 증폭시킵니다. 잘못 보정된 모델에서는 알고리즘 간의 성능 차이가 미미하지만, 앙상블 환경에서는 다단계 사전 예측(multi-step lookahead) 계획기가 탐욕적(greedy) 선택보다 재구성 오차를 최대 32% 개선하고 0.85 이상의 IoU를 달성하는 등 그 차이가 현저해집니다. 몬테카를로 트리 탐색은 한 자릿수 이상 낮은 연산 비용으로 Orienteering과 대등한 재구성 품질을 보여 권장되는 계획기로 제시됩니다.

arXiv:2606.26497v2cs.LG

엄밀한 적합 점수 규칙을 활용한 확률적 필터 학습

Learning Probabilistic Filters with Strictly Proper Scoring Rules

부분적이고 잡음이 섞인 관측이 주어지는 동적 시스템의 베이즈 필터링(Bayesian filtering)은 온라인 방식으로 관측치에 따른 시스템 상태의 시변 조건부 분포를 추론하는 것을 목표로 합니다. 이러한 베이즈 필터링 분포는 지도학습의 타깃으로 직접 주어지는 경우가 거의 없습니다. 그러나 예측 모델을 활용하여 합성 궤적과 이에 대응하는 합성 관측치를 생성할 수 있는 경우가 많습니다. 본 연구에서는 오직 합성 궤적만을 사용하여 학습되는 앙상블 자료 동화(data assimilation) 기법인 적합 점수 앙상블 필터(PSEF)를 소개합니다. 분석 단계는 순열 동변성(permutation-equivariant)을 갖는 트랜스포머 기반 사상으로 표현됩니다. 학습은 전체 확률 분포에 걸쳐 확률적 정확도에 보상을 부여하도록 엄밀한 적합 점수 규칙(strictly proper scoring rules)에 기반하며, 본 연구의 구현에서는 에너지 점수(energy score)가 사용됩니다. 실현가능성(realizability) 가정 하에서, 모집단 평균장(mean-field) 목적 함수는 실제 베이즈 필터링 분포에 의해 최소화됩니다. 제안하는 방법론은 앙상블 크기에 따른 미세조정을 전제로, 서로 다른 앙상블 크기 간에 동일하게 학습된 파라미터를 공유할 수 있도록 합니다. 수치 실험 결과, 학습된 필터는 강한 비가우시안성 및 다봉(multi-modal) 사후 분포를 포함하는 까다로운 필터링 분포를 정확하게 근사하며, 고전적 기법이나 평균제곱오차(MSE) 목적 함수를 사용하는 학습 기반 기법보다 자료 동화 작업에서 더 뛰어난 성능을 달성함을 보여줍니다.

arXiv:2606.12997v2cs.LG

물리 시스템의 확률적 에뮬레이션 신뢰성

Reliability of Probabilistic Emulation of Physical Systems

물리 시스템의 확률적 예측을 위한 생성 모델과 CRPS 학습 앙상블의 불확실성 신뢰성을 비교 평가한 결과, CRPS 학습 앙상블이 잠재 공간 생성 모델 대비 더 우수한 적용 범위와 추론 효율성을 제공함을 보여줍니다. 이와 함께 두 접근 방식을 구현한 AutoCast 프레임워크와 데이터셋 생성 패키지인 AutoSim을 공개합니다.

arXiv:2509.10756v4quant-ph

신경망 앙상블을 이용한 연속 측정 데이터 기반 불확실성 정량화 수반 양자 매개변수 추정

Quantum parameter estimation with uncertainty quantification from continuous measurement data using neural network ensembles

본 논문에서는 딥 앙상블(deep ensemble)이라 불리는 심층 신경망(deep neural network) 앙상블을 활용하여 양자 매개변수 추정(quantum parameter estimation)을 수행하는 동시에, 매개변수 추정치에 대한 불확실성을 정량화할 수 있는 수단을 제공함을 보인다. 이는 매개변수 추정에 베이즈 추론(Bayesian inference)을 사용할 때 얻을 수 있는 핵심적인 이점이나, 기존 머신러닝 기법을 사용할 경우 소실되었던 부분이다. 정확한 매개변수 추정과 잘 보정된(well-calibrated) 불확실성 추정치 모두를 위해 최적화하더라도, 정확도만을 위해 최적화하는 것에 비해 매개변수 추정 성능이 저하되지 않음을 입증한다. 또한 이러한 앙상블 모델의 드리프트 감지 능력을 활용하여 추론 중 사용되는 실험 데이터의 드리프트를 감지할 수 있음을 보인다. 아울러 이 접근 방식은 가능도 기반(likelihood-based) 및 가능도 무관(likelihood-free) 베이즈 추론보다 훨씬 빠른 추론 시간을 제공함을 확인하였다. 이러한 결과는 본 모델들이 불확실성이 정량화된 정확한 실시간 매개변수 추정을 가능하게 하여, 실험 환경 배치를 위한 유망한 후보가 될 수 있음을 시사한다.

arXiv:2610.01134v2cs.CV

전사된 벵골어 텍스트에서의 개방형 어휘 단어 인식

Open Vocabulary Word Recognition From Transcribed Bangla Texts

광학 문자 인식(OCR)은 기술을 활용하여 문서를 스캔하고 텍스트를 추출함으로써 사람들의 작업을 수월하게 만듭니다. 소프트웨어 산업에는 다양한 OCR 시스템이 존재하지만, 벵골어에 적합한 신뢰할 수 있는 솔루션을 찾는 것은 많은 노력이 필요합니다. 필기체 텍스트의 경우 상황은 훨씬 더 까다롭습니다. 단어 이미지에서 단어를 인식하는 것은 모든 OCR 프로세스에서 가장 중요한 단계이며, 텍스트 이미지에서 단어를 분할한 직후의 두 번째 단계에 해당합니다. 이 단계가 실패하면 다른 단계가 아무리 우수하게 수행되더라도 OCR의 전반적인 성능은 저하됩니다. 본 연구는 심층 학습(deep learning)을 활용하여 필기체 벵골어 단어 이미지에서 단어를 인식하는 것을 목표로 합니다. 필기체 단어 이미지를 학습하고 테스트하기 위해 MobileNetV2 기반의 SSD, InceptionResNetV2 기반의 Faster R-CNN, 그리고 이 두 가지를 결합한 앙상블 모델 등 세 가지 객체 검출(object detection) 모델을 사용했습니다. 모델 결과의 효과를 높이기 위해 수정된 비최대 억제(Non-Maximum Suppression)를 도입했습니다. 다양한 사람들의 서로 다른 필체 스타일을 포함하는 9,841개의 필기체 벵골어 단어 이미지로 구성된 맞춤형 데이터셋을 구축했습니다. 테스트 데이터셋을 통해 세 모델의 성능을 모두 검증한 결과, 앙상블 모델이 92.61%의 F1-점수를 기록하며 가장 인상적인 성능을 보였습니다. 또한 단어 수준에서 앙상블 모델은 단어의 96.12%를 일정 수준 정확하게 인식했습니다. 시스템에서 발생하는 오류를 수정하기 위한 후처리 단계를 도입함으로써 시스템을 더욱 향상시킬 수 있습니다.

arXiv:2606.30020v2cs.CV

심층 상호 학습을 통한 병리학 기반 모델의 불확실성 추정

Uncertainty Estimation in Pathology Foundation Models via Deep Mutual Learning

병리학 기반 모델(Pathology foundation models, PFM)은 전체 슬라이드 이미지(whole-slide image, WSI) 분석을 위한 일반화 가능한 표현을 제공하지만, 임상 도입은 여전히 제한적입니다. 구체적으로, 이들의 예측은 신뢰할 수 있는 신뢰도 추정치가 부족하며, 모든 작업에 걸쳐 보편적으로 가장 뛰어난 단일 PFM이 존재하지 않아 의료 환경에서의 신뢰를 심각하게 저하시킵니다. 이를 극복하기 위해, 본 연구에서는 $K$개의 동결된 PFM을 앙상블(ensemble)하고 이들의 합의를 바탕으로 불확실성을 추정하는 플러그 앤 플레이(plug-and-play) 프레임워크인 DICE를 제안합니다. 심층 상호 학습(deep mutual learning)을 통해 앙상블 구성원들을 정렬하며, 이 목적 함수가 인식론적 불확실성(epistemic uncertainty)의 상한을 제어함을 이론적으로 보입니다. 또한, 명시적인 지도 없이도 앙상블이 패치 수준에서 이상 부위를 국소화(localization)함을 입증합니다. 세 가지 까다로운 WSI 벤치마크에서 DICE를 평가합니다. 특히 본 프레임워크는 분류(classification), 보정(calibration), 국소화에서 SOTA 베이스라인과 대등하거나 능가하는 성능을 보이면서, 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 실패하기 쉬운 사례를 정확히 표시하는 신뢰할 수 있는 불확실성 추정치를 제공합니다. 전반적으로 DICE는 PFM을 불확실성을 인지하는 의사결정 지원 시스템으로 전환하는 데 중요한 진전을 이룹니다.

arXiv:2610.02005v1cs.AI

움직임을 세고 목소리의 무게를 달다: 지속적 적대자가 존재하는 환경에서 보정된 다중 LLM 협의회를 위한 베이지안 변증법적 논증

Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries

다중 대규모 언어 모델(multi-LLM) 협의회(council)는 여러 LLM이 질문에 대해 심의하고 신뢰도 추정치와 함께 답변을 반환하도록 합니다. 이러한 시스템이 추론에 점차 더 널리 사용됨에 따라, 해당 신뢰도는 보정된(calibrated) '정답일 확률'을 나타내야 하며, 일부 에이전트가 지속적으로 신뢰할 수 없는 경우에도 결정은 강건성을 유지해야 합니다. 기존의 협의회 집계(council aggregation) 방식은 두 가지 측면 모두에서 한계를 보입니다. 이들의 신뢰도 추정치는 정확성보다는 결단력을 측정하며, 지속적으로 신뢰할 수 없는 에이전트를 식별하거나 할인(discount)하지 못합니다. 본 논문에서는 협의회의 유형화된(typed) 움직임(누가 어떤 답변을 제안, 반박, 또는 양보했는지)을 에이전트별 신뢰도를 갖춘 고전적 주석자 모델의 관측값으로 취급하는 베이지안 변증법적 논증(Bayesian Dialectical Argumentation, BDA)을 소개합니다. 이러한 공식화는 다중 에이전트 심의를 신뢰도 추정 문제로 재구성하여, 지속적인 적대적 행동 하에서 심의 추적(deliberation trace)을 활용해 에이전트 신뢰도를 추론합니다. 추론된 에이전트 신뢰도에 따라 증거에 가중치를 부여함으로써, BDA는 후보 답변에 대해 보정된 사후 확률을 산출하는 동시에 지속적으로 신뢰할 수 없는 에이전트를 단순히 다수결로 배제하는 대신 반전(invert)할 수 있도록 합니다. 이진 및 다중 클래스 벤치마크 전반에서 BDA는 추가적인 LLM 호출 없이도 무비용(zero-cost) 협의회 집계 방식 중 최고의 보정 성능을 달성하며, 오염되지 않은 환경에서 경쟁력을 유지하면서도 지속적인 적대적 연합(coalition) 하에서 강건성을 향상시킵니다.

arXiv:2610.01014v1cs.AI

발견에서 결정까지: 대규모 언어 모델(LLM) 투표에서의 유한 예산 회복 가능성

From Discovery to Decision: Finite-Budget Recoverability in LLM Voting

여러 대규모 언어 모델(LLM) 응답에 대한 투표는 테스트 시간 스케일링(test-time scaling)과 앙상블(ensemble) 추론(inference)에서 널리 쓰이는 기본 연산(primitive)입니다. 더 많은 응답을 수집하면 후보 집합이 확장되어 정답이 발견될 가능성이 높아질 수 있습니다. 그러나 고정된 호출 예산 내에서는 발견된 답변이라도 최종적인 다수결(plurality) 승자가 되기 위해 남은 호출 횟수 내에서 충분한 지지를 축적해야 하므로, '발견과 결정 간의 격차(discovery-to-decision gap)'가 발생합니다. 본 연구에서는 실현된 투표 상태와 남은 호출 예산을 통해 이러한 격차를 특성화합니다. 저자들은 명확한 회복 가능성 임계값(recoverability threshold)을 유도하고, 샘플링이 진행됨에 따라 관찰된 후보 집합은 확장되기만 하는 반면 도달 가능한 최종 승자 집합은 축소되기만 하여 후보 수준의 전환 창(conversion window)이 유도됨을 보입니다. 지정된 독립동일분포(iid) 응답 법칙 하에서, 동일한 상태를 통해 정확한 유한 구간(finite-horizon) 최종 확률을 도출할 수 있습니다. 나아가 오답 식별자를 병합하는 것은 단일 호출 정확도를 보존하면서도 다수결 정확도를 향상시킬 수 없으며, 오답 확률 재분배의 효과는 실현된 투표 상태에 따라 달라짐을 보입니다. 단일 원소 도달 가능성(singleton reachability)은 정답 레이블이 필요 없는(gold-free) 정확한 잠금 보증서(locking certificate)를 제공합니다. 알려진 답변 공간(universe)에 대해, 이 보증서의 최초 작동 시점은 모든 허용 가능한 연속 과정이 동일한 고정 예산 출력을 생성하는 가장 빠른 접두 문맥(prefix)에 해당합니다. 실증적으로, 발견되었으나 선택되지 못한 대부분의 정답은 발견된 이후에야 비로소 도달 가능성을 상실합니다. 통제된 Word16 실험에서, 입력 순열(permutation)은 단일 호출 정확도를 본질적으로 유지하면서도 원시 다수결 정확도를 21.1%p 향상시켰습니다. 또한 정확한 잠금 기법은 16회 호출 예산에서 모든 고정 예산 출력을 보존하면서도 호출 수를 28-30% 절감합니다.

arXiv:2607.17384v3cs.AI

사고 다양성의 정량화: 가중 LLM 앙상블 향상 효과에 대한 예측 법칙

Quantifying Diversity of Thought: A Predictive Law of Weighted LLM Ensemble Lift

본 논문에서는 대규모 언어 모델(LLM) 앙상블에서 사고의 다양성(diversity of thought)이 제공하는 성능 향상(uplift)을 계산하기 위한 실험적으로 검증된 형식 법칙을 제시합니다. 우리는 제1원리(first principles)로부터 LLM 앙상블 성능 향상 효과(lift)를 구제 질량(rescue mass)과 손상 질량(damage mass)으로 정확히 분해하고, 이를 바탕으로 성능 향상을 계산하는 간결한 휴리스틱을 도출합니다. 이를 통해 앙상블 성능을 예측하는 지표들을 추출하는데, 이는 정확도 조정 정답 상관관계인 $φ_{\mathrm{adj}}$와 함께 모델 쌍의 정확도 격차 및 집단적 정확도(collective accuracy)입니다. 우리는 두 개의 대학원 수준 과학 벤치마크와 네트워크가 격리된 샌드박스에서 다중 턴(multi-turn) 도구 사용을 통해 디지털 포렌식 조사를 수행하는 새로운 에이전트 기반 사이버 보안 벤치마크(기권을 포함한 23,520회의 채점 시험)에서 10개의 공개 가중치 모델로 생성한 767,520회의 추론을 바탕으로 이 법칙을 테스트하였으며, 모든 투표 데이터는 공개되어 있습니다. 40:60 투표 분할 비율로 SuperGPQA에서 한 번 캘리브레이션된 휴리스틱은 캘리브레이션 세트에서 스피어만 $ρ=0.84$로 성능 향상을 예측하며, 계수를 고정한 상태에서도 캘리브레이션에 사용되지 않은 두 데이터셋으로 전이(transfer)됩니다(GPQA Diamond에서 $ρ=0.51$, 포렌식 태스크에서 $0.84$). 반면 측정된 스왑 질량(swap mass)은 전체에 걸쳐 $R^2\ge 0.96$으로 실제 실현된 성능 향상을 추적합니다. 원시(raw) $φ$는 예측력이 거의 없는 반면(전체에 걸쳐 $R^2\le 0.09$), 정확도 조정 $φ_{\mathrm{adj}}$는 현저히 우수하며(SuperGPQA에서 $R^2=0.67$), 이러한 지표들을 결합한 휴리스틱은 세 데이터셋 전반에서 가장 안정적인 풀링(pooling) 이전 예측 인자입니다.

arXiv:2609.28122v1stat.ML

NPBoost: 그래디언트 부스팅 고정 효과를 갖는 Neural Process

NPBoost: Neural Processes with Gradient-Boosted Fixed Effects

Neural Process(NP)는 모델 기반 메타러너로, 확률적 과정(stochastic process)을 암묵적으로 학습하고 작은 컨텍스트 집합으로부터 새 과제에 적응한다. NP의 대부분 확장은 신경망 아키텍처 개선에 초점을 맞춘다. 우리는 대신 메타학습과 혼합효과(mixed-effects) 모델이 공유하는 계층적 해석에서 동기를 받은 확장을 개발한다. 구체적으로 Neural Process Boosting(NPBoost)을 제안하며, 구조화된 반응 변동성을 과제 간 공유되는 트리 부스팅 고정 효과와 과제 간 확률적 변동을 포착하는 NP 임의 효과로 분해한다. 부스팅 알고리즘으로 두 구성요소를 공동 학습하도록 하며, 이 과정에서 NP는 잔차적인 과제별 구조를 학습하고 트리 앙상블은 과제 간 공통 패턴을 추정한다. 합성 및 실제 표 형식(tabular) 메타학습 문제 전반에서, 공유 구조에 불연속성이나 부스팅된 트리가 효과적으로 표현할 수 있는 기타 불규칙 패턴이 있을 때 이 분해는 표준 NP보다 성능이 개선된다.