PyTorchKR Papers

업데이트된 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2610.03465v2stat.ML

정확도는 언제 증거가 되는가? 일반화, 검증 및 정보 융합의 통합 이론

When Is Accuracy Evidence? A Unified Theory of Generalisation, Validation, and Information Fusion

K-겹 교차 검증(K-fold cross-validation, CV)은 표본 외 성능(out-of-sample performance)의 증거로 널리 사용되지만, 이질적인 데이터 환경에서는 각 fold가 독립적인 실험도 아니며 동일한 양의 정보를 제공하지도 않습니다. 교차 상한 검증(Cross Upper-Bound Validation, CUBV)은 점별 CV 정확도를 실제 위험(true risk)에 대한 보수적인 상한으로 대체합니다. 본 연구에서는 일반화 격차(generalisation gap)의 적률생성함수(moment-generating function)가 큐뮬런트 포락선(cumulant envelope) gamma(lambda)에 의해 제어되는 단일 지수 프레임워크를 통해 CUBV를 일반화합니다. 이는 Hoeffding, Bernstein, 의존성 인식, PAC-Bayesian 및 이질적 소스 융합 설정을 포괄하는 일련의 위험 상한(risk bounds) 계열을 도출합니다. K-겹 CV의 경우, fold 간 격차의 의존성은 결합 서브 가우시안(sub-Gaussian) 프록시 행렬을 통해 모델링됩니다. 동등 상관(equicorrelation) 조건에서 이는 유효 fold 수 Keff = K/[1+(K-1)rho]를 산출하며, fold 간 의존성이 강할 때는 K를 늘려도 통계적 증거가 반드시 증가하지 않음을 보여줍니다. 또한 이 프레임워크는 예측기에 대한 사후 분포 및 가중 다중 소스 융합으로 확장되며, 여기서 가중치는 경험적 오차 단독이 아니라 미래 위험에 대한 상한을 최소화함으로써 선택됩니다. 이질적인 다봉 가우시안 혼합(heterogeneous multimodal Gaussian mixtures)에서 학습된 선형 분류기를 사용한 실험을 통해 K-겹 CV를 전체 표본 재대입(full-sample resubstitution) 및 위험 보정과 비교합니다. 상한은 커버리지와 긴밀도(tightness)를 기준으로 평가됩니다. 저차원 소규모 표본 설정에서는 개별 fold가 소수 모드(minority modes)를 충분히 반영하지 못하기 때문에 K-겹 분할이 불확실성을 증가시킬 수 있는 반면, 보정된 재대입은 여전히 유효하며 더 긴밀하게 유지될 수 있습니다. 이러한 효과는 표본 크기가 증가함에 따라 사라집니다. 종합적으로, gamma-CUBV는 관측된 성능, 불확실성, 의존성, 모델 복잡도, 신뢰도를 명시적인 항으로 분리하여, CV 점수에서 위험 진술로 이어지는 통합된 경로와 신경영상(neuroimaging)과 같은 이질적 소규모 표본 응용 분야를 위한 원칙적인 검증 기준을 제공합니다.

arXiv:2511.15779v2hep-ph

SURF로 탐구하는 제트 태깅의 근본적 한계

SURFing to the Fundamental Limit of Jet Tagging

더 나은 제트 태깅 알고리즘을 통해 탐색 및 측정 감도를 향상시킨다는 실용적 목표를 넘어, 그 성능의 상한은 무엇인가라는 더 근본적인 질문이 있다. 학습된 우도 함수를 갖는 생성 대리 모델은 대리 모델이 기저 데이터 분포를 올바르게 포착한다는 전제하에 이 문제에 대한 새로운 접근을 제공한다. 본 연구에서는 생성 모델을 검증하는 새로운 접근법인 SUrrogate ReFerence(SURF) 방법을 소개한다. 이 프레임워크는 실제 데이터로 학습된 다루기 쉬운 다른 대리 모델의 샘플로 대상 모델을 학습시킴으로써 정확한 네이만-피어슨 검정을 가능하게 한다. 우리는 EPiC-FM 생성 모델이 JetClass 제트에 대한 유효한 대리 기준이라고 주장하며, SURF를 적용하여 최신 제트 태거가 이미 실제 통계적 한계에 근접하여 작동하고 있을 수 있음을 보인다. 반면 자기회귀 GPT 모델은 대리 기준에 내재된 톱 쿼크 대 QCD 분리력을 비물리적으로 과장하는 것으로 나타났으며, 이는 이 모델들이 근본적 한계에 대해 오해를 낳는 그림을 제공함을 의미한다.

arXiv:2610.40749v2hep-ex

조합 잔차 네트워크: 명시적 제트 할당이 필요 없는 붕괴 사슬 인식 분류기

Combinatorial Residual Network: a decay-chain-aware classifier without explicit jet assignment

무거운 입자의 붕괴로 생성된 여러 개의 제트를 포함하는 최종 상태는 조합 문제를 야기한다. 제트를 적어도 암묵적으로는 각자의 부모 입자에 할당해야 하기 때문이다. 조합 잔차 네트워크(Combinatorial Residual Network, CoReNet)는 가정된 붕괴 사슬을 아키텍처에 인코딩하는 분류기로서, 붕괴 계층을 따라 단계별로 사건 표현을 구성하고, 가중치를 공유하여 평가한 모든 제트 할당 가설을 학습된 가중치로 결합한다. 붕괴의 교환 대칭성이 내장되어 있고, 네트워크 크기가 가설의 수에 의존하지 않으며, 학습에 생성기 수준의 제트 할당을 사용하지 않는다. $b\bar{b}b\bar{b}$ 최종 상태를 위해 개발되어 여러 CMS 탐색에 사용된 파라미터 1508개의 CoReNet은, 고속 시뮬레이션된 힉스 보손 쌍 생성과 QCD 다중 제트 사건에 대해 운동학적 기준선을 크게 웃도는 성능을 보이며 단일 GPU에서 수 분 만에 학습되고, 그 가설 가중치는 참값과 일치하는 제트 짝짓기가 정의되는 대부분의 신호 사건에서 이를 선택한다. 인코딩되는 붕괴 사슬만이 최종 상태에 특화되어 있으므로, 우리는 이 구성을 준렙톤 $t\bar{t}$ 배경에 대한 $HH \to b\bar{b}W^+W^-$에서 시험하였으며, 배경의 붕괴 사슬까지 인코딩하면 약 $10^{3}$개의 파라미터를 추가하는 대가로 분류 성능이 향상된다. 두 최종 상태 모두에서 CoReNet은 두 자릿수 이상 더 큰 최신 트랜스포머 기반 네트워크와 대등한 성능을 보인다. 구현은 https://github.com/cms-cmu/CoReNet 에 공개되어 있다.

arXiv:2609.00883v2cs.LG

광대역 CARS 위상 복원을 위한 iPINN: 비선형 분광학에서의 함수 근사 및 역 모델링 문제를 위한 프레임워크

iPINN for Broadband CARS Phase Retrieval: A Framework for Function Approximation and Inverse Modeling Problems in Nonlinear Spectroscopy

광대역 결맞음 반스토크스 라만 산란(BCARS)은 화학적으로 특이적인 진동 스펙트럼을 기록하지만, 측정 신호에는 시료의 공명적인 라만 유사 응답과 측정마다 달라지는 비공명 배경이 섞여 있다. 위상 복원이라 불리는 공명 응답의 복원은 비적절(ill-posed) 역문제이다. 우리는 BCARS 스펙트럼으로부터 로런츠 진동 밴드의 위치, 진폭, 폭을 직접 예측하는 역 물리 기반 신경망인 iPINN을 제시한다. 트랜스포머 네트워크가 이러한 밴드 매개변수를 추정하고, 공명 감수율의 미분 가능한 해석 모델이 이를 물리적으로 정의된 밴드의 합으로서 라만 유사 스펙트럼으로 재구성한다. 우리는 각 기준 화합물의 밴드는 고정하고 배경의 형태와 세기 및 잡음은 변화시킨 모사 스펙트럼으로 네트워크를 학습시킨다. 학습은 또한 이러한 변화 전반에서 동일한 화합물에 대해 유사한 밴드 예측을 내도록 유도한다. 톨루엔과 디메틸설폭시드 스펙트럼의 공개 벤치마크에서 이 네트워크는 다섯 가지 딥러닝 베이스라인 중 최고 성능 모델의 약 3분의 1에 해당하는 평균 절대 오차를 달성하였다. 디메틸설폭시드에 대한 오차는 세 가지 잡음 수준에서 거의 일정하게 유지되었다. 또한 배경 세기가 서로 다른 네 가지 초점 깊이에서 기록한 일곱 가지 용매의 스펙트럼 28개를 사용하였다. 일곱 가지 용매 중 다섯 가지에서는 평균 절대 오차가 깊이에 따라 거의 변하지 않았으나, 나머지 두 가지에서는 더 크게 변하였다. 이러한 결과는 본 접근법이 배경이 변할 때 시험한 대부분의 용매에 대해 위상 복원을 안정적으로 유지함을 시사한다.

arXiv:2512.04954v4cs.LG

우도 가중 정규화 흐름을 이용한 다봉 사후분포의 상각 추론

Amortized Inference of Multi-Modal Posteriors using Likelihood-Weighted Normalizing Flows

우리는 제안분포가 사전분포인 신경 중요도 샘플링의 특수한 경우인 우도 가중 중요도 샘플링으로 학습한 정규화 흐름을 이용한 사후분포 추정 기법을 제시한다. 이 접근은 사후분포 학습 표본 없이도 고차원 역문제에서 이론적 모수를 효율적으로 추론할 수 있게 한다. 효능을 확인하기 위해 2차원 및 3차원 다봉 벤치마크 과제에 이 방법을 구현하였다. 본 연구의 중요한 관찰은 기저 분포가 모델링된 사후분포에 미치는 영향이다. 표준적인 단봉 기저 분포는 서로 멀리 떨어진 봉우리 사이에 허위의 확률 \textit{다리}를 남기는 것으로 나타났다. 목표 봉우리 수와 일치하는 가우시안 혼합 모델로 흐름을 초기화하면 일부 거리 및 발산 지표로 측정한 재구성 충실도가 크게 향상됨을 보인다. 마지막으로 이 방법을 중입자 물리학의 정선된 문제, 즉 $B^0\to J/\psi\,K^0$의 CP 비대칭으로부터 Wolfenstein 매개변수를 추출하는 문제에 적용한다. 이 문제는 다봉이고 비가우시안이며 봉우리 가중치가 비대칭이다. 우리는 결과를 잘 수렴한 마르코프 연쇄 몬테카를로 기준 및 구적법으로 계산한 정확한 기준과 여러 지표를 사용해 비교한다. 학습된 흐름을 중요도 샘플링의 제안분포로 사용하면 남아 있는 편향이 제거되고 증거도 얻을 수 있다.

arXiv:2509.22482v3cs.LG

재생 커널 힐베르트 공간에서의 베이지안 전이 연산자

Bayesian Transfer Operators in Reproducing Kernel Hilbert Spaces

전이 연산자는 관측 가능량 또는 확률분포를 전파함으로써 비선형 동역학계를 선형적으로 기술한다. 재생 커널 힐베르트 공간에서 이러한 연산자는 조건부 평균 임베딩으로 표현되며, 그 정칙화 추정량은 가우시안 과정 회귀의 사후 평균과 일치한다. 이 대응 관계를 바탕으로, 희소 변분 가우시안 과정을 커널 기반 Koopman 및 Perron--Frobenius 연산자 근사와 결합한 베이지안 전이 연산자 방법인 가우시안 과정 동적 모드 분해(Gaussian Process Dynamic Mode Decomposition)를 정식화한다. 그 결과 얻어지는 프레임워크는 불확실성 정량화, 확장 가능한 희소 근사, 예측 및 스펙트럼 분석을 위한 데이터 적응적 사전(dictionary) 학습에 대한 원리적인 경로를 제공한다. 또한 모델 선택 정식화는 자연스럽게 순방향--역방향 연산자 구조를 낳으며, 이는 베이지안 전이 연산자 학습과 시간 지연 정준상관분석 사이의 연결을 확립한다.

arXiv:2504.15779v2cs.IT

섀넌 관측량: 정보 분해를 위한 확장 가능한 접근

Shannon observables: A scalable approach to information decomposition

생물학적 신경망과 인공 신경망 같은 분산 시스템은 여러 하위 시스템이 관여하는 복잡한 상호작용을 통해 정보를 처리하며, 그 결과 시스템 내 정보는 규모에 따라 서로 다른 특성을 갖는 고차 구조를 이룬다. 이러한 시스템이 정보를 어떻게 처리하는지 조사하는 일은 적절한 다변량 지표를 정의하고 이를 대규모 시스템으로 확장하는 데 어려움이 있어 여전히 도전적이다. 이러한 문제를 해결하기 위해 우리는 "섀넌 관측량(Shannon observables)"이라 부르는 개념에 기반한 새로운 프레임워크를 도입한다. 이는 고차 정보 처리의 본질적 특성을 포착하면서도 섀넌 엔트로피로부터 직접 계산할 수 있고 대규모 시스템으로 효율적으로 확장되는 양이다. 우리의 이론적 결과는 널리 사용되는 다변량 정보 이론적 척도의 해석에 관한 오랜 모호성을 해소하는 데 섀넌 관측량을 어떻게 사용할 수 있는지 보여준다. 실용적 측면에서는 여러 분야에 걸쳐 이 프레임워크의 다양한 활용성을 입증한다. 오류 정정 부호에 대한 해석적 연구는 채널 잡음이 변함에 따라 섀넌 관측량이 서로 다른 부호화 영역을 어떻게 그려내는지 보여주며, 심층 분류기와 합성곱 오토인코더에 대한 분석은 계층 간 및 학습 과정에 따른 특징적인 정보 처리 양상을 드러낸다. 또한 인간 뇌의 뇌자도 기록에 적용하면, 이 프레임워크는 방향성 정보 전달에서 뚜렷한 지역적 구조를 드러내는 피질 지도를 제공한다. 전반적으로 우리의 프레임워크는 고차 정보 현상을 분석하는 데 있던 근본적 한계를 해소하며, 이론적 발전과 실증 분석을 위한 폭넓은 기회를 제공한다.

arXiv:2607.28093v2physics.ao-ph

Meteosat 3세대 위성 영상 기반의 CNN SSI 산출 성능 향상

Meteosat Third Generation imagery improves CNN-based SSI retrieval

정확한 지표면 태양 복사조도(SSI) 추정은 태양광 에너지 모니터링과 예측에서 점점 더 중요해지고 있다. 최근 도입된 Meteosat 3세대(MTG) 위성군은 Meteosat 2세대(MSG) 위성군에 비해 더 높은 공간 해상도의 영상 데이터를 제공하지만, 기계학습 기반 SSI 산출에 대한 이점은 충분히 확립되지 않았다. 우리는 MSG/SEVIRI 또는 MTG/FCI 위성 영상을 사용하여 북유럽(에스토니아)에서 10분 단위 SSI를 산출하는 다중 해상도 합성곱 신경망 모델들을 비교한다. 시간적으로 독립적인 테스트 연도와 여러 학습 시드를 사용한 지점 기반 교차 검증으로, 에스토니아 기상 관측소 여덟 곳의 지상 일사계 측정값에 대해 모델 성능을 평가한다. 모델 성능은 물리 기반 위성 SSI 산출물인 SARAH-3와도 비교한다. FCI 전용 모델은 흐린 날과 구름 낀 조건에서 SEVIRI 전용 모델을 유의하게 능가하여 RMSE를 각각 5.1 W/m^2, 6.5 W/m^2 감소시켰다. 그러나 부분적으로 흐리거나 맑은 하늘에서는 FCI 전용 모델과 SEVIRI 전용 모델 간 RMSE에 통계적으로 유의한 차이가 없었다. 전천 조건에서 FCI 전용 모델의 RMSE는 평균 5.1 W/m^2 낮았으나, 이 차이는 Bonferroni 보정 후 통계적으로 유의하지 않았다. 물리 기반 SARAH-3와 비교하면 FCI 전용 모델은 흐린 조건에서 28%, 구름 낀 조건에서 19%, 전체적으로 17%의 스킬 점수를 보였다. 또한 두 모델 모두 맑은 하늘 조건에서는 SARAH-3보다 성능이 낮았다. 이러한 결과는 구름이 복사조도 변동을 좌우할 때 더 높은 해상도의 MTG/FCI 영상이 CNN 기반 SSI 산출을 개선함을 보여주지만, 해상도만으로는 기계학습 기반 SSI 산출의 맑은 하늘 한계를 해결하기에 충분하지 않음도 시사한다.

arXiv:2610.35766v2cs.LG

개선되는 신호와 퇴화하는 인코더: 자기지도 학습의 레이블 없는 모니터링에 대한 정답 기지 검증

Improving Signals, Declining Encoder: A Known-Answer Test of Label-Free Monitoring in Self-Supervised Learning

자기지도 학습은 레이블 없이 손실과 학습된 특징의 통계량을 통해 모니터링된다. 우리는 인코더가 학습했던 내용의 일부를 잃었음을 알고 있는 사례를 보고하며, 따라서 이러한 신호가 이를 감지했는지 확인할 수 있다. 우리는 생성 요인이 알려진 합성 이미지에서 LeJEPA 인코더를 학습시켰다. 열 개의 시드 중 아홉 개에서 이러한 요인의 판독 가능성이 급격히 떨어진 뒤 낮게 유지되었으며, 거의 항상 요인 공간에서 동일한 방향을 따랐다. 그동안 손실은 계속 감소했고, 우리가 추적한 열한 가지 레이블 없는 신호 대부분은 계속 개선되어 퇴화한 실행을 퇴화하지 않은 실행보다 더 좋게 평가했다. 표준적인 변화점 탐지는 퇴화 시작 시점 부근에서 이를 거의 포착하지 못했고, 이러한 신호로 체크포인트를 선택하면 대개 퇴화 이후의 것이 선택되었다.

arXiv:2609.26683v2astro-ph.SR

PROSWIN: 태양 영상을 이용한 심층 분포 회귀 기반의 확률론적 태양풍 속도 예측

PROSWIN: Probabilistic Solar Wind Speed Forecasting Using Deep Distributional Regression From Solar Images

빠른 태양풍 조건을 정확하게 예측하는 것은 불확실성이 크고 기존의 단일값 예측 모델로는 이를 정량화할 수 없기 때문에 어려운 과제입니다. 특히 기술적 인프라에 피해를 줄 수 있는 고속 태양풍 스트림(HSS)의 위험은 확률론적 예측 없이는 신뢰성 있게 평가될 수 없습니다. 본 연구에서는 4일의 리드 타임으로 지구에서의 시간별 태양풍 속도(SWS)를 예측하는 확률론적 머신러닝 모델인 PROSWIN을 제시합니다. 이 접근 방식은 심층 신경망(deep neural network)과 분포 회귀(distributional regression) 알고리즘을 결합하여 태양 영상과 자기장 지도(magnetogram)를 통합합니다. 표준 오차 지표는 HSS 피크의 중요성을 과소평가하므로, 타임라인과 HSS 피크 정확도를 함께 보상하는 모델 선택 지표인 예측 점수(prediction score)를 추가로 도입합니다. 14년간의 데이터에서 본 연구의 예측은 매우 잘 보정된 불확실성(평균 편차 <1%)을 달성합니다. 분포 정확도를 평가하는 지표인 연속 순위 확률 점수(CRPS)를 사용하여 타임라인 CRPS 41.0 km/s, HSS 피크 CRPS 45.3 km/s, 예측 점수 42.3 km/s를 얻었습니다. 또한 171 Å 채널이 일반적으로 사용되는 193 Å 및 211 Å 채널에 중요한 보완 요소가 되며, 모델 선택을 위한 예측 점수가 모델의 적용 가능성을 향상시킨다는 점을 확인했습니다. 기존 문헌에서 선정된 모델들과 비교했을 때, 본 모델은 둘 중 하나를 희생하지 않고 타임라인과 HSS 피크 값 모두에서 정확한 유일한 모델입니다. 이러한 결과는 단일값 태양풍 모델 대비 확률론적 모델의 이점을 뒷받침합니다. 도입된 방법론은 다른 예측 문제에도 전이 가능합니다.

arXiv:2510.01335v3cs.LG

HomID: 비등방성 임베딩을 갖는 동차 다양체 기반 내재적 차원 추정기 벤치마킹

HomID : Benchmarking Intrinsic Dimension Estimators on Homogenous Manifolds with Anisotropic Embeddings

다양체 가설은 데이터가 주변 차원보다 작은 내재 차원(ID)을 갖는 다양체 위에 놓여 있다고 본다. 그러나 현실적인 데이터셋에 대해 서로 다른 추정기가 내놓는 ID 추정값에는 경험적 합의가 없다. 따라서 표적화된 스트레서(stressor)로 ID 추정기(IDE)를 시험하는 것이 중요하다. 본 연구에서는 비등방성의 역할을 고려한다. 이를 위해 ID 추정기를 벤치마킹하기 위한, 비등방성 임베딩을 갖는 동차 공간의 모음인 HomID를 제안한다. 표준 벤치마크에서 우수한 성능을 보이는 방법들이 동일한 자원 할당 하에서 HomID에서는 체계적으로 성능이 저하됨을 관찰한다. 또한 이러한 벤치마크에 비등방성 왜곡을 가해도 성능 저하가 발생함을 관찰한다. 마지막으로, 제어된 비등방성 왜곡이 이들 방법이 의존하는 분포에 체계적인 변화를 유발함을 보이며, 이를 통해 두 가지 특정 IDE에서 나타나는 추정 오차의 구체적인 메커니즘을 제시한다. 프로젝트 코드는 https://github.com/a-writes-code/homid 에서 이용할 수 있다.

arXiv:2606.14373v2hep-ex

충돌체 물리학의 기반 모델로서의 기계학습 입자 흐름

Machine-learned particle flow as a foundation model for collider physics

입자 충돌에서 물리 분석에 이르는 작업 흐름은 전통적으로 모듈식이며 서로 분리된 일련의 재구성 단계를 거치며, 저수준 검출기 데이터를 고수준 분석 과제와 연결하는 공유 표현이 없다. 본 연구는 사건 재구성을 기계학습 문제로 설정하면 이러한 공유 표현이 자연스럽게 만들어짐을 보인다. 입자 흐름 재구성을 위해 학습된 기계학습 모델(MLPF)을 재활용하여 제트 맛깔(flavor) 식별, 제트 에너지 회귀, 결손 운동량 회귀라는 세 가지 서로 다른 분석 과제를 수행한다. 재구성 과정에서 학습된 입자별 잠재 표현을 추가 입력 특징으로 덧붙임으로써, 기존의 입자 수준 특징만 사용하는 기준 모델 대비 성능이 크게 향상된다. 나아가 잠재 표현만으로 학습된 단일 선형 계층이 최첨단 기준 아키텍처와 견줄 만한 성능을 달성하며, 결손 운동량 회귀에서는 약 35배 적은 파라미터로 기준 모델을 능가함을 보인다. 이러한 결과는 재구성 중에 학습된 잠재 표현이 하위 분석에 필요한 핵심 물리 정보를 담고 있음을 보여 주며, MLPF를 기반 모델로 자리매김하고 검출기 데이터에서 물리 분석에 이르는 종단 간 파이프라인을 향한 구체적인 진전을 제시한다.