PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10807v1cs.LG

정규화되지 않은 분포를 위한 기호 밀도 추정기

Symbolic Density Estimators for Unnormalized Distributions

관측된 표본으로부터 확률 밀도 함수(PDF)의 기호적(symbolic) 또는 해석적(analytical) 형태를 추정하는 것은 통계 및 계산 모델링의 근본적인 과제입니다. 이 과정은 기저 현상을 특징짓는 해석 가능하고 일반화 가능한 관계를 도출하는 데 매우 중요합니다. 전통적으로 이러한 추정은 도메인 전문성과 분야별 사전 지식에 크게 의존해 왔으며, 전문가들은 경험적 증거와 이론적 이해를 바탕으로 적절한 함수 형태나 매개변수 집합(parametric families)을 선택합니다. 그 후 이러한 형태의 계수는 일반적으로 매개변수 추정을 통해 결정됩니다. 본 논문에서는 상호작용의 범위 및 미리 정의된 기본 함수 집합과 같은 도메인 특화 사전 지식을 활용하여, 관측된 표본으로부터 정규화되지 않은 분포의 기호 표현식을 추정하는 프레임워크를 개발합니다. 본 연구는 딥 생성 모델(deep generative models)을 기호 회귀(SR)와 통합하고, 대규모 분포 인수분해와 같은 귀납적 편향(inductive bias)을 결합하여 문제를 다루기 쉬운 수준으로 유지합니다. 본 논문에서 살펴보는 딥 생성 모델에는 가능도 기반 모델(즉, 흐름 모델)과 점수 기반 모델이 포함됩니다. 실험을 통해 제안된 프레임워크가 다변량 토이 분포뿐만 아니라 계산 물리학의 격자계(즉, XY 모델 및 $φ^4$ 이론)에 대한 밀도 함수를 추정하는 데 효과적임을 보여줍니다. $φ^4$ 이론의 재규격화 문제에 적용했을 때, 제안된 프레임워크는 표본으로부터 직접 서로 다른 스케일에서의 해밀토니안 함수에 대한 간결한 기호 근사를 추정하여, 비섭동적(nonperturbative) 환경에서 전통적인 섭동론적 또는 해석적 접근법으로는 도출하기 어려울 수 있는 표현식을 산출합니다.

arXiv:2607.11950v2cs.LG

RG-Flow 트랜스포머: 희소 EEG에서 스케일-자유 동역학 인코딩

The RG-Flow Transformer: Encoding Scale-Free Dynamics in Scarce EEG

뇌 장전위는 스케일-자유(scale-free)적이다. 그 전력 스펙트럼은 $1/f^β$ 법칙을 따르며, 비주기성 지수 $β$는 피질 상태를 추적하고, 특히 수면 깊이는 $β$의 변화로 나타난다. 우리는 명시적 재정규화군(RG) 귀납 바이어스(bias)를 갖춘 트랜스포머—일반적인 셀프 어텐션(self-attention)을 학습 가능한 이상 차원 $γ$, 블록-스핀(block-spin) 조잡화(coarse-graining), 엔트로피 게이트(entropy-gated) 동기화 브릿지를 갖는 스케일 인식 스트림과 결합한 RG-Flow 트랜스포머—가 실제의 희소한 EEG에서 매개변수를 맞춘 바닐라(vanilla) 트랜스포머보다 우위가 있는지 묻는다. 엄격한 피험자별 누출 없는 홀드아웃(hold-out)을 적용한 PhysioNet Sleep-EDF 코퍼스를 사용하여, 우리는 (i) 5-class AASM 수면 분류(sleep staging)에서 RG-Flow를 매개변수를 맞춘 바닐라 트랜스포머 및 계층만(hierarchy-only) 절제(ablation) 모델과 벤치마크하고, (ii) 데이터가 희소할 때 예측되는 귀납 바이어스 교차(crossover)를 찾기 위해 피험자당 데이터 예산을 스윕(sweep)하며, (iii) RG-Flow가 학습한 $γ$가 표본 외(out-of-sample)에서 측정된 스펙트럼 지수 $β$를 추적하는지—바닐라 모델에는 존재하지 않는 양—를 검증한다. 피험자 하나 제외 교차검증(leave-one-subject-out cross-validation) 하에서 5명의 피험자와 5개의 시드(seed)에 걸쳐, RG-Flow와 바닐라 트랜스포머는 5-class 분류에서 통계적으로 구별되지 않는다(정확도 77.3\% vs 77.0\%; paired $p=0.294$). 예측된 희소 데이터 교차는 나타나지 않으며, 데이터가 제한된 모든 예산에서 바닐라가 수치적으로 앞선다. 두 모델을 구분하는 것은 해석 가능성(interpretability)이다. RG-Flow는 표본 외에서 연속적인 스펙트럼 지수를 복원한다($β$-recovery $R^2 = 0.416$). 이는 바닐라 아키텍처에는 대응하는 기능이 없다.

arXiv:2606.18326v1cs.LG

클래스 불균형이 있는 결함 진단을 위한 재규격화 군 신경망 구현

Neural Network Implementation of the Renormalization Group for Fault Diagnosis with Class Imbalance

머신러닝 모델(model)을 실제 과제에 적용할 때 클래스 불균형 및 다차원 노이즈와 같은 문제에 직면하게 됩니다. 본 논문은 특징(feature) 공간의 계층적 코스 그레이닝(coarse-graining)을 위해 재규격화 군(RG) 개념에 기반한 신경망(neural network) 아키텍처인 RGNet을 제안합니다. 해당 모델은 입력 차원을 순차적으로 압축하고 분류(classification) 전에 모든 스케일을 연결하여, 국소적 세부 사항과 전역적 패턴을 모두 포착할 수 있습니다. RG-flows의 개념이 도입되었는데, 이는 해석 가능한 저차원 표현으로서 t-SNE를 통한 시각화 시 코스 그레이닝의 효과를 확인시켜 주는 이산적인 곡선 구조를 드러냅니다. 불균형 AI4I 데이터셋(dataset)에 대한 실험 결과를 제시합니다. 도출된 결과는 RGNet이 불균형 클래스가 존재하는 응용 분야의 결함 예측을 위한 범용적이고 해석 가능하며 경쟁력 있는 솔루션임을 입증합니다.