PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14940v2cs.LG

간섭과 잠재 교란 하에서 순차 설정에 대한 인과 추론

Causal Inference for Sequential Settings under Interference and Latent Confounding

본 연구는 순차적·관측적 설정에서 결과 간섭(outcome interference) 하의 인과 추론을 다룬다. 구체적으로, N개 단위에 대한 이진 결과가 T개 시간 단계에 걸쳐 Markovian인 설정을 고려한다. 각 시간 단계에서 N개 단위의 결과는 Ising 모델을 통해 포착되는 의존성을 갖으며, 각 결과는 또한 해당 처치(treatment)의 효과와 잠재 교란 요인(latent confounders)의 영향을 반영하는 외부장(external field)의 영향을 받는다. 패널 데이터(panel data) 문헌과 유사하게, 이러한 잠재 교란 요인은 저계수(low-rank) 요인 구조를 갖도록 모델링된다. 우리의 데이터는 이러한 고차원 분포로부터의 단일 샘플이다. 관심 있는 인과량을 추정하기 위해, 모델 매개변수를 학습하기 위한 최대 유사-가능도 추정(Maximum Pseudo-Likelihood Estimation, MPLE)에 기반한 계산 효율적인 방법을 제시한다. 완화된 가정 하에서, 매개변수 추정에 대한 비점근(non-asymptotic) 일관성을 확립하고, 이것이 학습된 모델로부터 샘플링한 후 관심 있는 인과량의 충실한 추정으로 이어짐을 보인다. 합성 실험과 함께, 미국 전역 카운티(county) 내 백신 접종률이 COVID-19 사망률에 미치는 인과 효과를 조사하는 실세계 사례 연구를 통해 방법의 효과를 입증한다.

arXiv:2607.23634v2cs.LG

변분 이징 어텐션: 과학 분야에서는 맞춤형 어텐션이 중요하다

Variational-Ising-Attention:Tailored Attention Matters for Science

어텐션(attention)은 소프트맥스(softmax) 정규화를 통한 쿼리-키 점수 계산으로 문맥 모델링을 가능하게 합니다. 산업계의 긴 문맥(long-context) 수요에 따라 주류 연구는 희소성(sparsity)과 효율성 방향으로 수렴해 왔으나, 소프트맥스의 독립성 가정은 여전히 지속되고 있습니다. 그러나 긴 토큰(token) 제약의 부담이 적은 과학적 과제에서는 더 풍부한 구조화된 결합(coupling)이 필수적인 경우가 많으며, 이에 따라 맞춤형 어텐션이 실행 가능하면서도 더 적합할 수 있습니다. 이를 위해 본 연구에서는 상호작용하는 이징 모델(Ising model)로 소프트맥스 정규화를 보강한 변분 이징 어텐션(Variational-Ising-Attention, VIA)을 제안합니다. VIA에서는 변분 평균장 추론(variational mean-field inference)을 통해 학습 가능한 쌍별 결합(pairwise coupling)으로부터 어텐션 패턴이 창발되며, 어텐션을 개별 항목에 대한 순위 매김에서 상호작용하는 엔티티들 간의 집합적 상태(collective state)로 확장합니다. 저자들은 협동적 제약(역합성의 경우 협동적 결합 절단, 단백질 접촉 예측의 경우 잔기 간 상호작용)이 지배하는 두 가지 구조화된 예측 과제인 역합성 반응 중심 예측과 통제된 내부 절제 연구(ablation)로서의 단백질 잔기 접촉 예측에 VIA를 구현하여 적용했습니다. 모델 변형 전반에 걸친 포괄적인 실험과 기전적 분석을 통해 VIA가 표준 소프트맥스 어텐션을 크게 능가함을 입증했습니다. 더 나아가 본 연구 결과는 과학 문제의 경우 최적의 해법이 범용적 효율성이 아니라 고유한 도메인 구조에 부합하는 적절히 맞춤화된 어텐션임을 시사합니다. 본 연구는 이러한 패러다임에 대한 이론적으로 근거 있고 경험적으로 검증된 구현을 제공합니다.

arXiv:2510.13210v2cs.LG

볼츠만 머신 학습에서 이징 및 QUBO 변수 인코딩의 성능 평가

Performance Evaluation of Ising and QUBO Variable Encodings in Boltzmann Machine Learning

본 연구에서는 각 비교 내에서 샘플러, 옵티마이저(optimizer), 학습률 설계를 고정한 통제된 프로토콜 하에 볼츠만 머신 학습(Boltzmann machine learning)을 위한 이징(Ising, {-1, +1}) 및 QUBO({0, 1}) 인코딩을 비교합니다. 피셔 정보 행렬(Fisher Information Matrix, FIM)이 충분통계량의 공분산과 같다는 항등식을 활용하여, 모델 샘플로부터 도출된 경험적 모멘트를 시각화하고 표현에 따른 체계적인 차이를 밝혀냅니다. QUBO는 1차 및 2차 통계량 간에 더 큰 교차항(cross term)을 유발하여 FIM에서 더 많은 작은 고윳값 방향을 생성하고 스펙트럼 엔트로피를 낮춥니다. 이러한 불량 조건(ill-conditioning)은 확률적 경사하강법(SGD) 환경에서 수렴이 더 느려지는 원인을 설명합니다. 대조적으로, FIM 메트릭으로 업데이트 크기를 재조정하는 전체 FIM 자연 경사하강법(NGD)은 인코딩 전반에 걸쳐 유사한 수렴을 달성하는 반면, 대각 FIM 근사는 표현에 따른 차이를 다시 야기할 수 있습니다. 실질적으로 SGD 기반 학습의 경우 이징 인코딩이 더 등방성(isotropic)에 가까운 곡률과 더 빠른 수렴을 제공하며, QUBO의 경우 중심화/스케일링 또는 NGD 스타일의 사전조건화(preconditioning)가 곡률의 병리적 특성을 완화합니다. 이러한 결과는 표현 방식이 볼츠만 머신의 정보 기하학 및 유한 시간 학습 역학을 어떻게 형성하는지 명확히 보여주며, 변수 인코딩 및 전처리를 위한 실질적인 가이드라인을 제공합니다.

arXiv:2609.27306v1cs.LG

진화 변분 오토회귀 네트워크를 통한 이산 확산 모델

Discrete Diffusion Models via Evolving Variational Autoregressive Networks

기존 score 기반 확산 모델은 정규화된 밀도를 표현하지 않은 채 score만 학습하는 반면, 다루기 쉬운(tracable) 정규화 모델은 샘플링과 직접적인 가능도 평가를 모두 지원한다. 최근 텐서 네트워크 접근법은 이러한 표현을 제공하지만, 대체로 저차원 격자에 제한된다. 본 연구에서는 변분 오토회귀 네트워크로 정규화된 확률 분포를 매개변수화하는 이산 확산 모델을 제안한다. 명시적인 Markov jump 연산자가 순방향 노이징과 역방향 디노이징 역학을 지배하며, 정규화된 분포를 갖는 이산 확산 모델을 고차원 격자上的 스핀 시스템으로 확장한다. 이 프레임워크를 질서, 임계, 무질서 영역에 걸친 2차원·3차원 Ising 모델에 적용하여 자유 에너지, 에너지, 자화를 포함한 열역학량을 정확히 계산한다. 또한 Monte Carlo 샘플링과 통합하고, 적응형 확산 단계로 낮은 온도에서도 높은 수락률을 유지하면서 샘플 다양성을 높인다. 이 결과는 정규화된 확률 분포를 갖는 이산 확산 모델을 위한 신경망 프레임워크를 확립한다.

arXiv:2607.10285v1cs.LG

오토인코더의 학습 동역학 해석: 이징 모델의 일시적 스케일링과 창발적 개념

Interpreting learning dynamics of autoencoders: Transient scaling and emerging concepts of the Ising model

우리는 이징(Ising) 모델의 미시적 스핀 구성으로 학습된 비지도 오토인코더가 데이터 생성 과정의 기저에 있는 거시적이고 이론적으로 유의미한 변수를 어떻게 학습하는지 연구한다. 도메인 지식을 임베딩하지 않고 전형적인 발견 환경을 모사하여, 다양한 공간적(거칠기) 스케일에 걸쳐 학습을 정량화하고, 주요 하이퍼파라미터(모델 깊이, 너비, 학습률)에 의해 제어되는 두 가지 뚜렷한 동역학적 체제를 밝힌다. 이는 자화(magnetization) 지배 체제와 표현 품질의 트레이드오프를 특징으로 하는 에너지 지배 체제이다. 첫 번째 체제는 동역학적 스케일링과 순서-스케일을 따르는 요동을 나타내는 일시적 상태이며, 두 번째 체제는 에너지 표현에 관련된 더 작은 스케일 방향으로 해상도를 점진적으로 이동시킨다. 중간 및 빠른 학습률로 학습된 깊은 모델은 이 체제에 도달하기 전에 고착된다. 재귀적-동적 궤적에 대한 새로운 분석을 통해, 예측 오류가 모든 표현 공간에 걸쳐 공통된 궤적 위상을 생성하는 흐름 장을 유도함을 보인다. 학습의 동역학적 관점이 확립되며, 여기서 내재적 특성은 학습 중 강제된 표현 변화의 영향을 드러낸다. 학습이 학습 데이터와 옵티마이저의 요동에 의해 평형에서 멀리 구동되는 과정으로 작동한다는 직관을 활용하여, 물리적 세계와 이를 표현하는 기계 모델 모두에 근거한 해석적 기반을 제공한다.

arXiv:2410.13800v4stat.ML

이산 분포는 준안정 샘플로부터 학습 가능하다

Discrete distributions are learnable from metastable samples

마코프 체인 샘플러가 준안정 상태(metastable states)에 갇혀 진정한 정상 분포와 크게 다른 샘플만 생성하는 상황에서도, 강한 준안정 조건을 만족하는 분포의 단일 변수 조건부 확률이 정상 분포의 것과 평균적으로 매우 근접함을 엄밀히 증명한다. 이를 기반으로 조건부 가능도 추정량(pseudo-likelihood)을 활용하면 준안정 샘플만으로도 진정한 에너지 함수를 효과적으로 학습할 수 있음을 이징 모델(Ising models) 및 스핀 유리 모델(spin glass models)에서 이론적·수치적으로 확인한다.

arXiv:2607.03039v1cs.LG

동적 이징 모델에서의 분포 외 신경망 추론

Out-of-distribution Neural Inference in Dynamical Ising Models

신경망은 동역학적 관측으로부터 숨겨진 물리적 구조를 추론하는 데 점점 더 많이 활용되고 있으나, 분포 외(out-of-distribution) 성능이 전이 가능한 물리 법칙 학습을 반영하는지는 아직 불분명하다. 우리는 이 문제를 통제된 역문제(inverse problem), 즉 글라우버 자화 궤적(Glauber magnetization trajectories)으로부터 동역학적 이징 모델의 상호작용 그래프를 재구성하는 문제에서 다룬다. 합성곱(convolutional), 그래프(graph), 트랜스포머(Transformer), 하이브리드(hybrid) 아키텍처 전반에 걸쳐, 데이터 기반 학습이 위상(topology) 및 온도 변화 하에서 서로 다르고 재현 가능한 통계적 전략을 생성함을 발견하였다. 엣지 집단(edge-population) 진단을 통해, 트랜스포머 기반 모델은 학습 앙상블의 링크 밀도를 보존하는 경향이 있는 반면, 합성곱 모델은 다수 클래스인 링크 없음(no-link) 클래스를 활용하여 희소하거나 링크가 없는 예측으로 붕괴되어 분포 외에서도 안정적으로 보일 수 있음이 드러났다. 따라서 높은 분포 내 정확도와 겉보기의 분포 외 강건성이 반드시 동역학-구조 규칙의 학습을 의미하지는 않는다. 오히려 신경망 재구성은 아키텍처에 의존하는 통계적 사전(statistical prior)에 의해 지배될 수 있다. 본 연구의 결과는 물리적 역문제에서 표준 데이터 기반 학습의 구체적인 실패 양상을 규명하고, 머신러닝 보조 과학적 발견을 위한 규칙 기반 원칙의 필요성을 제기한다.

arXiv:2606.19533v1cs.AR

이징 모델 기반 적응형 확률적 프로세서 합성을 위한 도구

A Tool for the Synthesis of Adaptive Probabilistic Processors Based on the Ising Model

이 연구는 조합 최적화 문제를 이징 모델로 매핑하여 해결하는 확률적 아키텍처의 합성 및 시뮬레이션을 위한 도구를 제시합니다. 제안된 접근 방식은 크기와 토폴로지와 같은 문제 특성을 기반으로 이징 해밀토니안을 자동으로 구성하고 확률적 요소(p-bits)의 수를 결정합니다. 또한, 이 도구는 기브스 샘플링(Gibbs Sampling), 모의 담금질(Simulated Annealing, SA), 모의 양자 담금질(Simulated Quantum Annealing, SQA), 클러스터 기반 방법 중에서 가장 적합한 업데이트 알고리즘을 선택하기 위한 적응형 전략을 도입합니다. 벤치마크 문제를 사용한 실험 결과는 고정된 접근 방식과 비교하여 개선된 수렴 동작과 유연성을 보여줍니다. 제안된 프레임워크는 확률적 컴퓨팅 전략의 체계적인 평가를 가능하게 하며, MTJs와 p-bits를 기반으로 한 미래의 하드웨어 구현 개발을 지원합니다.

arXiv:2606.17327v1q-bio.BM

열역학적 하드웨어에서의 에너지 효율적인 코돈 최적화

Energy-efficient codon optimization on thermodynamic hardware

연산을 위한 증가하는 에너지 수요는 점점 더 지속 불가능해지고 있습니다. 열역학적 컴퓨팅(thermodynamic computing)은 물리적 열적 변동을 억제하는 대신 연산 자원으로 활용하여, 확률적 및 조합적 작업에 대해 자릿수(order-of-magnitude) 수준의 에너지 절감 효과를 제공합니다. 연산 최적화와 샘플링에 크게 의존하는 제약 연구개발(R&D)은 자연스러운 응용 분야입니다. 본 연구에서는, 우리가 아는 한, 프로토타입 측정에 기반한 에너지 추정치와 함께 열역학적 하드웨어에 매핑된 최초의 구체적인 제약 응용을 제시합니다. 우리는 약물 개발에서 일상적으로 해결되는 조합 문제인 mRNA 코돈 최적화를 이징 모델(Ising model)로부터의 샘플링으로 축소하여, 열역학적 샘플링 유닛(TSU)에서 직접 실행 가능하게 만들었습니다. SARS-CoV-2 스파이크 단백질에 대해 세 가지 접근 방식(Potts 샘플링, 이징 샘플링, 유전자 알고리즘 기준선)을 벤치마킹한 결과, 모두 비슷한 최적화 품질(점수 ~234-240)을 달성했지만, 검증된 하드웨어 모델에 기반한 에너지 추정치에 따르면 TSU가 기존 GPU보다 약 10e6배 더 적은 에너지를 사용하여 이 문제를 해결할 수 있는 것으로 나타났습니다. 모든 코드는 오픈 소스 라이선스 하에 공개되었습니다.

arXiv:2606.12478v1cs.LG

볼츠만 어텐션: 협력적 어텐션을 위한 학습 가능한 이징 결합

Boltzmann Attention: Learnable Ising Couplings for Cooperative Attention

기존 어텐션(attention)의 위치 간 상호작용 부재를 해결하기 위해 학습 가능한 쌍대 결합(pairwise couplings)을 갖는 이징 모델(Ising model) 기반의 볼츠만 어텐션(Boltzmann attention)을 제안한다. 문자 수준 언어 모델링 및 합성 괄호 일치 작업에서 표준 소프트맥스 어텐션을 상회하는 성능을 입증하였으며, 시퀀스 길이가 길어질수록 효과가 증대됨을 확인했다.