단백질 역학 에뮬레이션 가속화를 위한 생성 공간 내 암시적 바이어스 학습
Learning Implicit Bias in Generative Spaces for Accelerating Protein Dynamics Emulation
한국어 초록
단백질 역학의 생성형 에뮬레이터(generative emulator)는 분자 역학(molecular dynamics) 비용의 일부만으로도 그럴듯한 궤적을 생성하지만, 학습(training) 분포를 그대로 물려받아 장기 외삽(long-horizon extrapolation) 시 희귀한 상태에 도달하기보다는 이미 알려진 상태를 다시 방문하는 경향이 있습니다. 고전적인 향상된 샘플링(enhanced sampling) 기법에서 영감을 받아, 본 논문에서는 사전학습된 에뮬레이터의 생성 공간에서 이력에 의존하는 암시적 바이어스(implicit, history-dependent bias)를 도입합니다. 구체적으로, 이력 인식 스코어 추정기(history-aware score estimator)는 동결된 에뮬레이터에 거리 가중 바이어스를 추가하여 역시간 샘플링이 이전에 생성된 구조에서 벗어나도록 유도하며, 이는 환경-지지(environment-support) 항으로 정규화됩니다. 장기적 관점에서 구조적 타당성을 유지하기 위해 스코어 기반 정제(refinement) 단계를 통해 표류된 샘플을 동결된 에뮬레이터를 사용하여 데이터 매니폴드로 다시 투영합니다. 실험 결과, 제안하는 방법은 (i) DynamicPDB-80에서 다양성을 $35\%$ 높이고, (ii) $12$개의 제로샷 Fast-Folding 단백질에서 학습된 바이어스만으로도 편향되지 않은(unbiased) 에뮬레이터의 커버리지에 최대 ${\sim}15\times$ 빠르게 도달하며, 이를 정제 단계와 결합할 경우 커버리지에 최대 ${\sim}37\times$ 빠르게 도달하는 동시에 저에너지 상태를 ${\sim}3\times$ 더 많이 포괄함을 보였습니다. 코드는 곧 공개될 예정입니다.
원문 초록
Generative emulators of protein dynamics produce plausible trajectories at a fraction of the cost of molecular dynamics, but they inherit their training distribution and tend to revisit known states rather than reach rare ones under long-horizon extrapolation. Inspired by classical enhanced sampling, we introduce an implicit, history-dependent bias in the generative space of a pretrained emulator. Specifically, a history-aware score estimator augments the frozen emulator with a distance-weighted bias that steers reverse-time sampling away from previously generated structures, regularized by an environment-support term. To preserve structural validity at long horizons, a score-based refinement step re-projects drifted samples onto the data manifold using the frozen emulator. Our experiments demonstrate that the method (i) raises diversity by $35\%$ on DynamicPDB-80; (ii) on $12$ zero-shot Fast-Folding proteins, the learned bias alone reaches the unbiased emulator's coverage up to ${\sim}15\times$ faster, and pairing it with refinement reaches the coverage up to ${\sim}37\times$ faster while covering ${\sim}3\times$ as many low-energy states. Code will be released soon.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Sticky Jump Diffusions: A Unifying View of Masked, Continuous, and Hybrid Diffusion
목표 수가 변하는 동적 다목적 최적화를 위한 비유계 아카이브 기반 전이 전략
An Unbounded Archive-based Transfer Strategy for Dynamic Multi-Objective Optimization with a Changing Number of Objectives
목표 수가 가변적인 동적 다목적 최적화는 목표 차원의 변화가 파레토 전선을 크게 바꿀 수 있고 알고리즘의 적응성을 저하시킬 수 있어 어렵다. 본 논문은 각 환경 단계에서 자손 해의 비유계 아카이브를 유지하고, 목표 변화가 발생할 때 실행 가능한 비支配 해를 전이 가능한 정예(elite)로 추출하는 비유계 아카이브 기반 전이 전략(UATS)을 제안한다. UATS를 SPEA2SDE에 내장해 UATS-SPEA2SDE를 구성함으로써, 알고리즘이 shift-based density estimation(SDE)의 수렴과 다양성 이점을 유지하면서 과거 진화 정보를 재사용할 수 있게 한다. 세 가지 목표 변화 설정 하에서 네 개의 벤치마크 문제에 대해 실험을 수행하였으며, UATS-SPEA2SDE를 재시작 기반 SPEA2SDE 기준선 및 네 가지 대표 동적 다목적 최적화 알고리즘과 비교하였다. 결과는 아카이브 안내 전이가 환경 변화 이후 회복을 개선하고 목표 수 변화에 대한 적응성을 향상시킴을 보여준다.
FMOPF: AC 최적 전력 흐름을 위한 제약 인식 상호작용 사전 기반 잠재 플로우 매칭
FMOPF: Latent Flow Matching with Constraint-Aware Interaction Priors for AC Optimal Power Flow
AC 최적 전력 흐름(OPF)은 비선형 전력 평형 제약 하에서 최소 비용 발전 배치를 결정하며, 전력 시장 운영에서 하루에 수천 번 풀린다. 부하 조건에서 OPF 해법으로의 직접 매핑을 학습하면 이 계산을 가속할 수 있지만, 재생에너지 침투가 심화되면서 단일 최적 배치만으로는 더 이상 충분하지 않다. 운영자는 위험 정량화, 민감도 분석, 다목적 트레이드오프 평가를 위해 실행 가능한 근최적 해법 분포의 특성화가 필요하다. 지도 학습 신경망은 빠른 점 예측을 제공하지만 이 조건부 분포를 포착할 수 없다. 확산 기반 생성 모델은 원칙적으로 다양한 해법을 샘플링할 수 있지만, 원시 상태 공간에서 동작하는 기존 방법은 해법 품질이 저하되고 중간 규모 시스템 이상으로 확장하지 못한다. 우리는 근본 원인을 단일 모델 내에서 두 가지 서로 다른 과제가 혼재된 것으로 확인했다. 고차원 OPF 해법 매니폴드를 압축하는 것이 한 과제이고, 부하에서 그 매니폴드로의 조건부 매핑을 학습하는 것이 또 다른 과제이다. 본 논문은 잠재 플로우 매칭(latent flow matching)을 통해 압축과 생성을 분리하고, Constraint-Aware Interaction Prior Network를 통해 부하-상태 결합을 명시적으로 모델링함으로써 이러한 혼재를 해소하는 프레임워크인 FMOPF를 제안한다. 4개 IEEE 테스트 시스템에서의 실험은 FMOPF가 가장 효과적인 Newton-Raphson 웜 스타트(warm start)를 제공하고, 생성 방법 중 최저 꼬리 위험(tail risk)을 달성하며, 완전한 실행 가능성을 유지하면서 수백 개 버스(bus) 규모 시스템까지 확장 가능한 최초의 방법임을 보여준다. Ablation 연구는 잠재 생성 파이프라인이 물리적 실행 가능성의 필요 조건이며, 상호작용 사전(prior)이 후단 꼬리 위험 제어기로 기능함을 확인한다.
올인원: 평균장 게임 설계로서의 생성 모델링
All in One: Generative Modeling as Mean-Field Game Design
평균장 게임(MFG)은 연속 시간 생성 모델링에 대한 통합적 관점을 제공한다. 하나의 변분 문제의 특수 사례로서 Continuous Normalizing Flows, OT-Flow, Score-based Models, Schrödinger Bridges 등 12개의 주요 모델을 환원하는 비용 튜플(cost tuple)을 통해 말이다. 그러나 이 공간의 두 차원은 전혀 탐색되지 않은 채 남아 있다. 상호작용 항 $\mathcal{I}$는 많은 기존 모델에서 0으로 설정되어 있고, 풍부한 MFG 솔버(solver) 계열은 생성 모델링에 적용된 적이 없다. 우리는 MFGLab이라는 오픈 소스 PyTorch 라이브러리로 두 공백을 모두 해소한다. 이 라이브러리의 주요 API는 비용 튜플이며, 12개 모델 모두 네 개의 조합 가능한 비용 함수로 지정되고, 학습 루프, log-야코비안, 역 ODE 샘플러는 자동으로 공유된다. 또한 모드 커버리지(mode coverage)를 장려하기 위해 미분 가능한 엔트로피 함수형(differentiable entropy functional)을 사용하는 새로운 비용 설계 DI-Flow를 제안하고, 확률적 역학(stochastic dynamics) 행에서 신경망 학습을 상당히 능가하는 학습 기반 MFG 솔버를 제공한다. 두 개의 2차원 벤치마크에서의 실험은 통합 API가 수작업 구현 대비 손실 없이 동등함을 확인한다.
무작위 클럭을 통한 Heavy-Tailed Flow Matching
Heavy-Tailed Flow Matching via Random Clocks
heavy-tailed(꼬리분포가 두꺼운) 데이터는 드문 사건이 불균형적으로 큰 중요도를 갖는 다양한 영역에서 나타나며, 불균형 이미지 데이터셋, 금융 수익률, 극한 기상 현상 등이 그 예이다. 표준 디퓨전(diffusion) 및 플로우 매칭(flow matching) 모델은 일반적으로 가우시안 노이즈 또는 가우시안 소스 분포에서 시작하는데, 이는 다루기 쉬운 학습 목표를 제공하지만 heavy-tailed 데이터에 대한 귀납적(inductive) 적합성은 낮다. 본 논문은 heavy-tailed 소스를 클럭 조건 가우시안 소스의 혼합으로 표현하는 프레임워크인 무작위 클럭을 통한 Heavy-Tailed Flow Matching(HTFM)을 제안한다. 주어진 클럭 경로에 조건을 걸면 소스 분포와 플로우는 가우시안이 되며, 클럭에 대해 주변화(marginalizing)하면 가우시안, $α$-stable, Student-t 계열을 포괄하는 가우시안 스케일 혼합(Gaussian scale mixture)이 된다. 클럭 조건 벡터 필드를 실용적으로 만들기 위해, 경로 값을 갖는 클럭을 truncated logsignature 특징으로 인코딩하여 속도 필드가 실현된 조건부 공간에 미미한 오버헤드로 적응할 수 있게 한다. 2D 불균형 $α$-stable 혼합, CIFAR10-LT, HRRR 기상 필드에 대한 실험에서 HTFM은 가우시안 플로우 매칭 및 경쟁력 있는 heavy-tailed 베이스라인 대비 모드 커버리지, 샘플 품질, 꼬리 통계량 복원을 개선하면서 플로우 매칭의 낮은 NFE 샘플링 이점을 유지한다. 또한 무작위 클럭 공식화는 실용적인 꼬리 제어 인터페이스를 추가로 제공한다: 클럭 법칙 또는 꼬리 매개변수만 변화시키면 동일한 아키텍처가 서로 다른 분포 계열에 걸쳐 생성된 꼬리의 ``무거움(heaviness)''을 보정할 수 있다.
입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
토론
이 논문과 연결된 포럼 글이 아직 없습니다.