생성형 분자 설계는 일반적으로 과잉 생성(over-generation)과 사후 필터링에 의존합니다. 파인만-카츠(Feynman-Kac, FK) 스티어링과 같은 추론 시점(inference-time) 스티어링 기법은 궤적을 높은 보상(reward)의 후보군으로 유도하여 효율성을 개선하지만, 단일 고정 구성 내에서만 최적화를 수행합니다. 데 노보(de novo) 나노바디 설계에서는 스캐폴드(scaffold) 종류나 표적 에피토프(epitope)와 같은 조건 설정을 사전에 확정하는 것이 병목을 유발합니다. 이러한 조건에 따라 수율이 달라지기 때문에, 유망하지 않은 설정을 스티어링하는 것은 계산 자원을 낭비하게 됩니다. 본 연구에서는 생성 조건 선택을 추론 시점 자원 할당 문제로 재구성합니다. 이에 따라 두 가지 동적 예산 할당기를 제안합니다. 구성 전반에 걸쳐 스티어링과 연산 할당을 동시에 수행하는 통합 글로벌 순차 몬테카를로(Global SMC) 정식화와, 배치 연속 제거(BaSE)를 적용한 분리형 접근법입니다. 실증적으로 이러한 동적 할당기는 서로 다른 치료 표적 및 생성 구성에 걸쳐 다양성을 희생하지 않으면서도 GPU 시간당 설계 가능한 후보군의 수율을 약 5배 향상시킵니다.
언어화된 머신러닝(VML)은 LLM이 f(x; θ)로 평가하는 자연어 프롬프트로 모델을 매개변수화한다. 이 프레임워크는 해석 가능하지만, 불확실성에 대한 측도 없이 단일 가설에 고정되며, 동일한 데이터에 대한 최적화 실행마다 그 가설이 크게 달라진다. 우리는 언어화된 학습을 베이지안 추론 문제로 다루는 Verbalized Particle Posterior(VPP)를 제안한다. 자연어 가설의 집단을 입자로 유지하고, Metropolis-Hastings(VPP-MH) 또는 Sequential Monte Carlo(VPP-SMC)로 갱신하며, 베이지안 모델 평균화로 예측한다. 두 알고리즘 모두 LLM을 블랙박스로 취급하며, logits나 gradient에 접근할 필요가 없다. 독특한 결과가 뒤따른다. 고전적 베이지안 학습에서는 모델 선택이 사후분포 밖에 있지만, VPP에서는 모델 구조와 매개변수가 단일 언어 공간을 공유하며, 사후분포가 둘 다에 걸쳐 분포한다. 우리는 회귀, 분류, 규칙 발견 벤치마크에서 VPP를 평가한다. 모든 벤치마크에서 단일 VML 실행보다 개선되며, 대부분에서 독립적 VML 실행들의 오라클 최적 앙상블과 동등하거나 그를 초과하고, VML이 가끔 발생시키는 치명적인 단일 실행 실패를 제거한다. 각 입자가 사람이 읽을 수 있는 가설이므로, 사후분포 자체가 독자가 검사할 수 있는 대상이 되어, 데이터가 어떤 설명을 지지하고 어떤 것을 배제했는지 평문으로 확인할 수 있다.
학습 시스템은 경험 전반에 걸친 일반화와 과업 관련 세부 사항의 구별 사이의 균형을 맞춰야 한다. 따라서 효과적인 학습은 두 가지를 모두 지원하는 표현을 필요로 한다. 온라인 잠재 원인(latent-cause) 모델은 점진적 추론을 지원하지만 평평한(flat) 분할을 가정하는 반면, 계층적 베이즈 모델은 다수준 구조를 포착하지만 일반적으로 오프라인 추론을 필요로 한다. 우리는 \textbf{Hierarchical Online Learning of Multiscale Experience Structure (HOLMES) model}을 소개한다. 이는 온라인 추론을 통한 계층적 잠재 구조 학습을 위한 계산 프레임워크이다. HOLMES는 중첩 중국식 식당 과정(nested Chinese Restaurant Process) 사전분포의 변형과 순차 몬테카를로(sequential Monte Carlo) 추론을 결합하여, 잠재 구조에 대한 명시적 감독 없이 계층적 잠재 표현에 대해 처리 가능한 시행별(trial-by-trial) 추론을 수행한다. 시뮬레이션에서 HOLMES는 더 상위 수준의 잠재 범주로의 원샷(one-shot) 역방향 전이(backward transfer)를 지원하는 더 간결한 표현을 학습하면서 평평한 모델의 예측 성능과 동등한 수준을 달성했다. 순방향 전이(forward transfer) 과업에서 HOLMES는 다양한 학습 인스턴스에서 학습된 추상적인 형태(shape) 수준 표현을 활용하여, 이전에 한 번도 보지 못한 특징 조합을 가진 자극에 대해 우연 수준 이상의 결과 예측을 추가로 달성했다. 이러한 결과는 순차 데이터에서 계층적 구조를 발견하기 위한 처리 가능한 계산 프레임워크를 제공한다.
사전학습된 생성 모델의 사후적 조건화(post-hoc conditioning)에 쓰이는 순차적 몬테카를로(SMC) 샘플러에서 변이 커널이 이상적인 Feynman–Kac 흐름의 바이어스된 근사일 때, 전체 오차를 커널 바이어스와 유한 파티클 몬테카를로 오차로 분해하는 비점근적 오차 분석 프레임워크를 제시한다. 이를 스코어 기반 확산 모델(score-based diffusion model)의 조건부 샘플링에 적용하여, 초기화 오차·시간 이산화·스코어 근사·파티클 근사를 동시에 제어하는 최초의 비점근적 오차 한계를 도출한다.
생성 모델의 훈련 없는 보상 정렬(reward alignment)에서 사전에 알 수 없는 선호도를 순차적 피드백으로만 파악해야 하는 광역 탐색 문제를 해결하기 위해, 본 연구는 플로우 맵(flow map) 기반의 집단 사후 샘플 공유 메커니즘과 인력·척력 이중 탐색 동역학을 결합한 IMPFM(Sequentially-Controlled Interactive Multi-Particle Flow-Maps) 프레임워크를 제안한다. IMPFM은 다중 파티클 상호작용 기반의 Feynman-Kac 보정기를 통해 가중치 퇴화(weight degeneracy)와 모드 붕괴(mode collapse)를 억제하면서 KL-tilted 목표 분포로 파티클 시스템을 유도함을 이론적으로 증명하고, 다양한 탐색 및 정렬 태스크에서 기존 베이스라인 대비 우수한 성능을 실증적으로 확인하였다.
계산하기 어려운 기울기(intractable gradients)를 가진 함수의 최적화를 위해 비용이 많이 드는 내부 샘플링 대신 효율적인 순차적 몬테카를로(Sequential Monte Carlo, SMC) 근사를 제안합니다. 해당 방법론의 수렴성을 입증하고 에너지 기반 모델(energy-based models)의 보상 튜닝(reward-tuning)에서 효과를 확인했습니다.
구조화된 시퀀스 생성에서 입력 파생 제약 조건을 충족하는 희귀 사건 순차 추론 문제를 해결하기 위해 LatticeBridge가 제안되었다. 이 방법은 접두사 언어 모델과 트위스트된 순차 몬테카를로(SMC) 디코더를 결합하여 기존 기준선 대비 정확한 앵커 만족도와 커버리지를 향상시킨다.