arXiv:2606.26657v1 cs.LG

화학 공간에서 확장 가능한 대리 최적화를 위한 타깃 인식 밴딧 할당

Target-Aware Bandit Allocation for Scalable Surrogate Optimization in Chemical Space

Mohammad Haddadnia, Yuvan Chali, Abhilash Jayaraj, Constance Kraay, Joana Reis, Felix Strieth-Kalthoff, Haribabu Arthanari

제출 2026-06-25

한국어 초록

비용이 큰 평가 하에서 거대한 이산 공간으로부터 고유용성 후보를 식별하는 것은 구조 기반 약물 발견이 대표적인 예인, 과학 전반에 걸쳐 반복적으로 등장하는 과제이다. 대리 모델(surrogate) 기반 최적화는 비용이 큰 평가 횟수를 줄여 샘플 효율을 높일 수 있지만, 현대 분자 라이브러리는 수십억에서 수조 개의 화합물 규모에 달해 전체 라이브러리에 대한 대리 모델 추론 자체가 주요 계산 병목이 되었다. 우리는 행동 공간(action space)의 분할(partition)에 걸쳐 계산을 적응적으로 할당함으로써 전체 라이브러리 추론을 제거하는 밴딧 유도 대리 최적화 프레임워크 BOBa를 제안한다. 다중 팔 밴딧(multi-armed bandit)에서 분할을 arm으로 취급함으로써, BOBa는 원칙적인 탐험을 유지하면서 경험적으로 유망한 분할에 추론과 평가를 집중시킨다. 실제 합성 수요(synthesis-on-demand) 라이브러리에 대한 실험은, 의미 있는 행동 공간 분할과 결합된 불확실성 하 낙관주의(optimism-under-uncertainty) 밴딧이 추론과 평가의 효과적인 할당에 필수적임을 보여준다. 우리의 결과는 스크리닝 성능과 대리 모델 추론 비용 사이에 조절 가능한 트레이드오프가 있음을 밝히며, 이는 현재 라이브러리에 대한 실용적 최적화를 뒷받침하고 초대형 라이브러리 가상 스크리닝(virtual screening)으로 가는 실행 가능한 경로를 마련한다.

원문 초록

Identifying high-utility candidates from massive discrete spaces under expensive evaluations is a recurring challenge across the sciences, with structure-based drug discovery as a prominent example. While surrogate-based optimization can increase sample efficiency by reducing the number of expensive evaluations, modern molecular libraries have reached billions to trillions of compounds, making full-library surrogate inference itself a major computational bottleneck. We introduce BOBa, a bandit-guided surrogate optimization framework that eliminates full-library inference by adaptively allocating computation across partitions of the action space. By treating partitions as arms in a multi-armed bandit, BOBa concentrates inference and evaluations on empirically promising partitions while maintaining principled exploration. Experiments on real-world synthesis-on-demand libraries demonstrate that optimism-under-uncertainty bandits, combined with meaningful action space partitioning, are essential for effective allocation of inference and evaluations. Our findings reveal a tunable tradeoff between screening performance and surrogate inference cost, which supports practical optimization over current libraries, and establishes a viable route to ultra-large library virtual screening.

요약

수십억~수조 규모 분자 라이브러리에서 전체 대리 모델(surrogate) 추론 병목을 줄이기 위해 BOBa를 제안하며, 행동 공간 분할을 다중 팔 밴디(multi-armed bandit) arm으로 취급해 유망한 분할에 추론과 평가를 적응적으로 집중한다. 실제 합성 수요(synthesis-on-demand) 라이브러리 실험에서 불확실성 하 낙관주의(optimism-under-uncertainty) 밴딧과 의미 있는 화학 공간 분할이 핵심이며, 스크리닝 성능과 추론 비용 사이 조절 가능한 트레이드오프를 통해 초대형 가상 스크리닝(virtual screening) 확장 경로를 보여준다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.26657v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09737v2physics.chem-ph공통 태그 Drug Discovery, Combinatorial Optimization

Q-Score: 분자 도킹을 위한 양자 네이티브 스코어링 함수

Q-Score: A Quantum-Native Scoring Function for Molecular Docking

분자 도킹은 소분자가 단백질에 결합하는 방식을 예측하며, 신약 개발의 핵심 병목 단계이다. 고전적인 스코어링 함수는 경험적 쌍별 접촉을 합산하는 방식으로, 결합 특이성을 결정하는 궤도 전하 이동과 같은 양자역학적 효과를 반영하지 못한다. 본 연구에서는 Q-Score를 제안한다. Q-Score는 GNN으로 예측된 궤도 전자 공여-수용 에너지를 가중 그래프로 인코딩하고, Digitized-Counterdiabatic QAOA를 통해 최대 가중치 정점 클리크 문제를 풀어 결합을 스코어링한다. 각 상호작용 앵커는 하나의 큐비트에 대응되며, 호환성 제약 조건은 에지로 표현된다. 11개의 단백질 타겟에 대해 DC-QAOA는 10큐비트에서 8개의 타겟에서 정확한 최적해를 복원한다. AI 생성 분자 1,000개에 대해 Q-Score는 Spearman rho 0.05로 고전적 스코어링과 직교하며, rho 0.90으로 궤도 품질에 의해 주도되고, 분자량 바이어스가 없으며, 무작위 대비 두 배의 비율로 강한 궤도 상호작용을 농축시킨다. DC-QAOA는 52%의 정확률과 함께 평균 근사 비율 0.94를 달성한다. IBM Eagle에서 1,000개의 회로 실행을 통해 NISQ 하드웨어상 6큐비트 문제의 해결 가능성이 확인되었다.

arXiv:2607.02834v2cs.LG공통 태그 Drug Discovery, Combinatorial Optimization

분자 최적화를 위한 이산 확산 온라인 적응의 설계 공간에 관한 연구

On the Design Space of Discrete Diffusion Online Adaptation for Molecular Optimization

분자 최적화는 유효한 분자 구조에 대한 광범위한 사전 분포를 포착하는 사전학습된 생성 모델에서 출발하는 경우가 많다. 그러나 테스트 시점의 목표는 이 사전 분포에서 샘플링하는 것이 아니라, 제한된 오라클 예산을 활용하여 생성 방향을 과제별 고보상 분자로 전환하는 것이다. 우리는 이산 확산 모델에 대한 이 적응 문제를 연구한다. 각 온라인 라운드는 여러 선택을 결합한다. 루프는 어떤 후보를 평가할지, 보상이 어떻게 모델 업데이트로 이어질지, 어떤 피드백을 재사용할지, 그리고 사전학습된 사전 분포에서 얼마나 멀리 이동할지를 결정해야 한다. 이러한 선택들은 대부분 개별적으로 연구되어 왔으며, 전체 온라인 적응 루프 내에서 이들이 서로 보완되는지, 중복되는지, 또는 간섭하는지는 아직 밝혀지지 않았다. 우리는 여섯 가지 소분자 결합 친화도 과제와 세 가지 단백질 적합도 과제에 걸쳐 통제된 연구를 수행한다. 획득(acquisition), 보상 형성(reward shaping), 모델 디바이어싱(model debiasing)이 특히 소분자에서 더 높은 보상으로 이어지는 상호 보완적인 경로를 제공함을 발견하였다. 리플레이(replay)는 학습을 추가로 안정화시키며, 유효성 페널티는 소분자 탐험을 유효한 분자 다양체 위에 유지한다. 이러한 발견들은 피드백 효율적인 분자 최적화를 위한 실용적인 레시피를 제시한다: 획득, 보상 형성, 디바이어싱, 리플레이, 유효성 제어를 포함한 온라인 미세조정이다. 이 레시피는 동일한 오라클 호출 예산 및 GPU 시간 기준 하에서 오프라인 미세조정 및 추론 시점 탐색 기준선을 능가한다. 성능 향상은 고보상 후보가 사전학습된 사전 분포로부터 더 큰 이동을 필요로 할 때 가장 크게 나타난다.

arXiv:2610.13912v1cs.CL공통 태그 Bayesian Optimization, Drug Discovery

RSI-Anything: 월드 모델(World Model)을 통한 재귀적 자기개선의 실현

RSI-Anything: Unlocking Recursive Self-Improvement with World Models

재귀적 자기개선(Recursive Self-Improvement, RSI)은 상호작용 경험을 지속적인 개선으로 전환하는 것을 목표로 하지만, 외부 피드백은 비용이 많이 들고 정책(policy)이 진화함에 따라 월드 모델(world model)의 예측이 신뢰할 수 없게 될 수 있다. 우리는 JEPA-Anything을 기반으로 구축된 도메인 범용(domain-general) 프레임워크인 RSI-Anything을 소개하며, 이는 예측적 월드 모델을 사용하여 행동 및 학습 데이터 선택을 안내한다. 관찰된 피드백은 정책 또는 워크플로우 개선과 조건부 월드 모델 적응(adaptation)을 이끌며, 구성요소 및 호환성 검사가 업데이트된 정책-모델 쌍의 유지 여부를 결정한다. 다양한 계산 및 과학 도메인에서 RSI-Anything은 상당한 성능 향상을 보여준다. 코드 수정(code repair) 과제에서, 코더(coder)를 고정한 상태로 성공률은 정적 검증기(static verifier)를 사용할 때 26.3%였으나, 예측적 선택(predictive selection)을 통해 29.2%로, 월드 모델 적응 이후에는 31.2%로 증가했으며, 이는 비슷한 테스트 사용량에서 달성되었다. 그래픽 사용자 인터페이스(Graphical User Interface, GUI) 평가에서는 과제 완료율이 더 높아졌으며, 평균 행동 수는 39.4% 감소했다. 연속된 5개의 정책 버전에 걸쳐, 실험실 계획(laboratory-planning) 점수는 21.80%에서 46.01%로 두 배 이상 증가했다. 반응 최적화(reaction optimization)에서, RSI-Anything은 동일한 40회 실험 예산 하에서 평균 최고 관측 수율(mean best observed yield) 96.15%를 달성했으며, 이는 베이지안 최적화(Bayesian optimization)의 82.16%와 대비된다. 더 나아가, 엔드투엔드(end-to-end) 면역학(immune-science) 응용에서는 워크플로우 진화와 예측 모델링을 치료적 가설 생성(therapeutic hypothesis generation)과 연결한다. 이러한 결과는 예측적 월드 모델과 유지된 시스템 업데이트가 다양한 환경에서 재귀적 개선을 가능하게 하는 방식을 보여준다.

arXiv:2610.10974v1cs.LG공통 태그 Multi-Armed Bandits, Combinatorial Optimization

오프-정책 평가를 위한 예산 제약 다중 소스 반사실적 주석 달기

Budgeted Multi-Source Counterfactual Annotation for Off-Policy Evaluation

오프-정책(off-policy) 평가(OPE)는 기록된 데이터로부터 타깃 정책의 가치를 추정하지만, 행동 정책의 제한된 커버리지로 인해 높은 분산의 가중치 재조정이나 보상(reward) 모델(model) 외삽이 불가피할 수 있습니다. 반사실적(counterfactual) 주석(annotation)은 관측되지 않은 행동에 대한 증거를 추가할 수 있지만, 도메인 전문가나 대규모 언어 모델(LLM)을 포함한 실제 소스는 비용이 많이 들거나 편향되거나 노이즈가 있을 수 있습니다. 본 연구에서는 맥락적 밴딧(contextual-bandit) OPE를 위해 이러한 주석을 예산 제약 하에서 획득하는 문제를 연구합니다. 소스별 비용과 오류 프로필이 주어졌을 때, 주석 계획에 의존하는 추정량 분산 성분을 최소화하도록 맥락-행동 쌍과 주석 소스에 대한 정수 할당 문제를 정형화합니다. 또한 첫 번째 주석 임계값과 국소적 주석 가치 영역을 통해 주석이 언제 유용한지 규명합니다. 결합된 다중 소스 문제에 대해, 목적 함수를 단조적으로 개선하는 동적 계획법 서브루틴 기반의 주화-최소화(majorization-minimization) 알고리즘을 개발합니다. 합성 임상 및 LLM 주석 기반 교육 밴딧 실험에서 본 할당 방법은 주석이 없는 경우 대비 고정 프로필 평균 제곱 오차(MSE)를 각각 20.58% 및 10.77% 감소시킴을 보여줍니다.

arXiv:2610.11007v1cs.AI공통 태그 Multi-Armed Bandits, Combinatorial Optimization

LLM 에이전트를 위한 상시 로드 컨텍스트 큐레이션: 중도절단 피드백을 갖는 용량 제한 구색 모델

Curating Always-Loaded Context for LLM Agents: A Capacitated Assortment Model with Censored Feedback

모든 세션이 시작될 때, 대규모 언어 모델(LLM) 에이전트는 $\texttt{AGENTS.md}$와 같은 고정된 컨텍스트 파일을 로드합니다. 파일에 로드된 각 토큰은 세션의 후속 라운드마다 반복해서 비용이 청구되며, 이러한 파일은 크기가 커질수록 성능을 저하시킬 수 있습니다. 그러나 실제로는 사람 또는 자동화된 큐레이터가 대개 내용을 덧붙이는(append) 방식으로 이러한 파일의 크기를 늘립니다. 본 연구에서는 컨텍스트 큐레이션을 용량 제한 구색 문제(capacitated assortment problem)로 정식화합니다. 지시문은 유한한 어텐션 용량 내에서 토큰을 소모하며, 지시문을 추가하더라도 다른 지시문의 준수율이 결코 높아지지 않는 반면 유지되는 지시문은 세션당 설정 비용(setup cost)을 발생시킵니다. 본 논문에서는 사용 가능한 후보 지시문의 수와 관계없이 최적 파일 크기의 상한을 증명하며, 단독 가치가 양수인 모든 지시문을 단순히 덧붙이는 방식이 최적의 부분 집합을 선택하는 것에 비해 순가치(net value) 측면에서 임의로 크게 악화될 수 있음을 증명합니다. 또한 토큰 예산은 토큰 가격이 과소평가되었을 때의 손실을 제한합니다. 이어 과거 세션으로부터 무엇을 학습할 수 있는지, 그리고 이 정보가 지시문의 추가 또는 제거 결정을 어떻게 이끌 수 있는지 살펴봅니다. 피드백은 본질적으로 중도절단(censored)되어 있습니다. 로드된 지시문의 이점과 위해는 관찰 가능한 반면, 누락된 지시문은 그 부재가 위해를 초래할 때만 피드백을 생성합니다. 이러한 환경에서 에이전트가 무시한 지시문을 삭제하는 것은 유용한 지시문까지 필연적으로 제거할 수 있음을 보입니다. 또한 지시문을 추가하기 전에 수집해야 하는 근거의 양을 특성화합니다. 아울러 인간 검토자가 기간당 제한된 수의 수정 사항만 검토할 수 있을 때의 후회(regret) 한계를 제시합니다. 실증 실험을 통해서도 실제 컨텍스트 파일에서 추출한 무관한 규칙들이 언어 모델의 준수율을 낮춘다는 점을 추가로 보입니다.

arXiv:2610.11082v1stat.ML공통 태그 Bayesian Optimization, Multi-Armed Bandits

커널 밴딧(Kernel Bandits)에 대한 일반적인 $\widetildeΩ(\sqrt{Tγ_T})$ 하한

A General $\widetildeΩ(\sqrt{T γ_T})$ Lower Bound for Kernel Bandits

커널 밴딧(kernel bandit) 문제는 주어진 재생 커널 힐베르트 공간(Reproducing Kernel Hilbert Space, RKHS)에서 유계 노름(bounded norm)을 갖는 미지의 함수를 잡음이 있는 피드백(noisy feedback)을 통해 순차적으로 최적화하는 문제이다. 커널 밴딧의 후회(regret) 분석에서 중심이 되는 양은 최대 정보 획득량(maximum information gain) $γ_T$이다. 특히, 기존에 알려진 가장 좋은 상한(upper bound)은 로그 항(log factor)을 제외하면 $\sqrt{Tγ_T}$로 스케일링되며, 제곱 지수(squared exponential) 커널과 마테른(Matérn) 커널과 같은 특정 커널에 대해서는 이와 거의 일치하는 하한(lower bound)이 도출되어 왔다. 그러나 일반적인 커널에 대한 하한은 부족하여, 어느 정도의 일반성에서 상한이 근사 최적(near-optimal)인지가 불분명하다. 본 논문에서는 콤팩트 정의역(compact domain) 상의 비상수 연속 커널(non-constant continuous kernel)에 대해 일반적인 $Ω(\sqrt{Tγ_T/\log T})$ 미니맥스 후회 하한을 수립하여, 매우 일반적인 의미에서 (로그 항 범위 내에서의) 근사 최적성을 입증한다. 우리는 이 하한에 나타나는 로그 항이 일반적으로는 피할 수 없음을 보이지만, 특정 조건 하에서는 이를 제거할 수 있음을 보인다. 특히 우리의 결과는 $ν\in (0,2)$인 마테른-$ν$(Matérn-$ν$) 커널, $γ\in (0,2)$인 $γ$-지수(γ-exponential) 커널, 그리고 특정 조각별 다항식(piecewise-polynomial) 커널에 대해 미니맥스 최적 스케일링이 (상수 인자 범위 내에서) 정확히 $Θ(\sqrt{Tγ_T})$임을 함의한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.