Reinforcement Learning for Sequence Design Leveraging Protein Language Models
원문 초록
Protein sequence design, determined by amino acid sequences, are essential to protein engineering problems in drug discovery. Prior approaches have resorted to evolutionary strategies or Monte-Carlo methods for protein design, but often fail to exploit the structure of the combinatorial search space, to generalize to unseen sequences. In the context of discrete black box optimization over large search spaces, learning a mutation policy to generate novel sequences with reinforcement learning is appealing. Recent advances in protein language models (PLMs) trained on large corpora of protein sequences offer a potential solution to this problem by scoring proteins according to their biological plausibility (such as the TM-score). In this work, we propose to use PLMs as a reward function to generate new sequences. Yet the PLM can be computationally expensive to query due to its large size. To this end, we propose an alternative paradigm where optimization can be performed on scores from a smaller proxy model that is periodically finetuned, jointly while learning the mutation policy. We perform extensive experiments on various sequence lengths to benchmark RL-based approaches, and provide comprehensive evaluations along biological plausibility and diversity of the protein. Our experimental results include favorable evaluations of the proposed sequences, along with high diversity scores, demonstrating that RL is a strong candidate for biological sequence design. Finally, we provide a modular open source implementation can be easily integrated in most RL training loops, with support for replacing the reward model with other PLMs, to spur further research in this domain. The code for all experiments is provided in the supplementary material.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
샘플 효율적인 데 노보 나노바디 설계를 위한 스캐폴드 및 에피토프 간 추론 시점 스티어링
Inference-Time Steering Across Scaffolds and Epitopes for Sample-Efficient De Novo Nanobody Design
생성형 분자 설계는 일반적으로 과잉 생성(over-generation)과 사후 필터링에 의존합니다. 파인만-카츠(Feynman-Kac, FK) 스티어링과 같은 추론 시점(inference-time) 스티어링 기법은 궤적을 높은 보상(reward)의 후보군으로 유도하여 효율성을 개선하지만, 단일 고정 구성 내에서만 최적화를 수행합니다. 데 노보(de novo) 나노바디 설계에서는 스캐폴드(scaffold) 종류나 표적 에피토프(epitope)와 같은 조건 설정을 사전에 확정하는 것이 병목을 유발합니다. 이러한 조건에 따라 수율이 달라지기 때문에, 유망하지 않은 설정을 스티어링하는 것은 계산 자원을 낭비하게 됩니다. 본 연구에서는 생성 조건 선택을 추론 시점 자원 할당 문제로 재구성합니다. 이에 따라 두 가지 동적 예산 할당기를 제안합니다. 구성 전반에 걸쳐 스티어링과 연산 할당을 동시에 수행하는 통합 글로벌 순차 몬테카를로(Global SMC) 정식화와, 배치 연속 제거(BaSE)를 적용한 분리형 접근법입니다. 실증적으로 이러한 동적 할당기는 서로 다른 치료 표적 및 생성 구성에 걸쳐 다양성을 희생하지 않으면서도 GPU 시간당 설계 가능한 후보군의 수율을 약 5배 향상시킵니다.
자연어로부터 단백질 구조 설계
Designing Protein Structures from Natural Language
데노보(de novo) 단백질 설계에서 핵심적인 과제는 원하는 구조적, 기능적 특성을 가진 단백질을 생성하는 것이다. 기존 설계 모델들은 일반적으로 각 특성마다 전용 입력 표현을 필요로 하여, 지원할 수 있는 설계 목표가 제한된다. 우리는 텍스트-이미지 생성(text-to-image generation)과 유사하게, 자연어로 지정된 새롭고 더 광범위한 설계 목표를 지원하는 최초의 전원자(all-atom) 구조 생성 모델인 Prompteina를 개발한다. Prompteina를 학습시키기 위해, 우리는 전역적 및 잔기(residue) 단위의 구조적·기능적 특성을 설명하는 180만 개의 구조와 5000만 개 이상의 캡션으로 구성된 텍스트-단백질 구조 쌍 데이터셋인 Prompteina-Data를 구축한다. 우리는 사전학습된 구조 생성 모델인 Proteina-Complexa를, 텍스트 조건부 사전학습과 잔기를 해당 텍스트에 맞추는 파인튜닝을 통해 적응시킨다. Prompteina는 18개의 구조적 특성 중 15개에서 기준선(baseline)을 능가하며, 의도된 기능에 대한 설명과 더 밀접하게 일치하는 단백질을 생성한다. 바인더(binder) 설계에서는 20개 표적 중 최소 13개에서 기준선을 앞서며, 가장 강력한 기준선보다 인터페이스 신뢰도(interface confidence)를 14% 향상시킨다. 반복적인 인실리코(in silico) 피드백을 사용할 경우, 가장 어려운 표적들에서 Prompteina가 비반복적 생성 대비 얻는 성능 향상은 차선의 기준선보다 57% 더 크다. 마지막으로, 우리는 보고된 데노보 바인더가 없는 표적인 GM2A에 대해 Prompteina의 설계를 실험적으로 검증한다. 우리는 9개의 바인더를 확인했으며, 가장 강력한 바인더는 겉보기(apparent) $K_{\mathrm{D}}$ 107 nM를 나타낸다. 이러한 결과는 자연어가 단백질 구조 생성을 위한 효과적이고 강력한 조건화 인터페이스(conditioning interface)임을 입증한다.
구조적 샘플링: 동결된 비전-언어 모델에서 계산적 다양성을 통한 테스트 시점 스케일링
Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models
테스트 시점 스케일링(test-time scaling)은 동결된 모델에서 여러 응답을 샘플링하여 더 나은 답변을 도출하고자 하지만, 기존의 온도 샘플링(temperature sampling)은 모든 후보를 동일하고 고정된 계산 경로를 따라 생성합니다. 본 논문에서는 디코더 레이어의 특정 블록을 재사용함으로써 서로 다른 순전파 계산 경로를 통해 후보군을 생성하는 무학습(training-free) 기법인 구조적 샘플링(architectural sampling)을 소개합니다. 블록의 위치와 반복 횟수를 다양화하면 모델 가중치를 업데이트하거나 보조 파라미터를 추가하지 않고도 계산적 다양성을 도입할 수 있습니다. 5개의 Qwen 체크포인트와 12개의 멀티모달 벤치마크에 걸쳐, 구조적 샘플링은 동일한 9개 후보 예산에서 표준 경로 온도 샘플링 대비 pass@9을 평균 6.58%p 향상시킵니다. 초기 레이어를 재사용할 때 가장 큰 성능 향상을 보였으며, 후보 커버리지의 개선은 그리디 디코딩(greedy decoding) 하에서도 지속됩니다. 이렇게 생성된 후보들은 어휘적 중복도가 낮으며, 라벨이 없는 테스트 시점 강화학습을 위한 롤아웃(rollout)으로 사용될 때 정확도를 향상시킵니다. 이러한 결과는 구조적 샘플링의 이점이 후보 커버리지를 넘어 확장되며, 모델 자체 출력으로부터 더 효과적인 학습이 가능함을 보여줍니다.
조율된 추론 경로를 활용한 계획 기반 테스트 시점 스케일링
Planned Test-Time Scaling with Coordinated Reasoning Paths
병렬 브랜치를 활용한 테스트 시점 스케일링(test-time scaling)은 어려운 추론 과제의 성능을 향상시키기 위해 널리 채택되고 있다. 가장 널리 쓰이는 접근법인 반복 샘플링(repeated sampling)은 단일 정책에서 브랜치를 독립적으로 추출하기 때문에 중복된 시도가 발생할 수 있으며, 이로 인해 추가 추론 연산으로 얻을 수 있는 이득이 제한된다. 이러한 한계를 해결하기 위해 본 논문은 독립 샘플링을 조율된 결합 정책(joint policy)으로 대체하는 계획 기반 테스트 시점 스케일링(Planned Test-Time Scaling, PTTS)을 제안한다. 플래너(planner)가 각 브랜치에 대한 풀이 개요(outline)를 생성하여 브랜치들이 서로 다른 추론 경로를 향하도록 유도하고, 실행기(executor)가 각 개요를 조건으로 전체 풀이를 생성한다. 형식적으로, 우리는 PTTS가 반복 샘플링을 엄밀하게 일반화하며, 단순화된 설정에서 상호 보완적인 추론 방식(reasoning mode)의 커버리지를 증가시키고 더 나은 pass@k 스케일링을 낳음을 증명한다. 우리는 강력한 추론 모델 위에서 PTTS를 구현하며, 이 모델들을 실행기로 고정한 채 반복 샘플링을 PTTS 추론으로 대체하여 테스트 시점 스케일링을 더욱 향상시킨다. 구체적으로 두 가지 변형을 개발한다. PTTS-ZS는 모델이 단일 자기회귀(autoregressive) 패스에서 모든 브랜치의 개요를 함께 생성하도록 프롬프트하는 방식이며, PTTS-RL은 효율적인 학습과 더 선명한 보상 신호를 위해 절단된 실행 롤아웃(truncated execution rollout)을 사용하여 pass@k 보상에 대해 플래너를 직접 최적화한다. Qwen3-1.7B와 4B를 사용한 다섯 개의 수학적 추론 벤치마크에서, PTTS-ZS는 반복 샘플링 대비 pass@64를 최대 6.7포인트 향상시켰으며, PTTS-RL은 이 향상 폭을 최대 13.4포인트까지 더 늘렸다. 추가 분석은 서로 다른 추론 경로를 더 폭넓게 포괄하는 것이 이러한 성능 향상에 기여함을 보여준다. 종합하면, PTTS는 추론 브랜치를 조율함으로써 테스트 시점 스케일링을 개선하는 범용 프레임워크를 제공하며, 제로샷 방식과 학습 가능한 방식의 구현 모두에서 상당한 성능 향상을 얻는다.
WTF?! Wasserstein-Tilted Flow Maps를 이용한 시뮬레이션 없는 강화학습
WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps
보상 미세조정은 사전학습된 플로 기반 생성 모델을 갱신하여 생성 샘플의 하류 보상을 높이는 것을 목표로 한다. 기존 방법들은 대개 이 문제를 보상 기울임(reward-tilted) 분포에서의 샘플링, 즉 KL 정규화된 보상 최대화 문제의 해로 공식화한다. 본 연구에서는 사전학습된 drift로부터 직접 구성한 최적 수송(optimal transport) 정규화 항을 도입한다. KL 보상 기울임과 달리, 이렇게 얻은 목적 함수는 기본 분포를 재가중하는 대신 개별 샘플을 더 높은 보상 쪽으로 수송한다. 우리는 이 문제가 플로 상의 결정론적 최적 제어 문제와 동등함을 보인다. 사전학습된 플로 맵이 주어지면, 이 동등성은 생성 플로 미세조정을 위한 시뮬레이션 없는(simulation-free) 강화학습 알고리즘을 제공한다. 이 프레임워크를 Wasserstein-Tilted Flow Maps(WTF)라 부르며, 이는 플로 맵에 고유한 최초의 end-to-end 미세조정 레시피이다. 그 결과로 얻는 것은 사후 증류(post-hoc distillation) 없이도 적은 스텝 추론 예산에서 강한 보상 정렬 성능을 유지하는 미세조정된 플로 맵이다. ImageNet-256 및 text-to-image 실험에서 WTF는 기준선과 비교해 동등하거나 더 높은 다양성을 유지하면서 더 높은 보상을 달성하며, 학습 연산량은 최대 $280\times$만큼 적게 든다. 더 넓게, 플로 맵과 같은 가속 샘플러는 효율적인 사후 학습을 위한 필수 인프라이며, 지배적인 KL 정규화 공식화는 재검토할 가치가 있는 여러 선택지 중 하나에 불과하다고 주장한다.
반복 샘플링을 넘어서: LLM 추론을 위한 탐색 정책 학습
Beyond Repeated Sampling: Learning Search Policies for LLM Reasoning
대규모 언어 모델(LLM)은 테스트 시간 연산(test-time compute)을 더 많이 투입하여 고난도 추론 문제를 점진적으로 해결하고 있지만, 여전히 지배적인 전략은 단순 반복 샘플링(naive repeated sampling)에 머물러 있습니다. 즉, 다수의 독립적인 해결책을 생성하고 그중 하나가 정답이기를 기대하는 방식입니다. 이러한 샘플링은 국소적 디코딩 노이즈(local decoding noise)만을 통해 탐험(exploration)을 수행하므로, 진정으로 차별화된 아이디어보다는 거의 중복에 가까운 시도를 다수 생성하는 경향이 있습니다. 본 연구에서는 문제별 개념, 힌트 또는 전략을 먼저 샘플링한 다음 이에 기반하여 답변 생성을 조건화함으로써 시맨틱 수준에서 탐험을 유도할 수 있는지 질문을 던집니다. 이를 단일 궤적(single trajectory) 내에서 다양하고 많은 개념을 도출하는 단순하면서도 더욱 탐험적인 절차로 구체화하고, 반복 샘플링이 어려움을 겪는 고난도 문제에서 이를 평가합니다. 나아가 개념 생성을 학습 가능하도록 발전시킵니다. 즉, 강화학습(reinforcement learning)을 통해 소형 개념 생성 모델을 최적화하여, 이 모델이 생성한 개념이 동결된(frozen) 더 큰 답변 생성 모델의 다운스트림 성공을 극대화하도록 합니다. 고난도 수학 추론 문제에서, 학습된 개념 생성 모델은 동일한 답변 생성 연산량 할당 하에서 단순 반복 샘플링 대비 답변 생성 모델의 pass@k를 실질적으로 향상시키고, 튜닝되지 않은 훨씬 더 큰 모델에서 추출한 개념의 성능을 능가하며, 학습 과정에서 접하지 않은 다른 계열의 모델을 포함한 답변 생성 모델로도 전이됩니다. 따라서 소형 모델을 훨씬 더 큰 모델을 위한 효과적이고 재사용 가능한 탐색 정책(search policy)으로 학습시킬 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.