arXiv:2606.18961v1 cs.LG

너 자신이 스승이 되라: 비지도 보상 최적화를 통한 단백질 언어 모델 제어

Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization

Lanqing Li, Shentong Mo, Yang Yu, Pheng-Ann Heng

제출 2026-06-17

한국어 초록

단백질 언어 모델(PLMs)은 제어 가능한 생체분자 설계를 위한 강력한 도구로 등장했으나, 이들의 사후 학습 적응은 일반적으로 비용이 많이 드는 실험실 검증이나 선별된 선호 데이터셋에 의존합니다. 이러한 지도 학습의 병목을 극복하기 위해, 우리는 실측 레이블 없이 제어 가능한 단백질 생성을 위한 포괄적인 프레임워크인 PLM의 비지도 보상 최적화를 소개합니다. 우리의 핵심 통찰은, 단백질 표현 모델에 기반한 외재적 의미 일관성과 내재적 모델 불확실성을 결합한 작업 무관 보상이 기본 모델과 온도 설정에 걸쳐 제어 가능성 측정치와 강한 상관관계를 보인다는 것입니다. 이 발견을 바탕으로, 우리는 이러한 대리 보상에 의해 유도된 고전적인 인간 피드백 강화학습(RLHF) 목적 함수를 효과적으로 최대화하는 두 가지 오프라인 알고리즘인 Soft Reward Optimization (SRO)와 Binarized Reward Optimization (BRO)를 제안합니다. 구성적 분포 외 프롬프트에 대한 광범위한 실험을 통해, 두 방법 모두 여러 샘플링 온도, 모델 규모 및 단백질 패밀리에 걸쳐 경쟁력 있는 베이스라인(DPO, KTO)을 상당히 능가하면서 오라클 성능에 근접함을 입증했습니다. 더욱이, 비지도 보상으로 파인튜닝된 PLM은 pass@k 평가에서 기본 모델과 비교하여 일관되게 더 높은 커버리지를 달성할 수 있습니다. PLM이 자신이 생성한 경험을 통해 자기 개선을 가능하게 함으로써, 우리의 프레임워크는 레이블이 지정된 선호도나 실험적 피드백이 희소하거나 없는 환경에서 제어 가능한 생체분자 설계로 나아갈 수 있는 확장 가능한 경로를 제공합니다.

원문 초록

Protein language models (PLMs) have emerged as powerful tools for controllable biomolecular design, yet their post-training adaptation typically relies on costly wet-lab validation or curated preference datasets. To overcome this supervision bottleneck, we introduce unsupervised reward optimization of PLMs, a comprehensive framework for steerable protein generation without ground-truth labels. Our key insight is that task-agnostic rewards, which combine intrinsic model uncertainty with extrinsic semantic consistency informed by protein representation models, exhibit strong correlation with controllability measures across base models and temperature regimes. Building upon this discovery, we propose two offline algorithms: Soft Reward Optimization (SRO) and Binarized Reward Optimization (BRO), which effectively maximize the classical RLHF objective induced by these proxy rewards. Extensive experiments on compositional out-of-distribution prompts demonstrate that both methods significantly outperform competitive baselines (DPO, KTO), while approaching oracle performance across multiple sampling temperatures, model scales and protein families. Moreover, PLMs fine-tuned with unsupervised rewards can achieve consistently higher coverage compared to their base model in pass@k evaluations. By enabling self-improvement of PLMs through their own generated experience, our framework provides a scalable pathway toward controllable biomolecular design in settings where labeled preferences or experimental feedback are scarce or unavailable.

요약

실측 레이블 없이 단백질 언어 모델(PLM)의 제어 가능한 생성을 위해, 내재적 모델 불확실성과 단백질 표현 모델 기반 외재적 의미 일관성을 결합한 작업 무관 보상과 이를 최대화하는 Soft Reward Optimization(SRO)·Binarized Reward Optimization(BRO) 오프라인 알고리즘을 제안한다. 구성적 분포 외(OOD) 프롬프트 실험에서 DPO·KTO를 크게 능가하며 오라클 성능에 근접하고, pass@k 평가에서도 기본 모델 대비 더 높은 커버리지를 달성한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18961v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10878v1cs.CL공통 태그 Language Modeling, Reinforcement Learning

에이전틱 온-정책 증류를 위한 확률적 교사 개입

Stochastic Teacher Intervention for Agentic On-Policy Distillation

온-정책(on-policy) 증류(OPD)는 학생이 생성한 롤아웃(rollout)에 대한 조밀한 토큰(token) 수준 감독을 통해 더 강력한 교사로부터 학생 언어 모델(language model)로 역량을 효율적으로 전이하며, 수학적 추론과 같은 복잡한 작업에서 유망한 성과를 보여주었다. 그러나 다중 턴(multi-turn) 에이전틱 작업에서는 학생의 결정이 이후의 관측을 형성하므로 턴을 거치며 초기 오류가 누적된다. 그 결과로 생성된 궤적은 교사의 롤아웃 분포에서 벗어날 수 있어, 교사의 토큰 수준 감독이 덜 신뢰할 수 있게 되거나 OPD 학습(training)에 오히려 역효과를 낼 수도 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 다중 턴 에이전틱 OPD를 위한 확률적 교사 개입 프레임워크인 STI-OPD를 제안한다. 다중 턴 상호작용 과정에서 STI-OPD는 신뢰할 수 있는 감독 정보의 획득을 극대화하기 위해 교사-학생 정책 불일치에 기반한 교사 개입을 사용하여 학생이 제안한 행동을 교사가 생성한 행동으로 대체한다. 나아가 기존 임계값 기반 또는 고정 일정 접근법의 한계를 해결하기 위해, KL 발산을 사용해 정책 불일치를 추정하고 이를 개입 확률로 매핑하는 확률적 개입 전략을 개발한다. 이 확률로부터 개입 여부를 샘플링함으로써, STI-OPD는 교사의 제어와 학생의 탐험(exploration) 사이의 균형을 적응적으로 맞춘다. 이렇게 생성된 혼합 정책 궤적으로부터 학습하기 위해, 본 논문에서는 원래의 OPD 목적 함수를 보존하도록 교사가 생성한 응답과 학생 정책 간의 토큰 샘플링 불일치를 보정하는 중요도 가중 역방향 KL(Importance-Weighted Reverse KL) 목적 함수를 도입한다. 도구 통합 추론 및 장기적(long-horizon) 상호작용 전반에 걸쳐, STI-OPD는 평가된 모든 벤치마크와 학생 크기에서 가장 강력한 기존 OPD 기준선(baseline)을 능가한다. 소거 연구(ablation)를 통해 불일치 기반 개입과 중요도 가중치가 모두 이러한 성능 향상에 기여함을 추가로 확인하였다.

arXiv:2609.28145v1cs.LG공통 태그 Language Modeling, Reinforcement Learning

RL은 RL 이전에 시작된다: 더 나은 강화학습을 위한 온-정책 증류

RL Starts before RL: On Policy Distillation for Better Reinforcement Learning

강화learning(RL)은 추론을 향상시키지만, 성능은 학습이 시작되는 정책에 달려 있다. 우리는 온-정책 증류(OPD)를 RL을 위한 준비 단계로 두고 연구하며, 그 이점이 증류된 모델의 초기 정확도 개선을 넘어서는지 묻는다. 동일한 RL 설정에서 OPD로 초기화한 학생 모델은 직접 RL로 학습한 모델, 또는 지도 미세조정 뒤 RL을 적용한 모델보다 더 높은 최종 성능에 도달한다. 이 이점은 OPD가 즉각적인 정확도 향상을 거의 주지 않을 때에도 나타날 수 있다. RL 이전 Pass@k만으로는 이 이점을 완전히 설명하지 못한다: 비슷하거나 더 높은 값이 RL 이후 더 나은 성능으로 이어지지는 않을 수 있다. 행동 분석은 top-1 일치를 넘어 교사 분포와의 정렬이 가능한 설명임을 가리킨다. 이러한 정렬은 더 높은 품질의 추론 경로를 선호하면서, RL이 결과 피드백으로 더 다듬을 수 있는 대안들을 남겨 둘 수 있다. 또한 궤적 출처와 발산 목표가 이후 RL을 위한 증류의 가치에 어떻게 영향을 미치는지 살핀다. 표준 역방향 KL OPD는 RL 이전에 더 낫지만, 순방향 KL OPD는 그 이후에 앞서게 된다. 교사가 생성한 증류 궤적을 쓰면 역방향 KL은 두 단계 모두에서 앞선다. 이는 선호되는 증류 목표가 궤적 출처와 뒤이어지는 학습 모두에 달려 있음을 시사한다. 우리 결과는 OPD를 RL 준비 단계로 평가하고, 이후 학습 뒤 달성한 성능을 기준으로 증류 방식을 고르는 접근을 뒷받침한다.

arXiv:2609.25927v1cs.CL공통 태그 Language Modeling, Reinforcement Learning

정보 기반 마스킹: 확산 대규모 언어 모델의 강화학습을 위한 구조 인지 섭동

Informed Masking: Structure-Aware Perturbation for Reinforcement Learning in Diffusion Large Language Models

확산 대규모 언어 모델(dLLM)은 자기회귀 모델의 효율적인 대안으로 부상했으나, 이를 강화학습(RL)을 통해 정렬(alignment)하려면 롤아웃당 적은 몬테카를로 예산 하에서 마스킹된 재구성 하위 문제로부터 추정된 가능도 대리치(likelihood surrogates)가 필요합니다. 기존 기법들은 균등 무작위 마스킹을 통해 이러한 하위 문제를 구성하므로, 어떤 하위 문제를 우선시해야 하는지에 대한 의문이 남아 있습니다. 본 연구는 dLLM 롤아웃에서 체계적인 상류/하류(upstream/downstream) 구조를 규명합니다. 특정 토큰들은 공개되었을 때 아직 디코딩되지 않은 인접 위치에서 큰 신뢰도 변화를 유발하며, 이를 상류 토큰이라 부릅니다. 반면 다른 토큰들은 국소적으로 작은 변화만을 유발하므로 하류 토큰에 해당합니다. 연구진은 하류 토큰을 마스킹하는 것이 상류 토큰을 마스킹하는 것보다 실질적으로 훨씬 더 잘 정의된(better-posed) 하위 문제를 생성한다는 점을 발견했으며, 이 현상을 '하위 문제 난이도 비대칭성'이라 명명했습니다. 이러한 관찰을 바탕으로, 추가적인 추론 비용 없이 디노이징 궤적에서 토큰별 우선순위 점수를 도출하고 마스크 샘플링이 하류 토큰 쪽으로 편향되도록 하는 정보 기반 마스킹(Informed Masking, IM)을 제안합니다. IM은 플러그 앤 플레이(plug-and-play) 방식으로 적용할 수 있으며, LLaDA-8B-Instruct 기반 세 가지 최신 dLLM 강화학습 기법에 결합했을 때 향상된 학습 안정성과 함께 수학 및 계획 수립 벤치마크에서 각각 최대 2.01%, 8.68%, 5.77%의 상대적 평균 성능 향상을 달성합니다.

arXiv:2609.13356v2cs.AI공통 태그 Language Modeling, Reinforcement Learning

ZGCM-1: 수학 및 에이전트 검색을 위한 완전 공개·초고효율 기초 모델

ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search

본 연구에서는 극한의 데이터·시스템·알고리즘 효율로 처음부터 학습한 완전 공개 7B dense 기초 모델 ZGCM-1을 제시한다. ZGCM-1은 핵심 전제에 기반한다: 소형 모델은 개방 웹을 수동적으로 암기할 수 없지만, 의도적인 내부 사고와 적극적인 외부 도구 사용을 결합하면 파라미터 용량 한계를 극복할 수 있다. 256K 컨텍스트 윈도우에서 이 패러다임을 지원하기 위해 엔드투엔드 고효율 공개 학습 레시피를 개발한다: 아키텍처 및 시스템 공동 설계—게이트 슬라이딩 윈도우와 full 어텐션을 교차 배치하고 안정적인 FP8 Muon 옵티마이저; 점진적 커리큘럼 및 MDP 중간 학습—16K, 64K, 256K에 걸친 컨텍스트 스케일링과 상호작용 trace를 마르kov 의사결정 과정(Markov Decision Process, MDP)으로 재구성. 또한 에이전트 swarm이 클러스터 운영, 데이터 큐레이션, 신속 진단 평가를 자율적으로 관리하는 AI-native R&D 워크플로를 구축한다. 광범위한 평가 결과 ZGCM-1-7B는 일반 벤치마크에서 7B 모델군 전반에 걸쳐 경쟁력을 보인다. 여러 도전적인 수학적 추론 및 에이전트 검색 벤치마크에서는 Qwen3-235B-A22B, GLM-5.1처럼 수 orders of magnitude 더 큰 프론티어 모델과도 경쟁력을 유지한다. 또한 사전학습 설계가 16K 사전학습 time-to-loss에서 약 4.2배 효율 개선을 제공함을 보인다. 전체 개발 수명주기에 걸쳐 아키텍처 스케일링, SFT 품질 가지치기, 장문맥 일반화, 에이전트 공동학습 역학을 아우르는 실행 가능한 경험적 발견 8가지를 정리한다. 커뮤니티 연구를 위해 사전학습, 중간 학습, 사후 학습 단계의 모델 가중치, 중간 체크포인트, 학습 코드, 단계별 데이터 및 데이터 레시피, W&B 로그를 오픈소스로 공개한다.

arXiv:2609.24174v1cs.AI공통 태그 Language Modeling, Reinforcement Learning

CREDO: 재생-보정된 크레딧 할당을 위한 분산 유도 루브릭 진화

CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment

장기적(Long-horizon) 언어 에이전트는 희소한 최종 피드백을 받는 반면, 중간 루브릭(rubric)은 진행 상황에 대해 구조화되어 있지만 잠재적으로 잘못 명시될 수 있는 평가를 제공합니다. 재설정 가능한 학습 환경에서 반사실적 지속 롤아웃(counterfactual continuation rollout)을 통해 국소적 크레딧을 측정할 수 있지만, 완전한 재생(replay)은 비용이 많이 듭니다. 본 논문에서는 진화하는 의미론적 루브릭과 선택적 실행 기반 크레딧 보정을 결합한 프레임워크인 Credo를 제안합니다. 동결된 판별기(judge)는 가시적인 전이(transition)를 루브릭 특징에 매핑하고, 크레딧 헤드는 실현된 전이와 관련된 기대 최종 보상의 변화를 예측합니다. 독립적으로 샘플링된 양측 재생은 기록된 포함 확률을 사용하여 예측 잔차를 보정합니다. 본 연구는 조건부 비편향성과 두 가지 설계 선택(유지할 루브릭 특징 및 고정된 기대 재생 예산 할당 위치)을 연결하는 분산 분해를 유도합니다. 그 결과로 도출된 기준은 정책-점수 민감도와 누락된 재생 범위로 예측 오차에 가중치를 부여하며, 해당 할당 규칙은 지속 비용까지 추가로 고려합니다. 또한 최종 LOO(leave-one-out) 이점과의 실용적인 혼합을 설명하고, 클리핑 및 토큰 정규화가 적용된 PPO 구현을 이상적인 정책 그래디언트 추정량과 구별합니다. 이 예비 보고서는 방법론, 증명, 정확한 유한 모델 감사 및 통제된 평가 프로토콜을 제공하며, 언어 에이전트 벤치마크에서의 경험적 우수성은 주장하지 않습니다.

arXiv:2607.24653v2cs.CL공통 태그 Language Modeling, Reinforcement Learning

Kimi K3: 오픈 프론티어 인텔리전스

Kimi K3: Open Frontier Intelligence

Kimi K3를 소개한다. Kimi K3는 2.8T 매개변수 전문가 혼합(MoE) 모델로, 1040억 개의 활성화 매개변수, 네이티브 비전 기능, 100만 토큰 컨텍스트 윈도우를 갖춘다. Kimi K3는 Kimi Delta Attention과 Attention Residuals 위에 구축되었으며, 이는 시퀀스 길이와 모델 깊이에 걸친 정보 흐름을 개선한다. Stable LatentMoE—토큰당 896개의 라우팅된 전문가 중 16개를 효과적으로 활성화—와 정제된 학습 및 데이터 레시피와 함께, 이러한 발전은 Kimi K2 대비 전체 스케일링 효율을 약 2.5배 개선한다. 사후 학습에서는 일반, 에이전트(agentic), 코딩 영역과 다양한 추론 노력 수준에 걸친 강화학습을 강조하며, 이를 통해 조합적 일반화와 견고한 장기 실행을 가능하게 한다. 2.8T 규모에서 Kimi K3는 여러 영역의 인프라 발전을 통해 뒷받침된다: KDA를 위한 알고리즘-시스템 공동 설계, 효율적인 메모리 관리를 갖춘 완벽하게 균형 잡힌 전문가 병렬 학습, 지속적인 롤아웃과 샌드박스 상태를 갖춘 100만 토큰 에이전트 강화학습(RL), 그리고 배포 혁신. 광범위한 평가에서 Kimi K3는 장기 코딩, 에이전트, 지식, 추론, 비전 과제 전반에서 프론티어 수준의 성능을 달성함을 보여준다. 전체 성능은 여전히 Claude Fable 5와 GPT-5.6 Sol 등 가장 강력한 독점 모델에 미치지 못하지만, Kimi K3는 우리 평가 스위트에서 평가한 다른 오픈 및 독점 모델을 일관되게 능가한다. 향후 연구를 촉진하고 프론티어 인텔리전스의 더 넓은 배포와 채택을 가속하기 위해 Kimi K3 모델의 전체 가중치를 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.