PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18961v1cs.LG

너 자신이 스승이 되라: 비지도 보상 최적화를 통한 단백질 언어 모델 제어

Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization

실측 레이블 없이 단백질 언어 모델(PLM)의 제어 가능한 생성을 위해, 내재적 모델 불확실성과 단백질 표현 모델 기반 외재적 의미 일관성을 결합한 작업 무관 보상과 이를 최대화하는 Soft Reward Optimization(SRO)·Binarized Reward Optimization(BRO) 오프라인 알고리즘을 제안한다. 구성적 분포 외(OOD) 프롬프트 실험에서 DPO·KTO를 크게 능가하며 오라클 성능에 근접하고, pass@k 평가에서도 기본 모델 대비 더 높은 커버리지를 달성한다.

arXiv:2606.18703v1cs.LG

로짓 공간 대조 정렬을 통한 모달리티 간 생물학 언어 모델 맥락화

Contextualizing Biological Language Models across Modalities via Logit-Space Contrastive Alignment

사전학습된 생물학 언어 모델은 마스킹 토큰 예측을 통해 토큰별 확률 분포를 노출하며, 서열 설계, 변이 점수화, 기전적 해석의 핵심인 가능도 인터페이스를 제공한다. 그러나 이러한 분포는 광범위한 비라벨 말뭉치에서 학습되며, 상호작용 파트너, 세포 환경, 치료적 개입과 같은 과제별 생물학적 맥락에 자연스럽게 조건부로 학습되지 않는다. 기존 맥락 매칭 방법들은 풀링된 임베딩, 대조 잠재 공간, 또는 과제별 예측 헤드를 통해 이 인터페이스를 종종 왜곡한다. 우리는 출력 로짓 공간에서 직접 대조 학습을 수행하는 맥락 조건부 예측 프레임워크인 LOGICA(Logit-space Contrastive Alignment)를 제안한다. 각 모델의 네이티브 토큰 헤드와 호환되는 게이트 크로스 모달 어댑터를 사용하여, LOGICA는 사전학습된 가능도 인터페이스를 보존하고 맥락화된 토큰 로그-가능도를 매칭 점수로 변환한다. 정렬은 공유 임베딩 공간에서의 근접성이 아니라 맥락 민감 토큰 확률을 통해 정의되어, 공유 토크나이저나 디코더 없이 서로 다른 어휘를 가진 모델 간 희소한 페어 데이터로부터 학습할 수 있게 한다. LOGICA는 변이 국소 변이 순위화에 특히 효과적이며, 여기서 비교는 교란 부위에서 변이 토큰의 맥락 조건부 가능도로 환원된다. 단백질-리간드 결합, TCR-펩타이드 활성, 약물 조건부 내성 예측 전반에 걸쳐 LOGICA는 매칭된 잠재-대조 및 조건부 MLM 베이스라인을 포함한 기존 최첨단 방법들을 능가하며, 해석과 생성을 위한 토큰 수준 인터페이스를 유지한다. 보류 유전자 단일 돌연변이 약물 내성 예측에서 LOGICA는 거의 무작위에 가까운 잠재 공간 베이스라인의 AUC $\sim$0.55에서 $\sim$0.65로 개선한다.