DeepRHP: 단백질 모방체로서 무작위 이종중합체 설계를 위한 하이브리드 변이형 오토인코더
DeepRHP: A Hybrid Variational Autoencoder for Designing Random Heteropolymers as Protein Mimics
한국어 초록
미리 정의된 단량체 집합으로 구성된 합성 무작위 이종중합체(RHPs)는 단백질 유사 물질 설계에 대한 접근 방식을 제공합니다. 적절하게 설계된 경우 이러한 RHP는 단백질 거동과 기능을 모방할 수 있습니다. 따라서 RHP 설계를 효율적으로 안내할 계산 도구가 필요합니다. 우리는 준지도 학습 프레임워크 하에서 수정된 변이형 오토인코더(VAE) 모델인 DeepRHP를 개발하여 이러한 격차를 해소합니다. DeepRHP는 고전적 VAE에 추가적인 특징(feature) 기반 VAE를 장착하여 잠재 공간이 중요한 화학적 특징의 구조와 개별 RHP 시퀀스 패턴을 모두 포착하도록 강제합니다. 이러한 의미에서 우리의 방법은 관련된 모든 특징이 하이브리드 방식으로 통합될 수 있도록 허용하므로 유연합니다. 우리는 비천연 환경에서 막 단백질(예: Aquaporin Z)을 안정화하는 잠재적인 단량체 조성을 제안하고 기존 연구 결과와 교차 검증을 수행함으로써 DeepRHP의 효과를 입증합니다. 우리 모델과 실제 RHP 기능 간의 일치성은 단백질 및 기타 생물학적 화합물에 대한 RHP 설계를 안내하기 위해 하이브리드 오토인코더 아키텍처를 활용할 수 있는 강력한 잠재력을 시사합니다.
원문 초록
Synthetic random heteropolymers (RHPs), consisting of a predefined set of monomers, offer an approach toward the design of protein-like materials. These RHPs, if designed appropriately, can mimic protein behavior and function. As such, there is a need for computational tools to efficiently guide RHP design. We bridge this gap by developing DeepRHP, a modified variational autoencoder (VAE) model under a semi-supervised framework. By equipping a classical VAE with an additional feature-based VAE, DeepRHP forces the latent space to capture structures of critical chemical features as well as individual RHP sequence patterns. In this sense, our method is versatile by allowing any relevant features to be incorporated in a hybrid manner. We demonstrate the effectiveness of DeepRHP by suggesting potential monomer compositions that stabilize membrane proteins (e.g. Aquaporin Z) in non-native environments and cross-validating our prediction with published results. The concordance between our model and true RHP function suggests strong potential in utilizing hybrid autoencoder architectures to guide RHP design for proteins and other biological compounds.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11651v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
샘플 효율적인 데 노보 나노바디 설계를 위한 스캐폴드 및 에피토프 간 추론 시점 스티어링
Inference-Time Steering Across Scaffolds and Epitopes for Sample-Efficient De Novo Nanobody Design
생성형 분자 설계는 일반적으로 과잉 생성(over-generation)과 사후 필터링에 의존합니다. 파인만-카츠(Feynman-Kac, FK) 스티어링과 같은 추론 시점(inference-time) 스티어링 기법은 궤적을 높은 보상(reward)의 후보군으로 유도하여 효율성을 개선하지만, 단일 고정 구성 내에서만 최적화를 수행합니다. 데 노보(de novo) 나노바디 설계에서는 스캐폴드(scaffold) 종류나 표적 에피토프(epitope)와 같은 조건 설정을 사전에 확정하는 것이 병목을 유발합니다. 이러한 조건에 따라 수율이 달라지기 때문에, 유망하지 않은 설정을 스티어링하는 것은 계산 자원을 낭비하게 됩니다. 본 연구에서는 생성 조건 선택을 추론 시점 자원 할당 문제로 재구성합니다. 이에 따라 두 가지 동적 예산 할당기를 제안합니다. 구성 전반에 걸쳐 스티어링과 연산 할당을 동시에 수행하는 통합 글로벌 순차 몬테카를로(Global SMC) 정식화와, 배치 연속 제거(BaSE)를 적용한 분리형 접근법입니다. 실증적으로 이러한 동적 할당기는 서로 다른 치료 표적 및 생성 구성에 걸쳐 다양성을 희생하지 않으면서도 GPU 시간당 설계 가능한 후보군의 수율을 약 5배 향상시킵니다.
자연어로부터 단백질 구조 설계
Designing Protein Structures from Natural Language
데노보(de novo) 단백질 설계에서 핵심적인 과제는 원하는 구조적, 기능적 특성을 가진 단백질을 생성하는 것이다. 기존 설계 모델들은 일반적으로 각 특성마다 전용 입력 표현을 필요로 하여, 지원할 수 있는 설계 목표가 제한된다. 우리는 텍스트-이미지 생성(text-to-image generation)과 유사하게, 자연어로 지정된 새롭고 더 광범위한 설계 목표를 지원하는 최초의 전원자(all-atom) 구조 생성 모델인 Prompteina를 개발한다. Prompteina를 학습시키기 위해, 우리는 전역적 및 잔기(residue) 단위의 구조적·기능적 특성을 설명하는 180만 개의 구조와 5000만 개 이상의 캡션으로 구성된 텍스트-단백질 구조 쌍 데이터셋인 Prompteina-Data를 구축한다. 우리는 사전학습된 구조 생성 모델인 Proteina-Complexa를, 텍스트 조건부 사전학습과 잔기를 해당 텍스트에 맞추는 파인튜닝을 통해 적응시킨다. Prompteina는 18개의 구조적 특성 중 15개에서 기준선(baseline)을 능가하며, 의도된 기능에 대한 설명과 더 밀접하게 일치하는 단백질을 생성한다. 바인더(binder) 설계에서는 20개 표적 중 최소 13개에서 기준선을 앞서며, 가장 강력한 기준선보다 인터페이스 신뢰도(interface confidence)를 14% 향상시킨다. 반복적인 인실리코(in silico) 피드백을 사용할 경우, 가장 어려운 표적들에서 Prompteina가 비반복적 생성 대비 얻는 성능 향상은 차선의 기준선보다 57% 더 크다. 마지막으로, 우리는 보고된 데노보 바인더가 없는 표적인 GM2A에 대해 Prompteina의 설계를 실험적으로 검증한다. 우리는 9개의 바인더를 확인했으며, 가장 강력한 바인더는 겉보기(apparent) $K_{\mathrm{D}}$ 107 nM를 나타낸다. 이러한 결과는 자연어가 단백질 구조 생성을 위한 효과적이고 강력한 조건화 인터페이스(conditioning interface)임을 입증한다.
펜첼 틸팅: 생성 모델의 효율적인 미세조정을 위한 가중 보정
Fenchel Tilting: Weighted Correction for Efficient Finetuning of Generative Models
사전학습된 생성 모델을 효용 함수로 표현되는 임의의 선호도에 적응시키는 것은 보상 정렬(reward alignment), 유도 설계(guided design), 제약 조건 충족의 기초가 되며 다양한 응용을 가능하게 합니다. 기존의 미세조정(fine-tuning) 방법들은 범용성과 계산 비용 간의 트레이드오프를 겪습니다. 즉, 최적화를 단순하게 유지하기 위해 지원되는 선호도 군을 제한하거나, 효율성을 희생하면서 범용성을 유지합니다. 본 논문에서는 효용 최적화와 생성 모델 피팅을 분리하는 펜첼 틸트 흐름 제어(Fenchel Tilt Flow Control, FTFC)를 제안합니다. FTFC는 먼저 사전학습된 샘플에 대해 유효 보상과 밀도비 가중치를 공동으로 피팅하여 목표 분포에 대해 최적화합니다. 이 방법은 효용의 변분 구조와 펜첼 쌍대성(Fenchel duality)을 결합하여, 보상이 분포 보정 가중치로 변환되는 방식을 결정하는 일반적인 $f$-다이버전스 페널티를 지원합니다. 그런 다음 이러한 가중치를 고정하고, 샘플링 궤적을 통한 미분 없이 단일 단계의 중요도 가중치 디노이징 또는 플로우 매칭에서 확산 또는 플로우 모델을 수정하는 데 사용합니다. 우리는 적절한 조건에서 오목 효용에 대한 정확한 쌍대성을 규명하고, 가중 피팅이 주어진 효용에 대한 최적의 목표 분포를 재현함을 보입니다. 이미지 및 분자 생성 벤치마크 전반에 걸쳐 FTFC는 다양한 선호도 함수에서 베이스라인 대비 성능을 향상시키는 동시에 최대 20배 더 효율적입니다. 제안된 방법은 복잡한 최적화 없이 기대 보상 극대화를 넘어선 적응을 가능하게 하며, 베이스라인과 비교하여 더 일반적인 효용 함수 군에 대한 견고성을 유지합니다.
GPEC: 심장 초음파 비디오 캡션 생성을 위한 효율적인 LLM 사전 가우시안 프로세스 임베딩 보정
GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation
멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.
Clifford 변분 오토인코더를 이용한 홀로그래픽 축소 표현(Holographic Reduced Representations) 학습
Learning Holographic Reduced Representations with Clifford Variational Autoencoders
벡터 심볼릭 대수(Vector Symbolic Algebras, VSA)는 무작위로 생성된 원자 벡터 심볼과 실수값 데이터의 분수 거듭제곱 인코딩(fractional power encoding)에 벡터 대수를 적용하여, 데이터 구조를 초고차원 벡터 공간으로 사영한다. 비정형 데이터를 임베딩하는 문제는 여전히 해결되지 않은 과제로 남아 있다. 본 논문에서는 임의의 차원에서 데이터를 Clifford 토러스(Clifford torus)로 사영하는 방법을 학습하는 변분 오토인코더(variational autoencoder)인 \textit{Clifford-VAE}를 제안한다. MNIST, FashionMNIST, CIFAR-10 데이터셋을 사용한 실험 결과, Clifford-VAE는 준지도 분류(semi-supervised classification) 과제에서 Gaussian VAE 및 Hyperspherical VAE가 생성하는 표현과 대등한 수준의 표현을 생성하는 동시에, 자기 바인딩 및 언바인딩(self-binding and unbinding), 역할-채움자 복원(role-filler recovery), 번들 용량(bundle capacity)에 대한 VSA 벤치마크 테스트에서는 Gaussian 및 Hyperspherical 대응 모델보다 우수한 성능을 보인다. Clifford-VAE는 지각 데이터(perceptual data)를 심볼릭 추론 프레임워크에 그라운딩(grounding)하기 위한 원리적인 기법을 제공하며, VSA 문헌에서 오랫동안 이어져 온 문제에 대한 새로운 접근법을 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.