PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2503.08838v3cs.CL공식 코드 · Papers with Code

PUMA: 돌연변이를 인식하는 단백질 단위 어휘 학습

PUMA: Learning a Mutation-Aware Vocabulary of Protein Units

단백질 서열을 언어로 모델링함으로써 언어 모델(language model)은 계산생물학에서 강력한 도구가 되었으나, 언어 자체에 대한 이해는 여전히 부족합니다. 이를 이해하기 위한 핵심 단계는 구성 단위를 식별하는 것입니다. 자연어에서 형태소가 여러 형태로 나타날 수 있듯이, 단백질에서도 돌연변이로 인해 진화 과정에서 보존되는 단위의 변이가 발생하여 연관된 단위 패밀리(family)를 형성할 수 있습니다. 본 연구에서는 서열로부터 단백질 단위를 학습하고 치환 행렬(substitution matrix)을 활용해 이들의 돌연변이 변이를 탐색함으로써 단위 패밀리의 계통(genealogy)을 형성하는 알고리즘인 PUMA(Protein Units via Mutation-Aware Merging)를 소개합니다. 실험 결과에 따르면 PUMA 패밀리 내에 유지되는 돌연변이는 치환 행렬 단독 예측치보다 양성(benign)인 경우가 더 많으며, PUMA 계통은 단위를 독립적으로 다루는 것에 비해 분자 기능 표현을 향상시키는 것으로 나타났습니다. 한 단위 패밀리에 대한 사례 연구는 상동성(homology)을 넘어선 연관성을 보여줍니다. PUMA는 단백질 언어 모델 토크나이저로 사용될 때 다운스트림 태스크에서 경쟁력 있는 성능을 달성합니다. 또한 단위를 패밀리로 축약함으로써 더 작은 임베딩(embedding) 테이블을 사용하고 더 빠른 학습(training)을 가능하게 합니다. 종합하면, 이러한 결과는 단백질 단위를 돌연변이 변이의 타당한 패밀리로 체계화하는 생물학적으로 기반이 탄탄한 단백질 어휘로서 PUMA를 뒷받침합니다. 소스 코드는 https://github.com/boun-tabi-lifelu/PUMA 에서 확인할 수 있습니다.

arXiv:2407.18897v3cs.LG공식 코드 · Papers with Code

대규모 언어 모델을 활용한 소분자 최적화

Small Molecule Optimization with Large Language Models

원하는 특성을 가진 분자를 설계하는 과정인 분자 최적화(molecular optimization)는 신약 개발에서 매우 중요한 과제입니다. 최근 대규모 언어 모델(LLM)의 발전은 기존 분자 최적화 알고리즘과 LLM을 결합하여 성능을 향상시킬 수 있는 새로운 기회를 열어주었습니다. 본 연구에서는 분자 및 분자 특성에 대해 학습(training)된 LLM의 생성 역량에 기반하는 진화 알고리즘인 Molecular Language Model powered Evolutionary Algorithm(Mol-E)을 제안합니다. 과학적 기여: Mol-E는 본 연구에서 고려한 비교 가능한 23개 전체 태스크 결과 중 가장 높은 종합 Top-10 AUC를 달성하였으며, 오라클(oracle)을 엄격히 블랙박스로 취급하는 태스크 무관(task-agnostic) 조건에서 17.500, 옵티마이저가 목표에 대한 고정된 의미론적 설명을 제공받는 태스크 정보 기반(task-informed) 조건에서 20.551점을 기록했습니다. 또한 Mol-E는 DRD2, MK2, AChE에 대한 도킹(docking)을 포함한 다중 특성 최적화에서도 평가된 베이스라인들보다 향상된 성능을 보입니다.

arXiv:2411.04440v1q-bio.QM공식 코드 · Papers with Code

AutoProteinEngine: A Large Language Model Driven Agent Framework for Multimodal AutoML in Protein Engineering

Protein engineering is important for biomedical applications, but conventional approaches are often inefficient and resource-intensive. While deep learning (DL) models have shown promise, their training or implementation into protein engineering remains challenging for biologists without specialized computational expertise. To address this gap, we propose AutoProteinEngine (AutoPE), an agent framework that leverages large language models (LLMs) for multimodal automated machine learning (AutoML) for protein engineering. AutoPE innovatively allows biologists without DL backgrounds to interact with DL models using natural language, lowering the entry barrier for protein engineering tasks. Our AutoPE uniquely integrates LLMs with AutoML to handle model selection for both protein sequence and graph modalities, automatic hyperparameter optimization, and automated data retrieval from protein databases. We evaluated AutoPE through two real-world protein engineering tasks, demonstrating substantial performance improvements compared to traditional zero-shot and manual fine-tuning approaches. By bridging the gap between DL and biologists' domain expertise, AutoPE empowers researchers to leverage DL without extensive programming knowledge. Our code is available at https://github.com/tsynbio/AutoPE.

arXiv:2507.03209v2q-bio.QM공식 코드 · Papers with Code

리피드 나노입자(LNP) 전입 효율 예측을 위한 머신러닝 벤치마킹 프레임워크

A Machine Learning Benchmarking Framework for Lipid Nanoparticle Transfection Efficiency Prediction

효율적인 리피드 나노입자(LNP) 매개 RNA 전달을 위한 새로운 이온화성 리피드(ionizable lipid)의 발견은 RNA 치료제 개발에서 여전히 주요 병목으로 남아 있다. 최근 발전은 리피드 구조로부터 직접 전입(transfection) 효율을 예측할 수 있는 머신러닝(ML) 모델의 잠재력을 보여주며, 이는 고처리량 가상 스크리닝을 가능하게 하고 후보 물질(lead) 선별을 가속한다. 그러나 LNP 전입 예측을 위한 새로운 모델이 계속 등장함에 따라, 엄격하고 표준화된 벤치마킹의 부재는 상당한 위험을 초래하며, 발견(discovery) 목적에서의 신뢰성에 대한 확신을 약화시킬 수 있다. 여기서 우리는 이온화성 리피드 구조에 기반한 전입 예측 모델을 평가하기 위한 견고한 ML 벤치마킹 프레임워크를 제시한다. 이 프레임워크는 전통적인 모델, 순전파 신경망(feedforward neural network), 그리고 최신(state-of-the-art) 그래프 기반 방법에 이르는 광범위한 ML 아키텍처와 결합된 다양한 분자 표현(molecular representation)을 체계적으로 벤치마킹한다. 또한, 제시된 프레임워크는 모델 일반화(generalization) 평가를 지원하며, 표준 회귀(regression) 지표를 넘어 예측 신뢰성을 평가한다. Xu et al.이 최초로 보고한 HeLa 전입 데이터셋에서 파생된 1,100개의 고유 이온화성 리피드 구조로 구성된 큐레이션 데이터셋을 사용하여, 이 프레임워크 내에서 명시적 분자 부분구조(substructure) 인코딩을 활용하는 모델들이 지속적으로 최고의 예측 정확도를 달성하며, 보다 정교한 새로운 모델 개발을 위한 필수 베이스라인으로 기능해야 함을 보여준다. 반면, AGILE, Chemprop, KPGT를 포함한 일부 현재의 그래프 기반 모델들은 비교적으로 낮은 정확도를 보이는 경향이 있다. 제시된 프레임워크는 표준화되고 투명하며 포괄적인 벤치마킹 자원을 제공하여, 새롭게 등장하는 아키텍처의 의미 있는 비교를 가능하게 하고 리피드 기반 RNA 전달에서의 예측 모델 향후 개발을 위한 강력한 베이스라인을 확립한다.

arXiv:2312.17670v5cs.CV공식 코드 · Papers with Code

TopCoW 챌린지 -- CT 및 MR 혈관조영술을 위한 위상 인식 윌리스 고리(Circle of Willis) 분할

The TopCoW Challenge -- Topology-Aware Circle of Willis Segmentation for CT and MR Angiography

윌리스 고리(Circle of Willis, CoW)는 뇌의 주요 순환을 연결하는 중요한 동맥 네트워크이다. 그 혈관 구조는 심각한 신경혈관 질환의 위험, 중증도, 예후에 영향을 미치는 것으로 알려져 있다. 그러나 변이가 큰 CoW 해부 구조를 특성화하는 일은 여전히 수동적이고 시간이 많이 걸리는 전문가 작업으로 남아 있다. CoW는 자기공명 혈관조영술(MRA)과 전산화단층 혈관조영술(CTA)이라는 두 가지 비침습적 혈관조영 영상 방식으로 일반적으로 촬영되지만, 주석이 달린 CoW 해부학을 포함한 데이터셋은 거의 없으며, CoW 분할 알고리즘을 비교하기 위한 확립된 벤치마크도 없었다. 우리는 동일 환자의 125쌍 MRA 및 CTA 스캔으로 구성된 주석 CoW 데이터셋을 공개하면서 TopCoW 벤치마크 챌린지를 조직했다. 13개 혈관 구성요소에 대한 복셀 수준 주석은 가상현실 기술을 사용하여 생성되었으며 임상 전문가에 의해 검증되었다. 참가자들은 CoW 분할 및 변이체 분류 알고리즘을 제출했으며, 이를 5개 이상 센터의 226개 스캔으로 구성된 내부 및 외부 테스트 세트에서 평가했다. 벤치마크에는 복셀 수준 분할, CoW 구성요소 검출, CoW 변이체 분류, 그리고 두 가지 임상 응용 과제가 포함된다. 6개 대륙의 250명 이상 참가자로부터 제출물을 받았다. 최고 성능 팀은 CoW 분할에서 90% 이상의 Dice 점수, 주요 혈관 구성요소 검출에서 80% 이상의 F1 점수, 거의 모든 테스트 세트에서 CoW 변이체 분류 시 70% 이상의 균형 정확도(balanced accuracy)를 달성했다. 최상의 알고리즘은 또한 태아형 후대뇌동맥을 정확히 분류하고 CoW 해부학과 관련하여 동맥류를 정위하는 방식으로 임상적으로 관련된 하위 과제를 지원했다. 이 벤치마크는 설명 가능성과 함께 일부 하위 임상 응용에서 CoW 분할 알고리즘의 유용성을 입증했다.

arXiv:2506.01883v3cs.LG공식 코드 · Papers with Code

scDataset: Scalable Data Loading for Deep Learning on Large-Scale Single-Cell Omics

단일세포 오믹스(single-cell omics) 대규모 데이터셋 학습 시 발생하는 I/O 병목 문제를 해결하기 위해, 블록 샘플링(block sampling)과 배치 페칭(batched fetching)을 결합한 PyTorch 데이터 로더 scDataset을 제안한다. 1억 개 세포로 구성된 Tahoe-100M 데이터셋에서 AnnData 파일을 그대로 사용하면서 순수 랜덤 샘플링 대비 100배 이상의 처리 속도 향상을 달성하였으며, 다양한 분류 태스크에서 랜덤 샘플링과 동등한 모델 성능을 유지함을 실증적으로 검증하였다.