DrugLLM: Open Large Language Model for Few-shot Molecule Generation
원문 초록
Large Language Models (LLMs) have made great strides in areas such as language processing and computer vision. Despite the emergence of diverse techniques to improve few-shot learning capacity, current LLMs fall short in handling the languages in biology and chemistry. For example, they are struggling to capture the relationship between molecule structure and pharmacochemical properties. Consequently, the few-shot learning capacity of small-molecule drug modification remains impeded. In this work, we introduced DrugLLM, a LLM tailored for drug design. During the training process, we employed Group-based Molecular Representation (GMR) to represent molecules, arranging them in sequences that reflect modifications aimed at enhancing specific molecular properties. DrugLLM learns how to modify molecules in drug discovery by predicting the next molecule based on past modifications. Extensive computational experiments demonstrate that DrugLLM can generate new molecules with expected properties based on limited examples, presenting a powerful few-shot molecule generation capacity.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
스크래치로부터의 네이티브 멀티모달 사전학습 스케일링
Scaling Native Multimodal Pre-Training From Scratch
대규모 언어 모델(LLM)이 뛰어난 추론 능력을 보여줌에도 불구하고, 텍스트 전용 사전학습에 의존하는 점은 멀티모달 물리적 세계에 대한 인식을 제한합니다. 네이티브 멀티모달 사전학습은 멀티모달 입력을 바탕으로 모델을 스크래치부터 학습(from scratch)함으로써 이러한 한계를 극복하며, 이를 통해 깊은 크로스모달 통합을 달성하고 기존의 후기 융합(late-fusion) 아키텍처에 내재된 최적화 비대칭성을 완화합니다. 이러한 장점에도 불구하고, 이 패러다임의 스케일링(scaling) 특성은 여전히 불완전하게 규명되어 있습니다. 이러한 공백을 해소하기 위해, 본 연구에서는 고정된 계산 예산 하에서 트랜스포머 기반 비전-언어 모델을 학습하기 위한 최적의 모델 크기와 토큰 수를 조사합니다. 연구 결과, 최소 목적 손실은 예측 가능한 연산 법칙을 따르는 반면, 연산 최적의 모델 크기와 토큰 수는 거듭제곱 법칙으로 스케일링됨을 보여줍니다. 특히, 언어 및 멀티모달 목적 함수는 뚜렷이 구분되는 할당 경향을 나타냅니다. 언어 할당 지수는 서로 다른 데이터 혼합 전반에 걸쳐 유사한 범위에 위치합니다. 멀티모달 모델 할당 지수는 멀티모달 토큰 비율에 따라 완만하게 감소하여, 상대적으로 토큰 할당 쪽으로 전환됨을 시사합니다. 또한, 본 스케일링 분석은 예산 보상 규칙을 도출합니다. 구체적으로, 고정된 연산 예산 하에서 네이티브 멀티모달 사전학습에 시각 정보를 통합함으로써 발생하는 텍스트 효율성 저하를 추가적인 멀티모달 토큰 예산으로 상쇄할 수 있습니다. 다운스트림 평가는 네이티브 멀티모달 사전학습이 향상된 공간 추론 및 멀티모달 퓨샷(few-shot) 학습과 연관되어 있음을 추가로 보여줍니다. 전반적으로, 본 실증적 연구는 멀티모달 파운데이션 모델을 예측 가능하게 스케일링하기 위한 필수적인 기반을 마련합니다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
Customising General Large Language Models for Specialised Emotion Recognition Tasks
Boosting Zero-Shot Human-Object Interaction Detection with Vision-Language Transfer
토론
이 논문과 연결된 포럼 글이 아직 없습니다.