arXiv:2311.07361

The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

Microsoft Research AI4Science, Microsoft Azure Quantum

제출 2023-11-13

원문 초록

In recent years, groundbreaking advancements in natural language processing have culminated in the emergence of powerful large language models (LLMs), which have showcased remarkable capabilities across a vast array of domains, including the understanding, generation, and translation of natural language, and even tasks that extend beyond language processing. In this report, we delve into the performance of LLMs within the context of scientific discovery, focusing on GPT-4, the state-of-the-art language model. Our investigation spans a diverse range of scientific areas encompassing drug discovery, biology, computational chemistry (density functional theory (DFT) and molecular dynamics (MD)), materials design, and partial differential equations (PDE). Evaluating GPT-4 on scientific tasks is crucial for uncovering its potential across various research domains, validating its domain-specific expertise, accelerating scientific progress, optimizing resource allocation, guiding future model development, and fostering interdisciplinary research. Our exploration methodology primarily consists of expert-driven case assessments, which offer qualitative insights into the model's comprehension of intricate scientific concepts and relationships, and occasionally benchmark testing, which quantitatively evaluates the model's capacity to solve well-defined domain-specific problems. Our preliminary exploration indicates that GPT-4 exhibits promising potential for a variety of scientific applications, demonstrating its aptitude for handling complex problem-solving and knowledge integration tasks. Broadly speaking, we evaluate GPT-4's knowledge base, scientific understanding, scientific numerical calculation abilities, and various scientific prediction capabilities.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2508.13408v3cs.LG공통 태그 Language Modelling, Drug Discovery

화학 언어 모델의 스케일링 한계에 대한 대규모 연구

A Large Scale Investigation of Scaling Limits in Chemical Language Models

화학 언어 모델(CLM)은 최근 모델(model) 규모, 연산량 및 데이터셋(dataset) 크기의 성장에 힘입어 신약 설계(de novo drug design)에 점점 더 많이 활용되고 있다. 그러나 설계 선택, 학습(training) 역학, 그리고 다운스트림 생성 품질 간의 관계는 여전히 잘 이해되지 않고 있다. 본 논문에서는 분자 표현(SMILES, SELFIES, SAFE), 토큰화(원자 수준 및 바이트 페어 인코딩), 모델 규모(0.5M~1B 매개변수), 누출이 통제된 데이터셋(MOSES, ChEMBL, PubChem, ZINC-22), 아키텍처(디코더 전용 및 인코더-디코더) 전반에 걸쳐 30,000회 이상의 실험으로 구성된 연산량 통제 CLM 스케일링(scaling) 연구를 제시한다. IsoFLOP 프로파일을 피팅하여 사전학습(pre-training) 손실(loss)의 명확한 스케일링 경향을 확립했으나, 이러한 개선이 목표 지향적 분자 설계에서의 상응하는 성능 향상으로 이어지지 않음을 확인했다. 층(layer)별 프로빙 및 희소 오토인코더 분석은 화학적 표현의 지속적인 발전을 보여준다. 즉, 화학적 구문은 조기에 포화되는 반면 의미론적 특성은 더 천천히 나타나며 추가적인 학습과 모델 규모 확장을 통해 점진적으로 접근 가능해진다. 이러한 표현적 이득은 평가된 프로토콜 및 오라클 예산 하에서 목표 지향적 생성의 개선세가 감소하는 현상과 공존한다. 본 연구를 통해 도출된 모델 제품군인 NovoMolGen은 최첨단(state-of-the-art) 결과를 달성하여, 신약 개발 작업 전반의 목표 지향적 분자 생성에서 기존 CLM 및 특화된 생성 모델을 능가한다. 이러한 발견은 화학적 표현 학습과 다운스트림 분자 설계 사이의 단절을 드러내며, 화학적 의미론을 보다 직접적으로 학습하는 사전학습 패러다임 개발의 필요성을 시사한다.

arXiv:2607.03863v2cs.CL공통 태그 Drug Discovery, scientific discovery

에이전틱 시대의 과학적 발견 재고

Rethinking Scientific Discovery in the Agentic Era

인공지능은 과학적 발견을 발전시켜 왔지만, 대부분의 AI4Science 시스템은 문제 공식화, 문헌 그라운딩, 모델 활용, 시뮬레이션, 검증, 지식 재활용을 인간이 조율하는 데 의존하는 단편적인 도구로 남아 있다. 본 논문은 에이전틱 조직적 연결 허브 기반의 과학적 협력 혁신 시스템인 SCION(Scientific Collaborative Innovation with Agentic Organizational Nexus)을 제안한다. SCION은 조직적 연결 허브(organizational nexus)로서 기능하는 에이전틱 과학 운영 체제이다. 메타-하네스(Meta-Harness)로 작동하는 사이언스 에이전트(Science Agent)를 통해, SCION은 과학적 태스크, 도구, 에이전트, 아티팩트, 메모리를 연결하여 연구를 실행 가능하고 감사 가능하며 재사용 가능한 운영 프로세스로 전환한다. 핵심에는 연구 실행 계획(Research Execution Plan, REP)이 있으며, 이는 고수준의 과학적 의도를 단계적 목표, 의존성, 검증 체크포인트, 도구 요구사항, 예상 아티팩트, 폴백 조건으로 컴파일한다. SCION은 장기적 과학 연구를 지원하기 위해 계층적 멀티 에이전트 실행, 프로파일 기반 전문화, 선택적 컨텍스트 구성, 통제된 위임, 층화된 인식론적 메모리를 추가로 통합한다. 우리는 SCION 하에서의 발견을 목표 조건부 역탐색(Target-conditioned Inverse Search)으로 공식화하고, 유한한 실험 예산 하에서의 배치 능동 탐색을 통해 숨겨진 목표 설정으로 이를 확장한다. 소재 분석, 분자 설계, 단백질 또는 항체 스크리닝 응용 사례와 함께 과학적 읽기, 아이디어 생성, 분자 생성, 항체 스크리닝에 대한 실험을 통해, SCION이 기존 자율 연구 에이전트 기준선을, 특히 분해, 검증, 정제, 메모리 재사용 측면에서 능가함을 보인다. 전반적으로 SCION은 AI를 고립된 도구에서 추적 가능하고 재사용 가능한 과학적 혁신을 위한 조율된 운영 층으로 전환시킨다.

arXiv:2607.05691v1cs.CL공통 태그 Language Modelling, Drug Discovery

어디서 자를 것인가, 얼마나 깊이: 화학 SMILES에서의 BPE와 유니그램 언어 모델

Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES

SMILES를 입력으로 받는 모든 화학 언어 모델은 토크나이저에서 시작하지만, 이 분야는 자연어 처리의 바이트 페어 인코딩(BPE)을 충분한 검토 없이 그대로 차용해 왔다. 자연어 처리에서 BPE의 주된 대안인 유니그램 언어 모델(Unigram-LM)은 구조적으로 상이한 어휘를 구성하는 것으로 알려져 있으나, 이러한 차이가 화학 영역에서도 나타나는지는 미해결 문제였다. 본 연구는 고정된 165개 토큰의 화학 기반 어휘 위에서, 토큰 임베딩이 학습 가능한 소규모 어휘 크기 구간에서, 세 가지 코퍼스 유형(다양성, 의약품 유사, 천연물)과 두 가지 사전 토큰화 경계 정책에 걸쳐 BPE와 유니그램 언어 모델을 통제된 방식으로 비교한 결과를 보고한다. 두 알고리즘은 수렴하지 않는다. 22개의 대응 조건 전부에서 두 알고리즘은 거의 겹치지 않는 서브워드 어휘를 구성하며, 학습된 조각에 대한 알고리즘 간 자카드(Jaccard) 중첩은 0.161을 초과하지 않고, 모델이 가장 많이 업데이트하는 고빈도 조각에 가중치를 부여하면 최대 0.05에 불과하다. 유니그램 언어 모델은 또한 보류 분자를 29~41% 더 많은 토큰으로 분절하며, 두 알고리즘은 어디서 자를지에 대해서는 대체로 일치하지만 얼마나 깊이 자를지에 대해서는 일치하지 않으므로, BPE의 분절은 분자의 80~99%에서 유니그램 언어 모델 분절의 엄격한 거친 버전에 해당한다. 이 분리는 코퍼스, 경계 정책, 어휘 크기에 걸쳐 유지되며, 해당 규모의 8배에서도 지속된다. 따라서 서브워드 알고리즘은 자유롭게 선택할 수 있는 기본값이 아니라 모델링 결정 사항이다. 본 연구에서는 언어 모델을 학습하지 않는다.

arXiv:2607.04508v1cs.AI공통 태그 Drug Discovery, scientific discovery

검증 병목 압축: 과학적 발견을 위한 에이전틱 자율 실험실

Compressing the Validation Bottleneck: An Agentic Self-Driving Lab for Scientific Discovery

과학을 위한 에이전틱 AI는 아이디어 발굴, 계획, 분석을 자동화할 수 있지만, 최종 검증(validation)은 여전히 실제 실험에 의존한다. 자율 실험실(SDL, self-driving lab)은 이러한 실험을 수행할 수 있지만, 루프에는 여전히 병목이 존재한다: 에이전트(agent)가 가치 낮은 실험에 너무 많은 라운드를 소비하거나, 각 라운드에 비용이 높은 실험이 요구될 수 있다. 우리는 하나의 에이전트로 이 두 가지 물리적 병목을 해결한다. 첫째, 사전 인식(prior-aware) 에이전틱 실험 설계(DOE) 루프는 도메인 지식과 과거 결과를 활용하여 실현 가능하고 정보성 높은 다음 실험을 제안함으로써 목표 달성에 필요한 시도 횟수를 줄인다. 둘째, 비용 인식(cost-aware) 대리 에이전트(surrogate agent)는 저비용·저해상도 측정으로부터 고비용·고해상도 측정을 예측하며, 예측된 불확실성을 기반으로 고비용 측정과 저비용 측정 중 하나를 선택한다. 우리는 이 두 방향을 각각 생물학 및 재료 도메인에서 검토한다. 단일 에이전트 아래 결합된 이러한 구성 요소들은 루프 수와 실험당 비용을 모두 줄임으로써 SDL 루프를 가속화하는 것을 목표로 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.