Background: Precision oncology requires integration of heterogeneous molecular and pathology data, yet many fusion models offer limited biologically grounded interpretability and struggle with missing modalities. Methods: We present Hierarchical Interpretable Tensor Fusion (HIT-Fuse), integrating six modalities: somatic copy number variation, DNA methylation, RNA sequencing, microRNA expression, RPPA protein abundance, and vision transformer-derived pathomics across four TCGA cohorts (glioma, lung adenocarcinoma, breast, and kidney cancer). Modality-specific autoencoders compress high-dimensional inputs, followed by two-stage CP tensor decomposition. Missing latent modalities are reconstructed using clinical covariates and observed omics to expand cohorts and retrain downstream models. A mathematical traceback mechanism enables global and local xAI attributions. Results: HIT-Fuse identifies distinct latent subgroups with significant survival stratification in glioma, breast, and kidney cohorts, both with complete and reconstructed modalities. Cohort expansion yields cohort-specific gains, including a 56.4% relative increase in weighted F1 for glioma. Biological validation against DepMap CRISPR screens, miRTarBase and RPPA annotations supports decoded drivers across all four cohorts. Essential gene rates range from 6.2% in glioma to 7.6% in lung cancer; example drivers include ANAPC11, SNRPD1, PLK1 and RPL14. Of decoded miRNAs, 71-92% have miRTarBase regulatory support, while 77-84% of selected genes are covered in DepMap. Conclusions: HIT-Fuse combines hierarchical tensor fusion, missing-modality reconstruction and traceable attributions to support interpretable multi-omics and digital pathology-based cancer prognosis across heterogeneous cohorts.
Genomic foundation models provide variant-level evidence, but connecting that evidence to phenotype hypotheses requires accounting for uncertainty throughout structured reasoning. We introduce an uncertainty-conditioned path-energy framework that converts sequence predictions and calibrated predictive uncertainty into explicit distributions over graph-supported phenotype hypotheses, without patient-level phenotype supervision. An interpretable learned energy scores admissible gene--disease--phenotype routes, query uncertainty controls the target temperature, and path probabilities are aggregated into phenotype hypotheses. This formulation makes evidence quality an explicit determinant of hypothesis breadth while retaining traceable multi-path support. Exact normalization over enumerable candidate sets provides a reference for evaluating a Hastings-corrected learned revision operator. On AlzKB and Hetionet, phenotype-level entropy tracks upstream uncertainty, with Spearman correlations of 0.951 and 0.878, respectively; ablations identify the contribution of uncertainty conditioning. In masked-edge recovery, the model exceeds chance and degree-matched probability-permutation controls. Training the energy under the uncertainty-dependent temperature yields higher held-out recall@10 than training under a constant temperature of comparable magnitude. Under gene hold-out, recall@10 exceeds that of a trained DistMult embedding on 24 of 30 graph masks (0.183 versus 0.123); this difference is attributable mainly to three genes with many variants and is not established for all genes. These results establish an uncertainty-aware interface from genomic predictions to graph-supported phenotype hypotheses that combines interpretable probability allocation with held-out association recovery of explicitly stated scope.
일상적인 H&E 영상으로부터 세포의 RNA 및 단백질 함량을 예측할 수 있다면, 공간 분자 프로파일링을 기존의 슬라이드 아카이브로 확장할 수 있다. 그러나 H&E-공간 단백질체학 및 H&E-공간 전사체학의 쌍 데이터셋은 모두 사용 가능한 마커의 수가 제한적이며, 고품질의 세포 단위 해상도 데이터도 충분하지 않다. 본 논문에서는 단일 오믹스 지도 학습 데이터의 부족 문제를 해결하기 위해 RNA와 단백질 간의 생물학적으로 상보적인 정보를 활용하는 통합 프레임워크인 SCOPE(Single-Cell Omics Prediction via RNA-protein prior Enhancement)를 제안한다. 핵심 아이디어는 RNA와 단백질이 서로 다른 분자 양상을 나타내지만, 이들 사이의 생물학적 관계가 단일 오믹스 예측 과제에 도움이 되는 유용한 공유 지식을 제공한다는 점이다. 이를 위해 SCOPE는 생물학적 지식에 기반한 바이오마커 사전 정보를 도입하여 공유되는 유전자 수준 표현을 강화하며, 유전자-단백질 대응 관계와 분자 간 연관성을 통해 RNA와 단백질 양상 간의 지식 전이를 가능하게 한다. 이러한 상보적 관계를 활용함으로써 SCOPE는 두 예측 과제 모두가 오믹스 간 생물학적 지식으로 강화된 공유 백본의 이점을 얻도록 한다. 나아가 바이오마커 상관관계 설계는 보지 못한 마커의 예측을 가능하게 하여, 공간 해상 분자 프로파일링을 직접 지도된 대상 너머로 확장한다. 16개 장기에 걸친 테스트 데이터셋에서 SCOPE는 가장 강력한 기준 모델 대비 평균 RNA 피어슨 상관계수를 8.8% 향상시켰다. 두 개의 외부 단백질 코호트에서는 가장 강력한 기준 모델 대비 평균 피어슨 상관계수를 학습에 사용된 마커에 대해 9.7%, 보지 못한 마커에 대해 11.9% 향상시켰다.
모티프 발견은 전사인자(TF) 단백질이 결합하는 짧은 패턴인 모티프를 DNA 서열에서 탐색하는 과정이다. 그러나 모티프의 길이는 흔히 알려져 있지 않으며, 모티프 귀속은 관련 단백질의 거의 동일한 모티프와 경쟁하는 경우가 많다. 본 연구에서는 진화 가능한 게이트로부터 길이가 결정되는 모티프 유전자형을 세 가지 기술자 쌍으로 구성된 MAP-Elites 아카이브와 결합하고, 모든 모티프를 HOCOMOCO 전체 데이터베이스에 대해 검증한다. 서로 다른 교란 요인 환경에 걸친 다섯 개의 간 ChIP-seq 데이터셋에서, 생존자 선택만 다른 $({\mu} + {\lambda})$ 기준선은 단일 모티프로 수렴하며 세 개의 데이터셋에서 표적을 한 번도 1위로 순위화하지 못한 반면, 모든 MAP-Elites 아카이브는 모든 데이터셋에서 30개 시드 중 최소 13개에서 이를 달성한다. 동일한 서열에 대해 실행하고 동일하게 검증한 모티프 발견 도구 MEME와 비교하면, 아카이브는 네 개의 데이터셋에서 표적 신호를 동등하게 안정적으로 복원하며 모티프 너비가 제한될 때 더 견고하다. 전체 너비 범위에서는 두 방법 모두 HNF4A와 JUND에서 표적을 가장 가까운 관련 인자보다 높게 순위화하지 못하지만, 좁은 아카이브 모티프는 최대 43%의 시드에서 HNF4A를 1위로 순위화하는 반면 MEME는 모든 설정에서 해당 모티프를 놓친다. 다양성 보존은 일관된 모티프 신호를 복원하는 능력을 향상시키지만, 모티프 주석 달기는 우리가 시험한 모든 방법에 여전히 어려운 문제로 남아 있다.
심층 신경망은 유전체 서열 분류에서 높은 예측 성능을 보이지만, 그 판단을 해석하기는 여전히 어렵다. 본 연구는 경량 합성곱 신경망(CNN)을 개발하고 학습 후 그래디언트 기반 분석을 적용해, 어떤 서열 위치가 코딩 영역과 유전자 사이 영역을 구분하는 데 기여하는지 확인한다. 표준화한 demo_coding_vs_intergenomic_seqs 데이터셋에서 모델은 검증 정확도 91.87%를 달성했으며 해석 가능한 패턴도 드러냈다. 중요도가 일관되게 높은 지점은 아홉 곳이었다. 코딩 클래스는 20~100번 위치에서, 유전자 사이 영역 클래스는 150~190번 위치에서 뚜렷하게 구분됐다. 평균과 분산 사이에는 강한 상관(r = 0.530)이 나타나, 두 클래스를 안정적으로 구분하는 특징이 있음을 보여 줬다. 그래디언트 기반 중요도 분석에 따르면 모델은 명시적인 주석 없이도 생물학적으로 의미 있는 서열 차이를 암묵적으로 학습한다. 이 연구는 신경망의 해석 가능성과 정확도가 양립할 수 있음을 보여 주며, 유전체 서열 분류를 이해하고 생물학적 가설을 세우는 데 활용할 수 있는 프레임워크를 제공한다.
언어 모델은 분자 종양 위원회의 의사결정을 지원하는 도구로 주목받고 있다. 그러나 유전체 근거가 약제 내성을 가리켜도 암 치료를 권할 수 있다. 선별한 종양학 지식 베이스 다섯 개에서 얻은 내성 사례 1,464건에서 모델 열 종을 평가해 판단 58,910건을 수집했다. 모델은 내성이 확인된 치료를 사례의 21.8~81.4%에서 지지했다. 다만 이 비율에는 내성과 약물 감수성을 구분하는 능력 외에도 주어진 의견에 동의하는 경향이 반영될 수 있다. 한 가중치 공개 모델은 내성 사례의 81.4%와 감수성 대조 사례의 82.3%를 지지했다. 이에 유전자와 근거 수준을 맞춘 집단 안에서 치료 지지율을 비교했다. 이는 사전 등록 분석에서 효과가 없거나 약한 결과를 얻은 뒤 정한 탐색적 분석이다. 측정된 실패는 참조 지식 베이스와 근거의 강도에 크게 의존했다. 두 번째 출처가 내성을 독립적으로 확인한 경우, 세 공급업체의 모델 네 종은 해당 치료를 최대 2.4%의 사례에서만 지지했다. 근거 수준이 낮을 때는 구별 능력을 측정할 수 없었다. 모델은 때로 내성을 인정하면서도 해당 치료를 권했다. 모델이 스스로 내성이 있다고 판단한 사례에서 그 결론을 다시 제시하면 치료 지지율이 0.0~3.5%로 줄었다. 반대 결론을 모델 자신의 판단인 것처럼 잘못 제시하면 호스팅 모델 일곱 종 모두에서 지지율이 기준선보다 높아졌으며, GPT-4o에서는 95.2%에 달했다. 특정 결론을 누구의 판단이라고 제시하지 않은 지시는 지지율을 0.9%포인트만 바꿨다. 선별한 정확한 근거를 제공하자 별다른 단서 없이 치료를 강하게 권하는 비율은 0.3~3.5%로 낮아졌다. 이 시험은 근거를 직접 제공하는 오라클 조건에서의 활용 능력을 평가했으며, 검색 능력은 평가하지 않았다.
유전체 파운데이션 모델은 원시 DNA 서열 대신 조밀한 표현을 공유하는 데 점점 더 많이 사용되고 있다. 이는 특히 이후 하위 예측 과제에 사용되는 평균 풀링 표현에서 활발히 추구된다. 이러한 관행이 기저 서열의 프라이버시를 보호하는지는 거의 알려져 있지 않다. 본 연구에서는 DNABERT-2, Evo 2, Nucleotide Transformer v2(NTv2)의 제로샷 임베딩에 대한 모델 역변환을 평가하였다. 상당한 수준의 복원이 여전히 가능하다. 단일 다중 길이 Length-Conditioned Query Decoder는 NTv2 서열을 평균 Levenshtein 유사도 0.98(10 뉴클레오타이드)에서 0.68(100 뉴클레오타이드)까지, Evo 2 서열을 거의 1.00(15 뉴클레오타이드)에서 0.67(100 뉴클레오타이드)까지 복원하였다. DNABERT-2는 더 높은 저항성(0.56에서 0.51)을 보였으나, 짧은 길이에서는 여전히 무작위 기준선을 상회하였다. 이에 따라 인간 DNA 서열의 평균 풀링 표현을 기반으로 Homer의 공격과 유사한 연결 공격이 가능한지도 추가로 평가하였다. SNP가 풍부한 길이 25의 유전자좌와 알려진 좌표에서, Evo 2와 NTv2는 32개 유전자좌에서, DNABERT-2는 256개 유전자좌에서 99%의 식별률에 도달하였다. 정렬 기반 좌표 복구를 사용하면 해당 99% 예산은 Evo 2와 NTv2에서 각각 64개와 128개 유전자좌였으며, DNABERT-2는 보고된 식별 임계값에 도달하지 못하였다. 무작위 유전자좌는 더 큰 예산을 필요로 하였다. 이러한 결과는 평균 풀링 임베딩이 서열과 신원을 유출할 수 있으며, 그 위험은 서열 길이, 표현, 유전자좌의 정보량, 좌표 정보에 따라 달라짐을 보여 준다.
Protein mutation effect prediction is fundamental to protein engineering and disease variant interpretation, yet experimentally measured mutation data remain accurate but extremely sparse. To provide scalable supplementary mutation signals, we construct a PDB-wide mutation augmentation dataset that exhaustively enumerates single-site substitutions on experimentally resolved protein structures and aligns mutation signals from physics-based energy models, protein language models, and inverse folding models. Large-scale analysis under a unified mutation preference representation reveals substantial differences in the consistency, concentration, and substitution patterns of mutation distributions across models, indicating that disagreement is pervasive and reflects conflicting inductive biases rather than random noise. Motivated by these observations, we propose an unsupervised multi-source mutation preference distillation framework that learns from relative mutation preferences while explicitly modeling cross-source disagreement. Without using any experimental mutation labels during training, our approach achieves the best overall performance among the evaluated zero-shot baselines and naive multi-source fusion strategies on ProteinGym. We release the dataset and evaluation pipeline to support reproducible studies of protein mutation effects.
Beta-lactamases are a major mechanism of bacterial resistance to beta-lactam antibiotics; however, their functional diversity and mutational potential in environmental microbial communities remain partially understood. This study aimed to characterize environmental beta-lactamase diversity and investigate how sequence variation influences antibiotic resistance. By integrating protein language model (PLMs) with ensemble learning, we identified more than 46,000 putative beta-lactamases across all four Ambler classes from environmental metagenomes, widely distributed across diverse habitats, with distinct habitat-associated class compositions. The candidates sharing approximately 30% sequence identity with known beta-lactamases conferred resistance to multiple beta-lactam antibiotics when expressed in Escherichia coli. Combining inverse folding model with PLMs further identified mutations that altered resistance profiles, including substitutions that increased resistance to carbapenems. Predicted high-fitness sites exhibited greater natural sequence variability overall, with higher variability in wastewater-derived than ocean-derived enzymes. These findings reveal undercharacterized beta-lactamase diversity and substantial mutational flexibility in environmental microbiomes, providing a basis for investigating their potential contribution to the diversification of antibiotic resistance.
종양의 DNA 돌연변이를 식별하는 것은 암 진단과 치료의 핵심이지만, 진짜 돌연변이와 시퀀싱 아티팩트를 구별하는 일은 오류가 발생하기 쉽다. 실무에서는 고정된 변이 대립유전자 빈도(VAF) 및 깊이 임계값을 사용해 진짜 돌연변이를 식별하는데, 이 방식은 아티팩트와 진짜 돌연변이가 겹치는 경계 영역의 낮은 VAF 구간에서는 둘을 구분하지 못한다. 검사실 전문가가 리드 수준의 시퀀싱 데이터를 수동으로 검사해야 하며, 이는 느리고 평가자 간 변동이 크며 진단 지연을 초래하는 단계이다. 본 논문은 증거를 추론하고 조사용 코드를 생성하며 감사 가능한 추론 흔적과 함께 진짜 여부 또는 아티팩트 여부의 판정을 반환하는 하위 에이전트들로 이러한 리드 수준 검사를 자동화하는 에이전트 프레임워크 AVA(Agentic Variant Adjudication)를 제시하며, 이는 기존 데이터에 대한 학습 없이 이루어진다. 임계값이 실패하는 경계 변이의 부분 표본으로 제한한 SEQC2 DNA-seq 벤치마크와 환자 RNA-seq 데이터 모두에서, 비공개 소스(Claude Sonnet 5)와 오픈 웨이트(GLM 5.3 Flash 및 Gemma 4 31b) 에이전트 모두 달성 가능한 최선의 VAF/깊이 임계값을 능가한다. 결과적으로 AVA는 로컬에 배포된 오픈 웨이트 모델에서 실행할 수 있고 서술적 추론 흔적으로 전문가를 루프에 유지하므로, 개인정보 제약이 있는 임상 배포에 적합하다.
동기: 유전자 조절 네트워크(GRN)는 전사 인자(TF)가 유전자를 조절하는 기저의 상호작용을 나타낸다. 유전자 발현 데이터를 기반으로 하는 기존 GRN 추론 접근법은 일반적으로 두 가지로 나뉜다. GRN을 하나의 전체 그래프로 모델링하는 그래프 기반 방법과, GRN을 개별 TF-표적 유전자 쌍으로 분해하여 모델링하는 쌍별 기반 방법이다. 그러나 각 접근법의 한계는 정확히 상대 접근법의 강점에 해당한다. 그래프 기반 방법은 단일 학습 그래프에 의존하기 때문에 과적합되기 쉬운 반면, 쌍별 기반 방법은 풍부한 TF-표적 학습 쌍의 이점을 누린다. 반대로 쌍별 기반 방법은 조절 기전을 포괄적으로 포착하는 데 필수적인 전역 위상 구조를 간과한다. 결과: 이러한 한계를 해결하기 위해 우리는 전역 조절 위상과 국소 상호작용을 함께 모델링하는 종단간 통합 프레임워크인 scGPL을 제안한다. scGPL은 전역 조절 그래프에서 거시 수준의 특징을 추출하고, 동적이며 중요도에 기반한 부분 그래프 샘플링 메커니즘을 도입하여 세밀한 국소 의존성을 포착한다. 전역 표현을 부분 그래프로 강화된 국소 특징과 융합함으로써, 본 프레임워크는 두 패러다임 사이의 간극을 메우고, 필수적인 전체 그래프 위상 의존성을 반영하면서도 쌍별 방법의 풍부한 데이터라는 이점을 유지한다. 일곱 개의 벤치마크 데이터셋에 대한 폭넓은 실험에서 scGPL은 가장 강력한 기준 모델 대비 최대 13.7%의 향상으로 일관되게 최고 수준의 성능을 달성하여, 통합적 설계의 효과를 검증했다. 가용성 및 구현: 소스 코드는 GitHub(https://github.com/talent-hang/scGPL)에서 관리되며, 재현성을 위해 데이터셋과 버전별 릴리스는 https://doi.org/10.5281/zenodo.21608485 에 보관되어 있다.
한 요인이 달랐다면 관찰된 세포가 어떻게 보였을지를 예측하는 단일 세포의 반사실 편집은 실험이 불가능한 곳에서 in-silico 스크리닝을 가능하게 하지만, 편집이 조건에만 충실한 것이 아니라 개별 세포에 충실할 때에만 유용하다. 개념 병목 생성 모델은 세포의 표현을 알려진 요인과 알려지지 않은 요인으로 분해하여 개입의 효과를 해석 가능하게 한다. 기존 연구는 알려진 차원과 알려지지 않은 차원을 분리하기 위해 선형 교차 공분산 페널티를 사용한다. 우리는 이러한 1차 기준이 비선형 상호작용이 존재할 때 정보를 완전히 분리하지 못함을 보인다. 먼저 통제된 편집과 알려진 비선형 공변량 효과를 가진 시뮬레이션 실험으로 선형 교차 요인 페널티의 부적절함을 입증한다. 이어서 비선형 커널 기준인 정규화 힐베르트-슈미트 독립성 기준을 추가하면 시뮬레이션 데이터에서 실제 개입 효과를 복원할 수 있음을 보인다. 마지막으로 비선형 개념 병목 모델을 복잡한 단일 세포 RNA-seq 데이터셋에 적용하여, 서로 다른 조직 환경에서 세포의 반사실적 발현 프로파일을 생성하는 능력이 향상됨을 확인한다.
AI 에이전트가 데이터 분석을 점점 더 자동화하고 있으나, 책임 있는 도입에는 신뢰할 수 있는 성능 평가가 필요하며, 이는 전문 과학 분야에서 비용이 많이 든다. 우리는 과학 논문을 AI 에이전트를 위한 감사 가능한 벤치마크로 변환하는 프레임워크를 소개하고, 공간 전사체학 정렬 과제에 대한 적용을 시연한다. 121개 과제, 16개 기준 방법, 6개 AI 에이전트에 걸쳐, 최고 성능의 에이전트(GPT-6-Astra와 Gemini-4-Argon)는 과제의 80%에서 모든 기준 방법과 동등하거나 더 나은 성능을 보였으며, 종종 놀랄 만큼 단순한 휴리스틱을 사용했다. 에이전트 성능은 프롬프트 방식과 사전 설치된 패키지 접근 여부에 대해 견고했다. 벤치마크 구축 과정에서 기존 연구의 오류와 현행 평가 지표의 지름길도 발견되었다. 마지막으로, 에이전트가 생성한 해법을 재사용 가능한 프로그램으로 증류할 수 있으며, 이 프로그램이 보지 못한 데이터에서 기준 방법 중 상위 10%에 든다는 것을 보인다. 우리의 프레임워크는 기존 논문과 지표를 활용하고 스트레스 테스트함으로써 전문 과학 분야에서 AI 에이전트를 평가하는 확장 가능한 방법을 제공한다.
현재의 단일 세포 클러스터링 파이프라인은 대부분의 유전자를 버리며 무작위 시드에 따라 일관되지 않은 클러스터를 산출할 수 있다. 본 논문은 재현 가능한 전체 전사체 클러스터링을 위한 학습이 필요 없는 하이브리드 양자-고전 프레임워크 KQE-2를 소개한다. KQE-2는 세포를 얽힘이 없는 양자 상태로 매핑하여 고전 하드웨어에서 정확한 특징 평가를, 양자 프로세서에서 직접적인 검증을 가능하게 한다. 이론적으로 얽힘을 제거하는 것이 단일 큐비트 특징 분산을 국소적으로 제한하기 위한 필요충분조건임을 증명한다. 실제로 scVI를 재학습하면 세포의 14%가 이동하고 희귀 유형 마커와 약물 표적이 바뀌었지만, KQE-2는 실행 간에 동일한 생물학적 결과를 제공했다. 표준 고변이 유전자에서 양자 인코딩만으로 발달 중인 피질의 정확도가 0.61에서 0.79로 상승했다. KQE-2는 서버 한 대에서 1,140만 개의 핵까지 확장되며, 완전한 아틀라스 열 개 중 여덟 개에서 비교 방법들을 능가하고(두 개에서는 최고 방법의 실행 간 범위 이내), 표준 하류 클러스터링에서도 여섯 개에서 앞선다.
유전적·화학적 개입에 대한 단일세포 전사 반응을 예측하는 것은 유전자 기능 발견과 조절 분석을 뒷받침한다. 기존 연구는 흔히 고변이 유전자에만 초점을 맞추어, 후속 분석에 활용할 수 있는 발현 변화가 제한된다. 동일한 개입에 노출된 세포들도 서로 다른 정도로 활성화되는 협調된 유전자 프로그램과 함께 이질적인 발현 반응을 보일 수 있다. 본 논문은 발현 적응형 유전자 모듈과 집단 조건부 생성을 연결하여 이러한 이질성을 모델링하는 전 유전자 섭동 예측 프레임워크인 scBIG++를 제안한다. 공유된 유전자 구조를 보존하면서 세포 간 변이를 수용하기 위해, Gene-Relation Clustering은 유전자를 공통 윈도우로 조직하고, 각 윈도우 안에서 Dynamic SoftSub가 발현에 의존하는 하위 모듈 소속도를 학습한다. 이러한 공유 조직 덕분에 Set-GCAE는 대조 세포들 사이에서 대응하는 유전자 그룹에 관한 정보를 교환하여, 개별 표현을 원천 집단의 맥락 속에 위치시킨다. 세포 표현은 잠재 흐름(latent flow)을 초기화하며, 이들의 풀링된 요약과 섭동 표현이 반응 생성의 조건으로 작용한다. 생성된 상태는 전처리 후 유지된 분석 대상 단백질 코딩 유전자 전체를 포괄하는 발현 프로파일로 디코딩되어, 섭동으로 유도된 발현 변화에 대한 포괄적 분석을 지원한다. 6,539~19,451개 유전자에 걸친 여섯 가지 유전적·화학적 설정에서 수행한 실험은, 미관측 표적과 조합, 세포주 간 전이, 보류된 화합물 조건에서 경쟁력 있는 섭동 효과 복원과 전 유전자 발현 재구성을 보여 준다. 구현은 https://github.com/ttruan2426-dot/scBIG 에서 공개되어 있다.
유전자 요약문에는 해당 텍스트의 임베딩을 평가하는 데 쓰이는 바로 그 주석이 포함되어 있을 수 있다. Alliance of Genome Resources는 Gene Ontology(GO) 주석을 문장으로 변환하며, NCBI Gene은 이를 표시하고 GenePT는 이를 입력에 포함한다. 이러한 요약문은 사람 단백질 코딩 유전자 19,256개 중 6,172개(32.1%)를 포괄했으며, 연결된 논문이 1~10편인 유전자의 58%를 포함했다. 우리는 생성된 요약문을 포함한 경우와 제외한 경우로 동일한 코퍼스를 임베딩하고, 각 버전에 대해 기능 예측 프로브를 다시 학습시켰다. 논문이 1~10편인 유전자에서 요약문을 제거하면 보고된 유전자별 수신자 조작 특성 곡선 아래 면적(AUROC)이 선형 프로브에서는 0.078(95% 부트스트랩 구간 0.072-0.084), 다층 퍼셉트론에서는 0.033 감소했다. 이 추정치는 동점을 잘못 처리하던 과거의 GO 채점기를 사용한 것이다. 원래의 예측값은 구할 수 없어 다시 채점할 수 없다. 단순한 TF-IDF 인코더도 요약문의 이점을 얻었으며, 실험적 주석만으로 평가한 모델도 마찬가지였다. 생성된 요약문을 UniProt 기능 설명으로 대체하자 문자 그대로의 중복이 적었음에도 손실된 성능의 상당 부분이 회복되었다. UniProt은 평가 레이블의 상당수도 큐레이션한다. 마우스와 효모에서도 설명의 출처에 대한 유사한 의존성을 확인했다. 우리는 동일한 텍스트에서 인코더를 비교하고, GO 복원, GO가 아닌 종점, 공동 필수성에 걸쳐 표현 순위가 어떻게 달라지는지 살펴보기 위해 GeneProv를 제안한다.
데이터 가지치기는 추가적인 학습 신호에 거의 기여하지 않는 예시를 제거함으로써 학습 비용을 크게 줄일 수 있으나, DNA 언어 모델 사전학습에 대해서는 연구되지 않았다. 우리는 모델이 예측하기 쉬워진 유전체 서열을 제거하는 동적 가지치기 프레임워크인 서열 가지치기(Sequence Pruning, SP)를 소개한다. SP는 모델의 순전파에서 직접 계산한 서열별 사전학습 정확도를 사용하므로 별도의 점수 모델이나 말뭉치에 대한 추가 패스가 필요하지 않다. 두 가지 말뭉치, 세 가지 모델 계열, MLM 및 CLM 목적 함수를 아우르는 다섯 가지 사전학습 설정에서 SP를 평가하였으며, 다운스트림 평가는 다섯 개의 유전체 벤치마크에서 수행하였다. SP는 다운스트림 성능을 대체로 유지하면서 사전학습 데이터 처리량을 최대 96%까지 줄인다. 적당한 절감 수준에서는 가지치기가 전체 데이터 사전학습 대비 성능을 최대 1.2 MCC 포인트 향상시키며, 가장 높은 절감 수준에서는 성능 손실이 거의 없이 기준선 GPU 시간의 4%만으로 사전학습을 수행한다. SP는 또한 대부분의 비교에서 동적 가지치기 방법인 InfoBatch와 BPAS를 능가한다. 정확도 외에도 우리의 프레임워크는 퍼플렉서티와 EL2N 같은 대체 기준을 지원하지만, 동일한 절감 수준에서는 정확도가 가장 강력한 다운스트림 성능을 낸다. 이러한 결과는 유전체 사전학습이 가용한 모든 서열을 반복적으로 처리할 필요가 없으며, 동적 서열 수준 가지치기가 데이터 및 계산 효율을 크게 향상시킬 수 있음을 보여 준다. 코드는 https://github.com/FaiasPromit/pruning-dna-sequence 에서 확인할 수 있다.
대규모 섭동 모델에는 화학적, 세포적, 분석법 측면의 다양성을 아우르는 학습 데이터가 필요하다. 그러나 저분자 모델링을 위한 현재의 전사체 자료는 기술, 메타데이터 규약, 대조군, 용량, 전처리 파이프라인에 걸쳐 분절되어 있다. 우리는 8가지 분석 유형에 걸쳐 3만 7천 개 이상의 화합물, 136개의 세포 맥락, 125만 개의 전사체 샘플로 구성되고, 표준화된 식별자와 메타데이터, 반복 실험을 고려한 조건 수준 효과를 갖춘 조화된 다중 데이터셋 자료인 Chem-PerturBridge를 소개한다. 우리는 이 자료를 사용하여 데이터셋 간 일치 조건의 일치도와 데이터셋 내 반복 실험의 일치도를 평가한다. 동일 화합물의 일치 조건은 대부분의 데이터셋 쌍에서 세밀한 $\mathrm{logFC}$ 순위와 크기에 대해 절대적으로 약한 일치도를 보인다. 그러나 이는 대체로 동일 맥락의 서로 다른 화합물 개별 시그니처를 능가하면서도, 그러한 시그니처의 평활화된 중심(centroid)에는 못 미치는 경우가 많다. 동일 화합물 검색은 모든 쌍에서 우연 수준을 넘는다. $\mathrm{LogFC}$ 방향 일치도는 절대적으로 높으며 대부분의 경우 두 기준선을 모두 능가한다. 우리는 또한 Chem-PerturBridge를 화합물 표현 학습을 위한 사전 학습 자료로 평가한다. 화합물을 홀드아웃한 OP3 평가 분할에서, Chem-PerturBridge로 사전 학습한 임베딩은 L1000 단독 임베딩, Morgan 지문, 화학 언어 모델 임베딩, 기술자를 쓰지 않는 OP3 기준선보다 모든 지표에서 향상된다. 11개 데이터셋에 걸친 광범위한 분자 홀드아웃 평가는 Chem-PerturBridge로 학습한 모델이 그렇지 않은 모델보다 우수하거나 대등함을 추가로 보여 준다. 따라서 Chem-PerturBridge는 데이터셋 간 시그니처 일치도의 진단적 평가와 이질적인 섭동 전사체 데이터의 모델 지향적 재사용을 모두 지원한다.
긴 문맥 DNA 모델링은 계산 비용이 크며, 이로 인해 기존 접근법은 균일한 다운샘플링으로 서열 길이를 줄여 왔다. 그러나 기능적 정보와 서열 중복성은 게놈 전체에 고르게 분포하지 않으므로, 기능적으로 밀집된 영역에서는 더 세밀한 해상도를, 중복된 서열에서는 더 강한 압축을 필요로 한다. 우리는 제한된 토큰 예산을 어디에 할당할지 학습하는 영역 인식 DNA 압축 프레임워크 GeneZip을 소개한다. H-Net 방식의 동적 라우팅을 기반으로, GeneZip은 학습 중 압축 목표를 지정하기 위해 GENCODE 유전자 주석에서 도출한 영역 레이블을 사용하는 영역 인식 비율 목적 함수와, 안정적인 토큰 수를 위한 제한된 라우팅을 결합한다. 추론 시에는 주석 없이 원시 DNA를 압축한다. GeneZip은 세 가지 주요 이점을 제공한다. 첫째, 높은 압축률에서도 예측 유용성을 보존한다. GeneZip-70M은 137.6배 압축을 달성하면서 비압축 Mamba2-84M 대비 검증 퍼플렉시티 증가는 0.31에 그치며, 누출이 통제된 사전 학습을 사용하는 압축 모델 중에서 네 가지 DNALongBench 과제에 걸쳐 가장 좋은 평균 순위를 기록한다. 둘째, 창발적인 반복 인식 압축과 함께 영역 인식 할당을 학습한다. 대체 영역 사전 분포는 과제에 따라 성능 상충 관계를 낳는다. 반복 서열에 대한 별도의 지도 없이도, GeneZip은 전이인자 유래 반복과 직렬 반복을 대응되는 비반복 서열보다 더 강하게 압축하며, 직렬 반복 압축 선호는 추가 학습 없이 9종 평가 패널로 전이된다. 셋째, 효율적인 긴 문맥 모델링을 가능하게 한다. 450-kb 입력에서 GeneZip-70M은 단일 H100 GPU에서 JanusDNA-7.7M보다 36.1배 높은 추론 처리량을 달성한다.
단일 세포 RNA 시퀀싱(scRNA-seq) 데이터는 강하고 재현 가능한 통계적 구조를 보인다. 이에 따라 유전자를 잠재 벡터 공간에 임베딩하여 유전자 발현에 대한 생성 모델을 학습하는 트랜스포머 기반 아키텍처를 사용하는 TranscriptFormer와 같은 대규모 파운데이션 모델이 개발되었다. 이러한 임베딩은 세포 유형 분류, 질병 상태 예측, 종 간 학습과 같은 하위 과제에서 최첨단(SOTA) 성능을 얻는 데 사용되어 왔다. 본 연구에서는 계산 집약적인 딥러닝 기반 표현을 사용하지 않고도 유사한 성능을 달성할 수 있는지 묻는다. 세심한 정규화와 선형 방법에 의존하는 단순하고 해석 가능한 파이프라인을 사용하여, 우리는 단일 세포 파운데이션 모델을 평가하는 데 흔히 쓰이는 여러 벤치마크에서 SOTA 또는 SOTA에 근접한 성능을 얻었으며, 여기에는 학습 데이터에 없던 새로운 세포 유형과 생물종을 다루는 분포 외 과제에서 파운데이션 모델을 능가한 결과도 포함된다. 우리의 결과는 엄밀한 벤치마킹의 필요성을 강조하며, 세포 정체성의 생물학이 단일 세포 유전자 발현 데이터의 단순한 선형 표현으로 포착될 수 있음을 시사한다.