저렴한 임베딩은 언제 단백질 언어 모델을 이기는가? 생물학적 서열 분류를 위한 이론적 근거를 갖춘 해싱 스케치
When do cheap embeddings beat protein language models? A theoretically-grounded hashing sketch for biological sequence classification
한국어 초록
동기: ESM-2와 같은 사전학습 단백질 언어 모델(PLM)은 생물학적 서열 과제의 기본 표현이 되었지만, 계산 비용이 크고 임베딩과 미세조정 모두 GPU가 필요하다. 구조 예측과 달리 서열 분류에 실제로 필요한지는 강력하고 원칙적인 경량 대안과 거의 비교 검증되지 않았다. 이 문제는 대규모 게놈 감시처럼 상용 하드웨어에서 수백만 서열 임베딩이 반복적으로 병목이 되는 경우에 직접적인 실용적 함의를 갖는다. 결과: Murmur2Vec을 제안한다. 이는 정렬 불필요·학습 불필요 임베딩으로, 결정적 MurmurHash 함수를 통해 $k$-mer 빈도를 작은 해시 테이블에 집계하며, 고전적 $k$-mer spectrum 커널의 무작위 스케이치로 본다. 내적의 폐형 바이어스/분산, Johnson–Lindenstrauss형 농도 bound를 갖는 편향 없는 signed 변형, 해시 테이블 크기에서 바이어스–분산 trade-off를 명시하는 하류 선형 분류기의 excess-risk bound, 충돌이 빈번한 비판별 $k$-mer보다 희귀한 계통 정의 $k$-mer를 더 손상시키는 암묵적 정규화 메커니즘까지 이론을 완전히 다룬다. 네 가지 분류 과제—SARS-CoV-2 spike 계통(22 클래스), HIV-1 Env 아형(8 클래스), 단백질 패밀리 벤치마크 두 개(8·6 클래스)—에서 Murmur2Vec은 LoRA 미세조정된 6.5억 매개변수 ESM-2 모델과, LoRA 미세조정을 수렴까지 수행한 두 과제(SARS-CoV-2, HIV-1)에서는 동등하고, 단백질 패밀리 두 과제에서는 고정 ESM-2와 동률이며, 가장 어려운 과제(SARS-CoV-2 계통: 정확도 $0.854$ vs. $0.807$; macro-F1 $0.684$ vs. $0.401$)에서는 미세조정 모델을 능가한다.
원문 초록
\textbf{Motivation:} Pre-trained protein language models (PLMs) such as ESM-2 have become the default representation for biological sequence tasks, but they are computationally heavy and require GPUs both for embedding and for fine-tuning. Whether they are actually necessary for sequence \emph{classification}, as opposed to structure prediction, is rarely tested against strong, principled, lightweight alternatives. This question has direct practical stakes for large-scale genomic surveillance, where embedding millions of sequences on commodity hardware is a recurring bottleneck.\\ \textbf{Results:} We introduce Murmur2Vec, an alignment-free, training-free embedding that aggregates $k$-mer counts into a small hash table via the deterministic MurmurHash function, and we cast it as a randomized sketch of the classical $k$-mer spectrum kernel. We provide a complete theoretical treatment: closed-form bias/variance of the inner product, an unbiased signed variant with a Johnson--Lindenstrauss-type concentration bound, an excess-risk bound for downstream linear classifiers that makes the bias--variance trade-off in the hash-table size explicit, and an implicit-regularization mechanism by which collisions damage frequent non-discriminative $k$-mers more than rare lineage-defining ones. Across four classification tasks, SARS-CoV-2 spike lineage (22 classes), HIV-1 Env subtype (8 classes), and two protein-family benchmarks (8 and 6 classes), Murmur2Vec matches a LoRA-fine-tuned 650M-parameter ESM-2 model on the two tasks for which LoRA fine-tuning was run to convergence (SARS-CoV-2 and HIV-1) and ties frozen ESM-2 on the two protein-family tasks, and it \emph{outperforms} the fine-tuned model on the hardest task (SARS-CoV-2 lineage: $0.854$ vs.\ $0.807$ accuracy; macro-F1 $0.684$ vs.\ $0.401$).
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2512.10147v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.