arXiv:2112.10068

Lerna: Transformer Architectures for Configuring Error Correction Tools for Short- and Long-Read Genome Sequencing

Atul Sharma, Pranjal Jain, Ashraf Mahgoub, Zihan Zhou, Kanak Mahadik, Somali Chaterji

제출 2021-12-19

원문 초록

Sequencing technologies are prone to errors, making error correction (EC) necessary for downstream applications. EC tools need to be manually configured for optimal performance. We find that the optimal parameters (e.g., k-mer size) are both tool- and dataset-dependent. Moreover, evaluating the performance (i.e., Alignment-rate or Gain) of a given tool usually relies on a reference genome, but quality reference genomes are not always available. We introduce Lerna for the automated configuration of k-mer-based EC tools. Lerna first creates a language model (LM) of the uncorrected genomic reads; then, calculates the perplexity metric to evaluate the corrected reads for different parameter choices. Next, it finds the one that produces the highest alignment rate without using a reference genome. The fundamental intuition of our approach is that the perplexity metric is inversely correlated with the quality of the assembly after error correction. Results: First, we show that the best k-mer value can vary for different datasets, even for the same EC tool. Second, we show the gains of our LM using its component attention-based transformers. We show the model's estimation of the perplexity metric before and after error correction. The lower the perplexity after correction, the better the k-mer size. We also show that the alignment rate and assembly quality computed for the corrected reads are strongly negatively correlated with the perplexity, enabling the automated selection of k-mer values for better error correction, and hence, improved assembly quality. Additionally, we show that our attention-based models have significant runtime improvement for the entire pipeline -- 18X faster than previous works, due to parallelizing the attention mechanism and the use of JIT compilation for GPU inferencing.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15965v1cs.LG공통 태그 GPU, Language Modelling

반복 데이터 사전학습 스케일링: 배치 크기, 정규화 및 GPU-시간 트레이드오프

Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs

본 연구에서는 연산량은 풍부하지만 고유한 학습(training) 데이터가 유한하여 동일한 데이터에 대한 반복 학습이 필요한 환경에서의 사전학습(pre-training)을 다룹니다. 먼저 무한 연산량 사전학습(Kim et al. 2026)을 재검토하여, 그 프론티어가 기존에 고정되었거나 개별적으로만 연구되었던 선택 사항들에 결정적으로 의존함을 보입니다. 특히 에포크(epoch) 수와 함께 배치(batch) 크기를 최적화하면 검증 손실(validation loss)과 배치 크기 사이에 U자형 관계가 나타나 일반적인 사전학습보다 더 작은 배치를 선호하게 됨을 밝히며, 이는 소배치 그래디언트(gradient) 노이즈가 암묵적 정규화(implicit regularization)를 제공하기 때문인 것으로 보입니다. 나아가 기존에 단일 패스 가정 하에서 최적화되었던 학습 레시피를 조정할 수 있음을 확인했습니다. 예를 들어 에포크마다 문서를 새로운 시퀀스로 재패킹하는 것, 가중치 공유(weight tying), 그리고 양의 임베딩 가중치 감쇠(positive embedding weight decay) 등이 있습니다. 이후 무한 연산량 가정을 완화합니다. 특히 일반적인 경우보다 작은 배치 크기는 지나치게 긴 순차적 학습 시간을 요구할 수 있으므로, GPU와 시간을 별개의 자원으로 다루어야 할 필요성이 발생합니다. 마감 기한이 촉박할수록 더 큰 배치가 유리하며, 지연 시간 중심의 병렬 처리를 통해 추가 GPU를 투입하여 학습 시간을 단축할 수 있습니다. 그럼에도 불구하고 고정된 시간 예산 내에서도 더 적은 수의 GPU와 작은 배치를 사용하는 것이 더 많은 GPU와 큰 배치를 사용하는 것보다 더 낮은 검증 손실을 달성할 수 있으며, 이는 마감 기한 내에서 GPU 활용도를 극대화하기 위해 데이터 병렬 처리를 늘리는 일반적인 관행에 도전합니다. 종합적으로 본 연구 결과는 반복 데이터 학습에서 충분히 탐구되지 않았던 요인들을 식별하고, 단일 패스 사전학습 대비 학습 레시피와 자원 할당이 어떻게 변화해야 하는지에 대한 구체적인 지침을 제공합니다.

arXiv:2606.21023v2cs.LG공통 태그 GPU

LLM 추론의 수치적 불안정성 규명: HEAL을 통한 미션 크리티컬 태스크의 재현 가능한 추론 달성

Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL

대규모 언어 모델(LLM)이 금융, 의료, 법률과 같은 미션 크리티컬 영역에 배포되면서 출력 재현성은 엄격한 시스템 요구사항이 되었다. 실무자들은 알고리즘적 확률성을 제거하기 위해 탐욕적 디코딩을 사용하지만, 16비트 정밀도를 사용하는 실제 배포 환경에서는 이기종 GPU 간에 치명적인 출력 불일치가 여전히 나타난다. SASS 수준 프로파일링을 통해 이러한 불일치가 근본적으로 커널 경계에서 다운캐스팅 중 발생하는 절단 오차에 의해 유발됨을 밝힌다. 그러나 전역 FP32 파이프라인으로 재현성을 확보하면 과도한 시스템 비용이 발생한다. 16비트 하드웨어 가속기를 우회하면 연산 효율이 떨어지고, KV 캐시를 상향 캐스팅하면 메모리 오버헤드가 두 배가 된다. 이러한 간극을 메우기 위해 FP32 정밀도를 근사하면서 두 가지 표적 메커니즘으로 하드웨어 제약을 해결하는 표적 개입 기법인 하이브리드 오차 완화(Hybrid Error ALleviation, HEAL)를 제안한다. 첫째, 부동소수점 형식이 Q, K, V 텐서에 대해 비트 폭을 충분히 활용하지 못한다는 점에 착안하여, HEAL은 KV 캐시 점유량을 늘리지 않으면서 수치 안정성을 보존하는 INT16 양자화를 적용한다. 둘째, HEAL은 대수적 오차 보상 전략을 통해 고정밀 행렬 곱셈을 합성하며, 이를 전적으로 고처리량 16비트 텐서 코어에서 실행한다. 접근법을 실용적으로 평가하기 위해 미션 크리티컬 작업의 재현성을 겨냥한 벤치마크인 MCR-Bench를 소개한다. HEAL은 다운스트림 작업에서 FP32 기준선과 동일한 수준의 재현성을 달성하면서 성능 오버헤드를 최대 6.0$\times$까지 줄인다.

arXiv:2609.28870v3cs.DC공통 태그 GPU

정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고

When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse

장시간 실행되는 LLM 애플리케이션과 자율 에이전트는 점점 늘어나는 컨텍스트를 반복적으로 전송하므로, 프리픽스 캐싱은 프리필 비용을 줄이는 데 매우 중요하다. 이는 수십 년간의 전통적인 캐시 관리 기법이 에이전트형 및 대화형 LLM 서빙에 그대로 적용되는가라는 근본적인 질문을 제기한다. 우리는 200억 개가 넘는 처리 토큰으로 구성된 실제 서비스 트레이스를 분석하고, 용량이 제한된 HBM 환경과 대규모 메모리 풀 환경에서 14가지 축출 알고리즘을 평가한다. 그 결과, 단순한 LRU(Least Recently Used)가 놀라울 정도로 견고하여 정교한 전통적 정책과 대등한 성능을 보이지만, 벨라디(Belady)의 최적 해와는 여전히 상당한 격차가 남아 있음을 확인한다. 그 이유는 구조적이다. 프리픽스 재사용은 활성 세션의 꾸준한 진행 속도에 의해 좌우되므로, 최근 사용 여부가 축출에 대해 이례적으로 강한 예측 변수가 된다. 그럼에도 프리픽스 캐싱은 최근성이 무시하는 측면에서 전통적 워크로드와 다르며, 특히 단일 턴 요청의 만연, 극단적인 세션 크기 편중, 어텐션 연산이 토큰 깊이에 따라 증가하기 때문에 발생하는 매우 불균일한 미스 비용이 그러하다. 최적과의 격차를 줄이기 위해, 우리는 프리픽스 캐시 관리를 위한 몇 가지 설계 원칙을 제시한다. 즉, 최근성을 기준선으로 유지하면서 일회성 프롬프트를 걸러내기 위한 신속한 강등, 비용이 큰 미스를 우선시하는 연산 인지형 축출, 용량 적응형 축출 단위를 함께 도입하는 것이다. 우리의 트레이스와 시뮬레이터는 공개되어 있다.

arXiv:2608.13545v3cs.CL공통 태그 Language Modelling

LittleLearner: 교육학적으로 제어된 지식 노출 환경에서의 언어 모델

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

현대 언어 모델은 이종의 웹 규모 텍스트 말뭉치로 학습됩니다. 결과적으로 관련 콘텐츠에 대한 사전 노출을 명확히 규정하기 어렵기 때문에, 지식 및 기술 습득을 연구하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 미국 초등학교 교육 자료에 맞추어 5학년을 초과하는 학년에서 가르치는 개념, 사실 및 어휘를 명시적으로 제외하고 구축한 880억(88B) 토큰 규모의 사전학습 말뭉치인 LittleCurriculum을 소개합니다. LittleCurriculum을 기반으로 50억(5B) 매개변수 대규모 언어 모델(LLM)을 처음부터 학습(scratch)시켜, 개방형 평가를 수행하기에 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 부합하는 명확한 지식 및 능력 경계를 지닌 모델인 LittleLearner를 도출했습니다. 잘 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고, 표현하며, 활용하는지 연구할 수 있도록 발달적으로 제한된 샌드박스로 LittleCurriculum과 LittleLearner를 공개합니다. 또한 사후 학습(post-training)과 문맥 내 학습(ICL)을 통해 새로운 지식을 주입하는 첫 번째 일련의 실험을 통해 이 샌드박스의 유용성을 입증합니다. 이러한 방식은 LittleLearner가 기존 지식을 더 잘 활용할 수 있도록 돕지만, 범위를 벗어난 능력을 향상시키지는 못합니다. 본 연구 결과는 향후 연구를 위한 이러한 통제된 환경의 가치를 강조합니다.

arXiv:2606.31145v2cs.CL공통 태그 GPU

SeKV: 장문 컨텍스트 대규모 언어 모델 추론을 위한 계층적 시맨틱 메모리 기반 해상도 적응형 KV 캐시

SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference

대규모 언어 모델은 점점 더 긴 문맥에서 동작하며, 이때 KV 캐시는 시퀀스 길이에 따라 선형으로 증가하여 디코딩 중 메모리를 지배한다. 토큰 제거는 항목을 영구적으로 버리고, 의미 압축은 프리필 시점에 각 단위의 해상도를 고정하므로 나중에 관련성이 생기는 세부 정보를 복구할 수 없다. 우리는 어떤 압축된 구간을 토큰 해상도로 복원할지를 디코딩 시점에 결정하는 학습된 줌인 메커니즘을 중심으로 구축한 해상도 적응형 KV 캐시인 SeKV를 제안한다. SeKV는 높은 서프라이절 위치에서 문맥을 분할하고, 앵커 토큰과 구간 요약을 GPU에 유지하며, 각 구간의 키와 값의 저랭크 인자를 CPU로 오프로드한다. 경량의 헤드별 라우터가 질의와 관련된 구간을 선택하고, 이 구간들은 학습된 구간별 랭크로 재구성된다. 이 캐시는 손실이 있지만 제거하지 않는다. 모든 구간이 거칠게든 재구성되든 어텐션에 남아 있다. 기반 LLM은 고정된 상태로 유지되며 라우터가 추가하는 파라미터는 0.1% 미만이다. GPU에 상주하는 KV 예산이 10%인 조건에서 5개 백본과 4개 벤치마크 전반에 걸쳐, SeKV는 프리필 시점에 해상도를 고정하는 모든 방법을 능가하며 가장 강력한 의미 기반 베이스라인보다 2.9포인트(상대 5.5%) 향상된다. LongBench와 InfiniteBench에서는 정확 회상 오프로딩 캐시와 대등하고 합성 정확 검색에서는 뒤처지지만, 디코딩 단계당 전송 데이터량은 ShadowKV보다 3배 적고 우리가 프로파일링한 방법 중 총 메모리를 가장 적게 사용한다. 128K 문맥에서 최대 GPU 메모리를 절반으로 줄이고 전체 KV 캐싱 대비 총 메모리를 3분의 1 줄인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.