PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25008v1cs.CL

Rust 환경에서 엔드투엔드로 언어 모델 학습하기: 경험 보고서

Training a Language Model End-to-End in Rust: An Experience Report

본 연구에서는 대여한 GPU 비용 164달러로 팀 없이 혼자, PyTorch와 Python을 학습 경로에 전혀 사용하지 않고 Rust 환경에서 순수하게 언어 모델(LM)을 엔드투엔드(end-to-end)로 사전학습(pre-training)했습니다. 이는 추천이 아닌 성과로서 보고하는 것이며, 본 논문의 더 유용한 기여는 2026년 기준 학습(추론이 아님) 백엔드로서 대표적인 두 Rust ML 프레임워크인 Candle과 Burn의 실측된 실패 분류 체계(failure taxonomy)를 제시한다는 점입니다. 저자는 그래디언트를 조용히 생성하지 않는 융합 커널(fused kernel)을 포함한 5건의 Candle 결함과, 이론적 GPU 처리량의 약 3% 수준에 불과한 역전파(backward pass) 및 수십억 개 매개변수 규모에서 학습 중간에 세그멘테이션 오류(segfault)를 일으키는 커널 융합 경로를 포함한 3건의 Burn 결함을 상세히 기술합니다. 모든 결함은 일반적인 손실 곡선 검사를 통과했으며, 어떤 결함도 스스로 드러나지 않았습니다. 저자는 이러한 6가지 은밀한 오류를 잡아낸 검증 규율을 설명하며, 이는 어떤 프레임워크에도 일반화할 수 있는 '그래디언트 흐름 중재자(gradient-flow arbiter)'—한 번의 순전파/역전파를 실행하고 학습 가능한 모든 매개변수가 유한하고 0이 아닌 그래디언트를 받는지 단언(assert)하는 테스트—를 중심으로 합니다. 학습된 모델(약 0.4B 매개변수, 벵골어 중심)은 무작위 초기화된 동일 모델의 12.60 대비 토큰당 음의 로그 가능도(NLL) 0.93을 기록하며 강력한 벵골어 언어 모델링 신호를 보여주었으며, 영어 상식 객관식 평가에서는 우연 수준의 점수를 기록했는데, 이는 의도적으로 작게 설정된 벵골어 위주의 예산(약 20억 토큰, 54.6시간, 대여한 H100 1장)에서 예상된 결과입니다. 또한 저자는 벵골 문자 체계에서의 토크나이저 다산성 함정(fertility trap)을 보고합니다. 단순 바이트 수준 토큰화는 벵골어를 토큰당 약 1.4자로 축소시켜 영어의 3.9자에 비해 코퍼스의 언어 균형을 은밀히 역전시켰으며, 이를 수정한 후에는 약 4.1자에 도달했습니다. 저자가 아는 한, 이는 순수 Rust 환경에서 문서화된 최초의 엔드투엔드 언어 모델 사전학습 사례 중 하나입니다. 이번 실행 이후 저자는 학습을 PyTorch로 옮기고 온디바이스 서빙에만 Rust를 유지했습니다. 저자의 경험에 비추어 볼 때, Rust는 언어 모델을 서빙하기에는 좋은 환경일 수 있으나 언어 모델을 학습하기에는 아직 경쟁력 있는 환경이 아닙니다.

arXiv:2607.09999v2cs.CL

양자화된 LLM 추론에서의 조용한 실패: 공허한 수렴과 실패 모드 변화에 대한 분류 체계 기반 분석

Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts

우리는 사후 학습 양자화(post-training quantization)가 작업 정확도가 유지되는 경우에도 대규모 언어 모델(LLM)의 추론 방식을 조용히 변화시킬 수 있음을 보인다. 두 명의 독립적인 인간 주석자(Cohen's κ = 0.906)에 의해 검증된 6가지 범주의 실패 분류 체계를 사용하여, 세 가지 양자화 정밀도(FP32, FP16, NF4)와 네 가지 추론 벤치마크에 걸쳐 다섯 가지 인스트럭션 튜닝된 LLM(3B~14B 파라미터)에서 생성된 30,000개의 사고의 연쇄(chain-of-thought) 출력을 분류한다. 정확도는 정밀도 전반에 걸쳐 견고하지만(최대 3.1 pp 하락), 공허한 수렴(Hollow Convergence, 불완전하거나 검증 불가능한 추론을 통해 정답에 도달하는 경우)은 NF4에서 크기 의존적인 유의미한 변화를 보이며, 테스트된 가장 작은 두 모델에서는 급격히 감소하는 반면 12B 이상의 모델에서는 변화가 없다. 이 효과는 벤치마크에 따라서도 상이하게 나타난다: GSM8K는 전혀 영향을 받지 않는 반면, LogiQA와 ARC-Challenge에서 가장 큰 변화가 관찰된다. 나아가 NF4에서 LLaMA 3.2-3B의 오답 실패 중 Shortcut Collapse(지름길 붕괴)는 44%에서 78%로 증가하는 반면, Confidence Snowballing(신뢰도 눈덩이 효과)은 15.8%에서 거의 0으로 붕괴하며, 이는 정확도 지표로는 포착되지 않는 질적 변화이다. 마지막으로, 공허한 수렴은 표면적인 텍스트 특징만으로는 신뢰성 있게 탐지될 수 없으며(최고 F1 = 0.53), 이는 표준 평가 파이프라인이 포착하지 못하는 배포 관련 실패 모드임을 확립한다.

arXiv:2606.24902v1cs.DL

Failure Modes of Large Language Models on Research-Level Mathematics: A Taxonomy and an Empirical Characterisation

The "First Proof" benchmark [1] posed ten research-level mathematics questions to the strongest publicly available LLMs and found them consistently wrong-not silent, but confidently, fluently wrong. This paper asks why. Working from the per-question post-mortems in First Proof's Appendix A, I identify four failure modes: citation fabrication (F1), premise smuggling (F2), silent problem reformulation (F3), and local-to-global compatibility gaps (F4). I then audit eight one-shot proofs generated by Gemini 2.5 Flash on Questions 1, 2, and 5 of the benchmark, using two instruments built specifically to surface F1 and F2. The central finding is uncomfortable for anyone who sees retrieval-augmented generation (RAG) as the obvious fix: not one of the eight proofs contained a confirmed fabricated citation, yet every single one contained at least one load-bearing claim asserted as a "fundamental result" or "standard argument" with no justification attached. That failure mode-F2, premise smuggling-is invisible to citation verification by design. A premise-audit instrument I introduce flags it at 100% precision (5/5 judge-confirmed flags are true positives) and 50% proof-level recall in this corpus. The taxonomy and the audit together suggest that the right long-term objective is building inference-time pipelines that prevent these failure modes from occurring, not just detecting them after the fact. Index Terms--Large language models, mathematical reasoning, hallucination, premise smuggling, failure-mode taxonomy.