PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25008v1cs.CL

Rust 환경에서 엔드투엔드로 언어 모델 학습하기: 경험 보고서

Training a Language Model End-to-End in Rust: An Experience Report

본 연구에서는 대여한 GPU 비용 164달러로 팀 없이 혼자, PyTorch와 Python을 학습 경로에 전혀 사용하지 않고 Rust 환경에서 순수하게 언어 모델(LM)을 엔드투엔드(end-to-end)로 사전학습(pre-training)했습니다. 이는 추천이 아닌 성과로서 보고하는 것이며, 본 논문의 더 유용한 기여는 2026년 기준 학습(추론이 아님) 백엔드로서 대표적인 두 Rust ML 프레임워크인 Candle과 Burn의 실측된 실패 분류 체계(failure taxonomy)를 제시한다는 점입니다. 저자는 그래디언트를 조용히 생성하지 않는 융합 커널(fused kernel)을 포함한 5건의 Candle 결함과, 이론적 GPU 처리량의 약 3% 수준에 불과한 역전파(backward pass) 및 수십억 개 매개변수 규모에서 학습 중간에 세그멘테이션 오류(segfault)를 일으키는 커널 융합 경로를 포함한 3건의 Burn 결함을 상세히 기술합니다. 모든 결함은 일반적인 손실 곡선 검사를 통과했으며, 어떤 결함도 스스로 드러나지 않았습니다. 저자는 이러한 6가지 은밀한 오류를 잡아낸 검증 규율을 설명하며, 이는 어떤 프레임워크에도 일반화할 수 있는 '그래디언트 흐름 중재자(gradient-flow arbiter)'—한 번의 순전파/역전파를 실행하고 학습 가능한 모든 매개변수가 유한하고 0이 아닌 그래디언트를 받는지 단언(assert)하는 테스트—를 중심으로 합니다. 학습된 모델(약 0.4B 매개변수, 벵골어 중심)은 무작위 초기화된 동일 모델의 12.60 대비 토큰당 음의 로그 가능도(NLL) 0.93을 기록하며 강력한 벵골어 언어 모델링 신호를 보여주었으며, 영어 상식 객관식 평가에서는 우연 수준의 점수를 기록했는데, 이는 의도적으로 작게 설정된 벵골어 위주의 예산(약 20억 토큰, 54.6시간, 대여한 H100 1장)에서 예상된 결과입니다. 또한 저자는 벵골 문자 체계에서의 토크나이저 다산성 함정(fertility trap)을 보고합니다. 단순 바이트 수준 토큰화는 벵골어를 토큰당 약 1.4자로 축소시켜 영어의 3.9자에 비해 코퍼스의 언어 균형을 은밀히 역전시켰으며, 이를 수정한 후에는 약 4.1자에 도달했습니다. 저자가 아는 한, 이는 순수 Rust 환경에서 문서화된 최초의 엔드투엔드 언어 모델 사전학습 사례 중 하나입니다. 이번 실행 이후 저자는 학습을 PyTorch로 옮기고 온디바이스 서빙에만 Rust를 유지했습니다. 저자의 경험에 비추어 볼 때, Rust는 언어 모델을 서빙하기에는 좋은 환경일 수 있으나 언어 모델을 학습하기에는 아직 경쟁력 있는 환경이 아닙니다.

arXiv:2211.00111v3cs.CR

Ruby: 머신러닝을 통한 스트립된 바이너리에서의 안전하지 않은 Rust 코드 탐지

Ruby: Unmasking Unsafe Rust in Stripped Binaries via Machine Learning

Rust는 새롭게 부상하는 시스템 프로그래밍 언어로, 컴파일 시 안전성 검사를 우회할 수 있도록 개발자에게 `unsafe`를 제공한다. 그 결과, 메모리 안전성 버그는 주로 `unsafe` 영역에 국한되며, Rust 버그 탐지 도구들은 이 영역을 주요 분석 대상으로 삼아왔다. 그러나 이러한 도구들은 Rust 소스 코드 내 `unsafe` 키워드의 존재에 의존하며, Rust 바이너리를 분석하여 `unsafe` 영역을 정확히 찾아낼 수 있는 도구는 현재 존재하지 않는다. 이에 본 논문에서는 머신러닝을 이용해 Rust 바이너리에서 `unsafe` 영역을 식별하는 최초의 도구인 `Ruby`를 제안한다. 바이너리 명령어 간의 미세한 차이를 포착함으로써, `Ruby`는 전체 `unsafe` 영역의 91.75%를 오탐율 6.16%로 식별하며, GPT-5.2, Claude-4.5, Gemini-3를 포함한 최신(SOTA) 대규모 언어 모델(LLM)을 능가한다. 나아가 `Ruby`를 심볼릭 실행(symbolic execution) 및 퍼징(fuzzing) 안내에 적용한 결과 각각 57.95%와 21.26%의 속도 향상을 달성하였으며, 안드로이드 라이브러리 퍼징에서 다섯 개의 버그가 Google에 의해 확인 및 패치되었다.