PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02488v2cs.LG

LLM을 에이전트로 활용하기: 비용은 얼마인가?

Harnessing LLMs as Agents: What Does It Cost?

언어 모델 에이전트는 제한된 컨텍스트(bounded context), 영속 메모리(persistent memory), 도구, 검증, 반복 실행을 관리하는 하네스(harness)에 점점 더 의존하고 있지만, 기존의 모델 능력 개념은 이러한 메커니즘이 소비하는 계산 자원을 정량화하지 못한다. 우리는 기저 의미론적 모델(semantic model)은 고정한 채 하네스 수준의 자원을 명시적으로 과금하는 자원 제약 추상화인 언어 모델 에이전트 머신(Language Model Agent Machine, LAM)을 도입한다. 우리는 네 가지 범주의 결과를 확립한다. 통신(Communication): LAM 실행은 동시적인 호출-전송 예산(call-transfer budget) 하에서 적-청 페블링(red-blue pebbling)과 인스턴스 단위로 동등하며, 이는 고전적인 입출력 하한(I/O lower bound)을 컨텍스트-메모리 트래픽으로 전이시킨다. 접근(Access): 메모리 인터페이스는 포인터 체이싱(pointer chasing)에서 무작위 접근과 비추측적(non-speculative) 순차 접근 사이의 $Θ(n)$ 격차를 포함하여 점근적 분리(asymptotic separation)를 유발한다. 재계산(Recomputation): 비트 반전(bit-reversal) DAG는 컨텍스트 용량 $C$와 영속 메모리 용량 $S$ 하에서 $Θ(n^2/(C+S)+n)$회의 모델 호출을 필요로 하며, 이는 저장된 중간 상태가 반복적인 의미론적 계산을 언제 피할 수 있는지를 정량화한다. 신뢰성(Reliability): 우리는 엄밀한 단계별(stage-local) 샘플링 한계, 불완전 검증(imperfect-verification)의 정확한 비용, 그리고 닫힌 형태의 최적 검증 간격을 갖는 영-데일리(Young-Daly) 유형의 체크포인트 법칙을 유도한다. GPT-6 Astra에 대한 통제 실험과 홀드아웃(held-out) 실험은 체크포인트 최적값, 프로그래밍적 검사(programmatic checking) 하에서의 정책 선택, 그리고 연쇄 MATH 과제에서 호출 단위(call granularity), 논리적 입력 트래픽, 신뢰성 간의 트레이드오프를 포함하여 통신 및 신뢰성 예측을 검증한다. 종합적으로, 이 결과들은 언어 모델 에이전트 하네스의 계산 비용에 대한 자원 이론(resource theory)을 제공한다.

arXiv:2607.01646v2cs.LG

PHOENIX: 제로 오버헤드 체크포인트를 통한 핫 스와핑 기반 탄력적 LLM 학습

PHOENIX: Resilient LLM Training with Hot-Swapping via Zero-Overhead Checkpoint

PHOENIX는 대규모 LLM 학습 중 발생하는 노드 장애를 전체 작업 재시작 없이 예비 노드로 교체하는 핫 스와핑(hot-swapping) 방식으로 해결하며, 매 스텝마다 인메모리 체크포인트를 연산과 중첩하여 오버헤드 없이 수행한다. 512개의 NVIDIA A100 GPU와 최대 65B 파라미터 모델 규모에서 체크포인트 오버헤드 제로, 복구 시간 40초 이내를 동시에 달성하였다.

arXiv:2601.16956v1cs.DC

DataStates-LLM: Composable State Provider를 이용한 트랜스포머 모델의 확장 가능한 체크포인팅

DataStates-LLM: Scalable Checkpointing for Transformer Models Using Composable State Providers

대규모 트랜스포머 기반 모델, 특히 수조 개의 매개변수 규모로 확장되는 대규모 언어 모델(LLM)의 급속한 성장으로, 데이터·텐서·파이프라인 병렬화와 같은 복잡한 하이브리드 병렬화 전략을 사용해 수천 개의 GPU에서 학습하는 것이 필요해졌다. 이러한 거대한 분산 상태의 체크포인팅은 복원력(resilience), 일시 중단-재개(suspend-resume), 바람직하지 않은 학습 궤적 조사, 모델 진화 설명 등 다양한 사용 사례에 필수적이다. 그러나 기존 체크포인팅 솔루션은 일반적으로 모델 상태를 불투명한 이진 blob으로 취급하여, 기본 데이터 구조의 「3D 이질성」—메모리 위치(GPU vs. Host), 여러 파일에 샤딩되고 분할된 「논리적」 객체 수, 데이터 유형(텐서 vs. Python 객체), 직렬화 요구사항에 따라 달라지는 특성—을 무시한다. 이로 인해 차단형 device-to-host 전송, 데이터 무시형 직렬화, 저장소 I/O 경합으로 인한 상당한 런타임 오버헤드가 발생한다. 본 논문에서는 State Provider를 활용해 상태 추상화와 데이터 이동을 분리하는 새로운 체크포인팅 아키텍처인 DataStates-LLM을 제안한다. DataStates-LLM은 순전파 및 역전파 동안 모델 매개변수의 불변성을 이용해 「lazy」한 비차단 비동기 스냅샷을 수행한다. State Provider를 도입함으로써 파편화되고 이질적인 샤드를 효율적으로 병합하고, 메타데이터 직렬화를 대량 텐서 I/O와 중첩(overlap)한다. 우리는 256개의 A100-40GB GPU에서 최대 700억 매개변수 모델에 대해 DataStates-LLM을 평가했다. 결과는 DataStates-LLM이 최신 솔루션 대비 체크포인팅 처리량을 최대 4× 높이고 종단간 학습 시간을 최대 2.2× 줄였음을 보여주며, 극대규모 LLM 학습에서 직렬화 및 이질성 병목을 효과적으로 완화한다.