PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02503v1cs.SE

복합 AI 시스템 신뢰성: 150건의 프로덕션 장애 사례를 통한 실패 분류체계 및 복원력 패턴 카탈로그

Compound AI System Reliability: A Failure Taxonomy and Resilience Pattern Catalog from 150 Production Incidents

복합 AI 시스템(Compound AI System)을 안정적이고 안전하게 배포하려면 개별 모델 내부가 아닌 컴포넌트 경계에서 발생하는 실패 모드(failure mode)를 이해해야 합니다. 연쇄 오류는 컴포넌트 경계를 넘어 전파되고, 조용한 품질 저하는 표준 모니터링을 회피하며, 조정 실패는 개별적으로 올바른 부분들로부터 잘못된 집합적 동작을 초래합니다. 본 연구에서는 오픈소스 복합 AI 프로젝트와 익명화된 기업 배포 환경의 150건의 프로덕션 장애 보고서를 분석하여 검색 실패, 생성 실패, 도구 실패, 오케스트레이션 실패, 통합 실패의 5개 범주로 구성된 23개 실패 모드의 분류체계를 구축합니다. 각 범주에 대해 통제된 장애 주입(fault injection) 실험을 통해 효과성이 측정된 복원력 패턴(resilience pattern)을 제안합니다. 서킷 브레이커는 연쇄 전파를 89% 줄이고, 출력 품질 게이트는 사용자 영향 발생 전에 조용한 저하의 73%를 포착하며, 컴포넌트 격리는 폭발 반경(blast radius)을 64% 줄입니다. 본 카탈로그의 복원력 패턴을 3개 이상 구현한 시스템은 비정형 모니터링 베이스라인 대비 평균 복구 시간(MTTR)을 71% 단축합니다. 본 연구는 실무자를 위한 리소스로 장애 분류체계 및 패턴 카탈로그를 공개합니다.

arXiv:2610.00349v1cs.AI

분산 다중 에이전트 위임 환경에서의 결함 감내형 예산 보존

Fault-Tolerant Budget Conservation in Distributed Multi-Agent Delegation

동시적이고 결함이 발생하기 쉬운 워커(worker)들에 작업을 위임하는 AI 에이전트(agent)에게 자원 한도는 일종의 인가 경계(authorization boundary)가 되어가고 있습니다. 그러나 부모-자식 할당 제약, 아핀 객체(affine object), 분산 에스크로(distributed escrow)만으로는 응답 유실, 타임아웃 후 작업 완료, 메시지 중복, 브랜치 분할(partition), 또는 방향성 비순환 그래프(DAG) 조인(join)이 단일 계통(lineage)을 앨리어싱(aliasing)하는 상황에서의 초과 지출을 방지하지 못합니다. 본 논문에서는 분산 다중 에이전트 위임에 대한 결함 감내형(fault-tolerant) 예산 보존을 정형화합니다. 예산은 위임 DAG를 통해 이동하는 배타적 에스크로 크레딧으로 표현되는 양자화된 자원 벡터입니다. 디스패치(dispatch) 전에 브랜치는 크레딧을 계통, 에포크(epoch), 정규화(normalization)된 효과, 최대 청구액, 수신자 및 멱등성 키에 바인딩된 작업 예약으로 변환합니다. 이는 격리(quarantine)가 적용된 서명된 디스패치 허가증을 영속화하며, 게이트웨이는 최초 수락 전에 이 허가증을 검증(validation)합니다. 불확실한 효과는 인증된 정산, 펜싱(fenced)된 권한 있는 무효과 증명(authoritative no-effect proof), 또는 영구적인 폐기 전까지 청구된 상태로 유지됩니다. 본 연구에서는 명시적 중재, 영속성, 인증, 정규화 및 게이트웨이 가정 하에서 소유권 분할, 원장 및 효과 보존, 자손 비증폭성, 최대 1회(at-most-once) 정산, 지연 완료 안전성, 분할 격리를 증명합니다. 구별 불가능성(indistinguishability) 결과는 분할-로컬 가용성을 확보하려면 배타적 사전 할당이 필수적임을 보여줍니다. 유계 TLA+ 검사, 독립적인 JavaScript 탐색기, 충돌 주입(crash-injected) 2-프로세스 SQLite 실험을 통해 선언된 범위를 검증하고 타임아웃 환불 및 과거 인증서 검증 뮤턴트(mutant)를 탐지합니다. 이 메커니즘은 평가된 충돌, 재시도, 중복, 네트워크 분할, 조인 및 지연 완료 스케줄 전반에 걸쳐 발급된 예산 한도를 성공적으로 보존합니다.

arXiv:2607.13332v1cs.LG

Agora: 대규모 언어 모델의 집단적·무허가 인터넷 규모 사전학습

Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models

수십억에서 수조 매개변수 규모의 대규모 언어 모델(LLM) 학습은 데이터센터에 국한되며, 여기서 데이터 병렬(DP) 및 모델 병렬(MP) 기법은 동종 가속기, 고속 상호 연결, 단일 조율 주체를 전제로 한다. 이로 인해 프론티어 모델 개발은 그러한 클러스터를 구축할 수 있는 소수 그룹에 집중된다. 한편, 학습에 활용되지 못하는 막대한 연산 자원이 존재한다: 이종(preemptible)이고 선점 가능하며 개별 소유이고 인터넷으로만 연결된 소비자 및 전문가용 GPU들이다. Agora를 제안한다. 이는 해당 연산을 효율적으로 활용하는 시스템이다. Agora는 인터넷급 링크를 통한 대역폭 효율적 파이프라인 병렬 모델 샤딩과 다자간·내결함성 집합 통신 연산을 결합한다. 각 참여자는 모델의 한 단계(stage)만 보유하며, 어떤 단일 주체도 전체 가중치를 소유하지 않는다. 이 구성을 Protocol Learning이라 부른다: 집단적으로 학습되고 집단적으로 소유되는 모델을 가능하게 하며, 경제적 지속 가능성을 갖춘 오픈소스 프론티어 학습으로 가는 길을 연다. 이 보고서는 통신 효율적 병렬 처리, 비동기 최적화, 내결함성 시스템 설계에 걸친 연구 노력의 결과를 제시한다. 그 정점은 유형상 최초의 실증이다: Pluralis-8B—FineWeb-Edu의 500B 토큰으로 86억(8.6B) 매개변수 모델을 오픈·무허가 방식으로 사전학습한 실행(run)이다. 이 모델은 40일에 걸쳐 330개 기여자 노드—주로 인터넷 연결上的 소비자 GPU—가 수시로 참여하고 이탈하며 학습되었다. 해당 실행은 ~170k tokens/s와 풀링된 연산당 TFLOP당 4.2 토큰을 유지했으며, 중앙집중식 H100 기준선 대비 효율의 63%를 달성했고, 중앙집중식 기준(reference) 실행과 작은 마진 내에서 수렴했다.

arXiv:2607.01646v2cs.LG

PHOENIX: 제로 오버헤드 체크포인트를 통한 핫 스와핑 기반 탄력적 LLM 학습

PHOENIX: Resilient LLM Training with Hot-Swapping via Zero-Overhead Checkpoint

PHOENIX는 대규모 LLM 학습 중 발생하는 노드 장애를 전체 작업 재시작 없이 예비 노드로 교체하는 핫 스와핑(hot-swapping) 방식으로 해결하며, 매 스텝마다 인메모리 체크포인트를 연산과 중첩하여 오버헤드 없이 수행한다. 512개의 NVIDIA A100 GPU와 최대 65B 파라미터 모델 규모에서 체크포인트 오버헤드 제로, 복구 시간 40초 이내를 동시에 달성하였다.

arXiv:2607.01602v1cs.CL

ProWAFT: A ROMA-LPD Instance for Workload-Aware and Dynamic Fault Tolerance in FPGA-Based CNN Accelerators

FPGA 기반 CNN 가속기에서 순간 결함(transient fault)이 발생할 때 정적 TMR(Triple Modular Redundancy)은 오버헤드가 크고 사후 복구는 지연 문제가 있는 한계를 해결하기 위해, 워크로드 중요도 점수(WCS)와 결함 전파 모델을 기반으로 부분 재구성(partial reconfiguration)을 통해 선택적으로 TMR을 적용하는 사전 예방적 프레임워크 ProWAFT를 제안한다. Xilinx Zynq UltraScale+ ZCU104 플랫폼에서 ResNet-18, MobileNetV2, EfficientNet-Lite 기반 500개 태스크 트레이스로 평가한 결과, ProWAFT는 정적 TMR 및 사후 재구성 방식 대비 지연·에너지·신뢰성을 종합한 복합 비용을 낮추면서 높은 태스크 성공률과 기준선에 근접한 처리량을 유지하였다.