PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30460v1cs.LG

HSAP: 하이브리드 컨텍스트 생성 모델을 위한 계층적 시퀀스 인식 병렬처리

HSAP: A Hierachical Sequence-aware Parallelism for Hybrid-Context Generative Models

하이브리드 컨텍스트 패킹 시퀀스에서 기존 시퀀스 병렬처리(SP)의 교차 오염 어텐션 문제를 해결하기 위해, JIT 컴파일 기반의 시퀀스 인식 병렬처리(SAP) 알고리즘과 이를 통합한 계층적 시퀀스 인식 병렬처리(HSAP) 프레임워크를 제안한다. HSAP는 InterSP와 IntraSP의 장점을 결합하여 512K 이상의 시퀀스 길이까지 확장 가능하며, 실제 하이브리드 컨텍스트 데이터셋 학습에서 최신 SP 방법 대비 TGS(tokens per GPU second) 기준 최고 효율을 달성했다.