하이브리드 컨텍스트 패킹 시퀀스에서 기존 시퀀스 병렬처리(SP)의 교차 오염 어텐션 문제를 해결하기 위해, JIT 컴파일 기반의 시퀀스 인식 병렬처리(SAP) 알고리즘과 이를 통합한 계층적 시퀀스 인식 병렬처리(HSAP) 프레임워크를 제안한다. HSAP는 InterSP와 IntraSP의 장점을 결합하여 512K 이상의 시퀀스 길이까지 확장 가능하며, 실제 하이브리드 컨텍스트 데이터셋 학습에서 최신 SP 방법 대비 TGS(tokens per GPU second) 기준 최고 효율을 달성했다.
Diffusion Transformer(DiT)의 강화학습(RL) 사후학습은 수천 개의 고성능 GPU가 필요하여 비용이 막대합니다. 기존 연구는 비용 절감을 위해 두 가지 방향을 탐색했습니다. 시드 탐험(seed exploration)은 대비가 높은 샘플을 선택하여 학습 수렴을 개선하지만, 핵심 경로에 연산 부하를 추가합니다. 스팟 GPU(spot GPU)는 69~77% 더 낮은 비용을 제공하지만, DiT 롤아웃(rollout)이 거의 동시에 완료되어 학습 중 유휴 상태로 남게 되며, 이는 학습과 롤아웃의 LLM 스타일 파이프라이닝을 방해합니다. 스팟 선점(spot preemption)은 시퀀스 병렬화(SP) 그룹을 더 깨뜨려 GPU 토폴로지를 파편화합니다. 우리는 DiT RL 사후학습을 위해 스팟 GPU를 활용하는 최초의 시스템인 Spotlight를 제안합니다. Spotlight는 우리가 고안한 두 가지 핵심 통찰에 기반합니다. (1) 탐험은 오래된 모델 가중치를 허용할 수 있음을 보여줍니다. 이전 반복(iteration)의 모델 가중치를 사용하는 탐험은 랜덤 시드의 상대적 순위를 보존하므로, 학습 중 유휴 스팟 GPU에서 탐험을 실행할 수 있습니다. (2) SP 재구성은 노드 내 상태를 재사용할 수 있어, 그룹 복구 시간을 수분에서 1초 미만의 실행 시간으로 단축합니다. 이러한 통찰을 바탕으로, Spotlight는 세 가지 기법을 도입합니다: 학습 시간 예산 내에서 보상(reward) 분산을 최대화하는 밴디트 기반 탐험 계획기, 지속형 스케줄러와 노드 내 가중치 복사를 통해 SP 그룹을 동적으로 재구성하는 탄력적 시퀀스 병렬화, 그리고 부하를 균형화하고 선점 시 진행 중인 상태를 커밋하는 선점 인식형 풀 기반 요청 스케줄러입니다. 우리는 오픈소스 RL 플랫폼인 ROLL에 Spotlight를 구현하고 Qwen-Image 사후학습에서 평가했습니다. Spotlight는 기준선보다 $4\times$ 더 빠르게 동일한 목표 검증(validation) 점수에 도달하여, 전체 비용을 $1.4$-$6.4\times$ 줄이면서 DeepSeek-OCR 및 Geneval 데이터셋에서 해상도 $512\times512$ 및 $1280\times1280$으로 우수한 이미지 품질을 달성했습니다.