SCALE: 에이전트 워크플로우 스케줄링을 위한 외삽 기반 확장 가능한 크로스 어텐션 학습
SCALE: Scalable Cross-Attention Learning with Extrapolation for Agentic Workflow Scheduling
에이전트 대규모 언어 모델(LLM) 시스템은 복잡한 작업을 워크플로우 방향성 비순환 그래프(DAG)로 분해하며, 이들의 기본 요소는 이기종 클러스터에서 스케줄링되어야 합니다. 기존의 심층 강화학습(DRL) 스케줄러는 고정된 클러스터 크기에 종속되어 있어 서버 수가 변경될 때마다 재학습이 필요합니다. 우리는 미세조정 없이 보지 못한 클러스터 규모로 일반화 가능한 DRL 스케줄러인 SCALE(Scalable Cross-Attention Learning with Extrapolation)을 제안합니다. SCALE은 작업 특징이 서버 특징에 대해 쿼리하는 크로스 어텐션 포인터 네트워크를 사용하므로, 구조적으로 임의의 수의 서버를 수용할 수 있습니다. 그러나 우리는 순열 불변 아키텍처만으로는 새로운 규모에서 좋은 성능을 보장하지 못한다는 점을 관찰했습니다. 서버 수가 증가함에 따라 어텐션 특징에 분포 변이가 발생하기 때문입니다. 이를 해결하기 위해 우리는 구조적 표현 정규화(SRR)를 도입했습니다. 이는 표준 정규분포를 향한 KL 페널티와 결합된 비상관 손실로, 입력 크기에 관계없이 특징 통계를 안정적으로 유지합니다. 16개 노드에서 학습되고 32개 및 48개 노드에서 직접 테스트된 SCALE은 SRR이 없는 동일한 아키텍처 대비 N=48에서 평균 응답 시간을 8.9% 감소시켰으며, 이는 규모 일반화 격차를 해소하기 위해 명시적 정규화가 필요함을 확인시켜 줍니다.