마이크로서비스 근본 원인 분석에서 그래프 구조는 제 몫을 하고 있는가? RCAEval에 대한 통제된 연구 및 해당 벤치마크가 실제로 측정한 것
Does Graph Structure Earn Its Place in Microservice Root-Cause Analysis? A Controlled Study on RCAEval, and What the Benchmark Was Really Measuring
그래프 신경망(GNN)은 마이크로서비스 근본 원인 분석(RCA)에 관한 최근 연구를 지배하고 있으나, 최신 연구 결과들은 그래프의 기여 여부에 의문을 제기합니다. 이러한 결과들은 파이프라인 전체를 비교하므로 평면(flat) 모델이 우세할 때 구조가 불필요한 것인지 혹은 중복된 것인지 구별할 수 없습니다. 우리는 RCAEval에서 이들이 시사하는 비교를 수행합니다. 즉, 동일한 특징, 최적화기(optimiser), 검증(validation) 분할, 조기 종료 규칙 및 점수 산출 헤드를 공유하며 단일 항으로만 그래프 군을 구분하는 세 가지 학습 군을 구성했습니다. 두 개의 RCAEval 벤치마크(benchmark), 두 개의 토폴로지 소스 및 네 가지 체제 전반에 걸쳐 신뢰할 만한 그래프 특화 효과를 발견하지 못했습니다. 분포 내(in-distribution)에서 그래프 모델(model)은 기존 평면 모델을 Avg@5 기준 0.003 앞서는 데 그쳤습니다(p = 0.844, n = 6개 서로소 폴드). 파이프라인을 감사한 결과 해당 벤치마크의 모든 결과를 좌우하는 두 가지 특성이 드러났습니다. RCAEval은 원격 측정(telemetry)에서 12개에서 70개의 서비스를 노출하면서도 시스템당 단 5개의 서비스에만 장애를 주입하며, 주요 지표는 Avg@5입니다. 즉, 원격 측정을 전혀 읽지 않는 순위 산출기조차 홀드아웃된 인시던트의 99.7%에서 실제 원인을 상위 5개 내에 배치하여 0.488의 Avg@5를 기록했습니다. 균등 무작위(uniform-random)의 0.137이 아닌 바로 이 사전 확률(prior)이 진정한 분포 내 바닥(floor)이며, 이는 여러 시스템 전반에서 0.192로 급감합니다. 두 번째 특성은 대부분의 RE1 사례에서 원격 측정을 조용히 0으로 만들어 버리는 불균일한 컬럼 스키마입니다. 우리는 발표된 기준선(baseline)이자 RCAEval 자체의 참조 구현인 BARO를 재현했습니다. 깨끗한 스키마를 가진 단 하나의 시스템에서 이는 다른 점수 산출 규칙 하에 우리 휴리스틱과 0.004 이내의 유사한 종합 정확도에 도달했습니다. 이러한 감사를 바탕으로 새로운 모델을 제안했습니다. PSC-GRCA는 후보 점수를 시스템 사전 확률, 원격 측정 증거, 그리고 중심화된 그래프 잔차로 분리하며, 평면 기준선의 0.864 대비 평균 Avg@5 0.915에 도달하는 한편, 소거 연구(ablation) 결과 향상의 대부분이 그래프보다는 사전 확률 항에서 비롯됨을 확인했습니다. 마지막으로, 기록된 62개의 결함에서 도출한 그래프 대 평면 소거 연구를 위한 12개 항목의 체크리스트를 제시하며 마무리합니다.