대규모 언어 모델은 네트워크 트레이스를 이해하는가? 원시 트래픽과 필터링한 트래픽의 추론 성능 비교
Do LLMs Understand Network Traces? A Comparative Study of Reasoning over Raw and Filtered Traffic Data
한국어 초록
정보통신기술(ICT) 서비스를 효과적으로 제공하고 모니터링하려면 네트워크 트래픽 분석이 중요하다. 그러나 복잡한 패킷 캡처를 해석하기는 어렵고 상당한 기술 전문성이 필요하다. 대규모 언어 모델(LLM)로 네트워크 트래픽 조사를 자동화할 수 있지만, 패킷 수준의 필드 추출과 흐름 수준의 시퀀스 복원에서 얼마나 신뢰할 수 있는지는 밝혀지지 않았다. 네트워크 트레이스 분석 능력을 평가하기 위해 재현 가능한 질의응답 방법을 제안한다. CICIDS2017 데이터셋에서 실제 정상 트래픽을 가져와, 사람이 만든 정답을 기준으로 여러 모델을 평가했다. 원시 텍스트 트래픽 덤프와 프로토콜별로 필터링한 표현에서 성능을 비교했다. LLM-as-a-judge 자동화 파이프라인으로 모델의 응답을 평가했으며, 사람의 평가와 대조해 파이프라인을 검증했다. 프로토콜 필터링은 프롬프트 부담을 크게 줄였고 오답을 줄여 답변 정확도를 높였다. 이 결과는 프로토콜 정보를 이용한 트래픽 필터링으로 LLM 보조 네트워크 관리의 효율과 신뢰성을 높일 수 있음을 보여 준다.
원문 초록
The effective delivery and monitoring of ICT services rely heavily on network traffic analysis. However, interpreting complex packet captures remains a challenging task that requires substantial technical expertise. Large language models (LLMs) offer promising opportunities to automate network traffic in- vestigation, yet their reliability in packet-level field extraction and flow-level sequence reconstruction remains an open research question. This study proposes a reproducible, question-answering- based evaluation methodology to assess the capabilities of LLMs in network trace analysis. Using real-world benign traffic from the CICIDS2017 dataset, we evaluate multiple models against a human-generated ground truth, comparing their performance on raw textual traffic dumps and protocol-filtered representations. Model responses are assessed through an automated LLM- as-a-judge pipeline, validated against human evaluations. The results demonstrate that protocol filtering significantly reduces prompt overhead while improving answer accuracy by reducing incorrect responses. These findings highlight the importance of protocol-aware traffic filtering as an effective optimization for improving the efficiency and reliability of LLM-assisted network management.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22575v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.