PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.13061v3cs.CL

LLM 통신 루프에서 구조적 드리프트 측정을 향하여

Toward Measuring Structural Drift in LLM Communication Loops

대규모 언어 모델(LLM)은 검색, 메모리, 도구, 다른 에이전트 등으로 각 프롬프트를 조립하는 상태ful 파이프라인에서 점점 더 많이 동작한다. 이러한 파이프라인은 드리프트한다. 다음 응답을 형성해야 할 정보가 누락·압축·잘못된 라우팅을 받는데도 모든 구성요소는 여전히 성공을 보고한다. 기존 진단은 고립된 프롬pt, 응답, 과제 점수만 평가하기 때문에 이를 놓치며, 실제로 분리되는 것은 프롬pt와 그것이 이끌어낸 응답 사이의 관계이다. 본 연구는 프롬pt→응답→다음 프롬pt 사슬을 분석의 기본 단위로 두면 이러한 관계를 측정할 수 있음을 보인다. 구조적 통신 일관성(structural communication coherence)을 도입하고, communication closure(한 턴에서 파이프라인이 반환한 내용이 다음 턴에서 마주하는 내용과 일치하는지)와 normalized conditional action contribution(보낸 메시지가 후속 응답을 얼마나 해소하는지) 두 지표로 정량화한다. 사람-사람 2,171건, 사람-LLM 58건, LLM-LLM 8건 대화에서 이 지표들은 방향성 상호작용 구조를 드러낸다. 특히 주변 프롬pt는 그대로 두고 응답만 다른 턴의 것으로 바꾸면 측정된 기여도는 87~92% 감소한다. 이 접근은 레이블, 정상 참조 데이터, 사전 정의 규칙 없이 원시 프롬pt와 응답만 필요하므로, 드리프트를 최종 과제 실패로부터 추론하는 대신 운영 트래픽에서 직접 정의하고 측정할 수 있다. 전향적 탐지 성능을 확립하는 것이 다음 단계이다.