문서의 빈틈을 찾다: 문서 유지보수를 위해 배포한 다중 에이전트 시스템
Mind the Gap: A Deployed Multi-Agent System for Documentation Maintenance
한국어 초록
‘AI 혁명’으로 기술 업계의 팀들은 전례 없는 속도로 소프트웨어 기능을 제공할 수 있게 됐다. 코드는 이전보다 빠르게 바뀌지만 고객용 문서는 변경 사항을 제때 반영하기 어려운 경우가 많다. 문서를 주된 인터페이스로 활용하는 LLM 기반 에이전트에 사용자가 점점 더 의존하면서, 오래된 정보가 전파되고 권위 있는 답변처럼 받아들여지는 문제가 커졌다. 문서가 뒤처진 부분을 찾을 단서는 이미 많다. 해결된 지원 문의에서 문서에 빠진 내용이 드러나는 명시적 단서와, 자동화된 반복 과정에서 코드와 문서의 불일치를 발견하는 암묵적 단서가 있다. 이 단서를 계속 수집해 문서와 실제 동작 간의 차이를 수정하는 다중 에이전트 시스템을 배포했다. 핵심 구성 요소는 지원 문의를 분류하는 에이전트 TriAgent다. 실제 응답을 보내지 않는 섀도 모드로 43일간 운영한 결과, 시스템은 지원 문의 499건을 분류해 문서의 빈틈 92곳을 찾았다. 서로 독립적인 모델 계열에서 뽑은 LLM 평가자 세 명의 다수결에서, 엔지니어의 답변으로 사실 여부를 확인할 수 있는 TriAgent의 주장 302개 중 245개(81.1%)가 정확했다. 길이가 비슷한 응답 쌍에서는 70.5%에서 TriAgent의 답변을, 23.2%에서 엔지니어의 답변을 선호했다. 나머지는 다수 의견이 없었다. 에이전트와 사람이 작성한 답변은 서로 보완하는 경향이 있었다. 사람은 기존 문서에서 찾기 어렵거나 전혀 다루지 않은 내용을 자주 짚었다. 시스템은 이런 내용을 각각 문서의 빈틈으로 기록하고, 사람의 검토를 거쳐 수정한다. 문서를 고친 뒤 에이전트가 같은 문의에 다시 답했을 때 답변 품질이 개선됐다. 수정 전후를 모르는 평가자들은 35건 중 71.4%에서 수정 후 답변을 선호했다. 전후 정보를 가린 사람의 검토에서도 에이전트가 개선됐다는 평가가 높은 수준으로 일치했다.
원문 초록
The "AI revolution" has enabled teams across the technology industry to deliver software features at unprecedented velocity. While code evolves faster than ever, customer-facing documentation often struggles to stay up to speed. As users increasingly rely on LLM-based agents that consume documentation as their primary interface, the impact of this documentation gap worsens: stale information propagates and is treated as authoritative. Signals for identifying where documentation has fallen behind already exist in abundance, both explicit (e.g., resolved support tickets revealing what documentation lacks) and implicit (e.g., code-documentation discrepancies detectable from automated loops). We deploy a multi-agent system, built around a triage agent we call "TriAgent," that continuously extracts these signals and repairs documentation drift. Over 43 days of shadow-mode operation, our system triaged 499 tickets and surfaced 92 gaps in the documentation. Using a panel of LLM judges from independent model families, 81.1% of TriAgent's verifiable assertions were correct (245 of the 302 assertions the human resolution addresses; majority of three judges); on length-comparable pairs the panel preferred TriAgent's response in 70.5% of pairs and the human engineer's in 23.2% (the rest had no judge majority). Importantly, agent- and human-sourced replies tended to be complementary, with the human often surfacing insights that were either buried within the existing documentation or missing from it entirely; our system turns each such insight into a documentation gap and, after human review, a fix. Repairing a gap measurably improved the agent's later answer: when the agent re-answered the same ticket after the repair, blinded judges preferred the post-repair answer over its own pre-repair answer 71.4% of the time (n=35). A blinded human audit confirms strong alignment on self-improvement.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23142v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.