PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04576v2cs.CL

LLM으로 유지 관리되는 위키 지식 베이스를 위한 점진적 공개: 사전 등록된 소거 연구

Progressive Disclosure for LLM-Maintained Wiki Knowledge Bases: a Preregistered Ablation

최근 대규모 언어 모델(LLM) 에이전트는 자신이 유지 관리를 돕는 지식 베이스를 바탕으로 질문에 답하는 경우가 많습니다. 일반적인 직관에 따르면 점진적 공개(progressive disclosure)를 적용할 경우 이 과정을 더 적은 비용으로 수행할 수 있을 것으로 여겨집니다. 즉, 하나의 커다란 인덱스를 로드하는 대신 에이전트가 간결한 카탈로그와 한 줄짜리 페이지 요약을 읽은 뒤 필요한 페이지만 여는 방식입니다. 본 연구에서는 LLM이 유지 관리하는 709페이지 분량의 실제 마크다운 지식 베이스를 대상으로 사전 등록된 연구를 통해 이러한 직관을 검증했습니다. 해당 지식 베이스를 점진적 공개가 가능하도록 개조하고, 에이전트가 페이지에 접근하는 방식에서만 차이가 나는 네 가지 버전을 구축했습니다. 페이지 자체는 모든 버전에서 동일하므로, 나타나는 모든 차이는 접근 구조에서만 기인합니다. 각 버전은 에이전트가 정해진 프로토콜을 따르거나, 스스로 경로를 선택하거나, 카탈로그를 먼저 로드하도록 강제하는 세 가지 방식으로 테스트되었습니다. 서로 다른 모델 계열의 판정 모델이 검증된 참조 답변을 기준으로 블라인드 평가를 수행했습니다. 준비 단계의 파일럿 실험을 통해 질문을 변경했습니다. 성능이 뛰어난 에이전트는 대규모 인덱스를 전혀 로드하지 않았습니다. 에이전트는 질문으로부터 페이지의 위치를 파악하고 해당 페이지를 직접 읽었습니다. 본 연구에서 측정하고자 했던 비용 절감 효과는 이러한 에이전트에는 존재하지 않았기 때문에, 답변 품질을 주요 평가 지표로 삼았습니다. 품질은 유지되었습니다. 사전에 설정한 마진 내에서 개조된 지식 베이스의 답변은 기존 지식 베이스의 답변만큼 우수했습니다. 두 가지 한계점이 존재합니다. 인간 평가자와 모델 판정관 간의 일치도가 계획에서 요구한 수준보다 훨씬 낮았으므로, 품질 결과는 민감도 점검으로 뒷받침된 판정 모델에 의존합니다. 또한 에이전트가 카탈로그를 먼저 로드하도록 강제된 경우나 더 엄격한 테스트 하에서 가장 신뢰도 높게 채점된 두 가지 기준에서는 품질 유지가 입증되지 않았습니다. 테스트한 모든 조건에서 비용은 명확히 감소했으며, 개조된 버전은 답변당 인용한 페이지 수가 더 적었고 도구 턴(tool turn) 수도 더 적었습니다.

arXiv:2606.11543v1cs.AI

SkillJuror: 에이전트 스킬 구성이 런타임 행동에 미치는 영향 측정

SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior

LLM 에이전트의 스킬(Skill) 조직 방식이 런타임 행동에 미치는 영향을 측정하는 SkillJuror 프레임워크를 제안하며, 점진적 공개(Progressive Disclosure) 방식이 평탄한 기준선 대비 리소스 활용을 증가시키고 성능을 향상시킴을 입증합니다.