LLM(대규모 언어 모델) 에이전트가 도구를 자율적으로 선택하는 일이 증가함에 따라, 서로 다른 권한을 가진 도구들 사이에서의 선택은 안전성과 관련된 문제가 되고 있습니다. 그러나 기존의 도구 선택 연구는 안전성을 고려하지 않는 메타데이터 선호도에 초점을 맞추어, 권한 수준에 민감한 선택은 충분히 탐구되지 않았습니다. 이러한 격차를 해결하기 위해, 우리는 에이전트가 충분한 기능을 제공하는 낮은 권한의 대안이 존재함에도 불구하고 더 높은 권한의 도구를 선택하거나 권한을 상향 조정하는 '과도한 권한 도구 선택(over-privileged tool selection)'을 연구합니다. 우리는 에이전트가 충분한 낮은 권한의 대안이 있음에도 불구하고 더 높은 권한의 도구를 선택하는지 평가하기 위해 ToolPrivBench를 도입하며, 초기 선택과 일시적인 도구 실패 후의 권한 상향 조정을 모두 측정합니다. 8개 도메인과 5가지 반복되는 위험 패턴에 걸친 실험 결과, 과도한 권한 도구 선택은 주류 LLM 에이전트에서 흔하게 발생하며, 일시적인 실패에 의해 더욱 증폭됨을 발견했습니다. 또한, 일반적인 안전성 정렬(safety alignment)이 최소 권한 도구 선택으로 신뢰할 수 있게 전이되지 않으며, 프롬프트 수준의 제어는 일시적인 실패 상황에서 제한적인 완화 효과만 제공함을 확인했습니다. 따라서 우리는 에이전트가 충분한 기능을 제공하는 낮은 권한의 도구를 선호하고 필요한 경우에만 권한을 상향 조정하도록 학습시키는 권한 인식 사후 학습(post-training) 방어 기법을 도입합니다. 완화 실험 결과, 이 방어 기법이 일반적인 능력을 유지하면서 불필요한 높은 권한 도구 사용을 상당히 줄여줌을 확인했습니다.
대규모 언어 모델(LLM)에 외부 도구를 통합하는 방식은 복잡한 작업을 수행하기 위한 유망한 패러다임으로 부상하고 있다. LLM이 대규모 도구 컬렉션을 효과적으로 관리하는 데 여전히 어려움을 겪고 있어, 연구자들은 입력 길이 및 지연 시간 제약을 해결하기 위해 가장 관련성 높은 옵션을 사전 선택하는 검색 기반 방법을 탐색하기 시작했다. 그러나 기존 검색기는 별도의 학습 과정으로 인해 도구 호출 LLM과의 정렬이 맞지 않는 경우가 많다. 본 논문에서는 도구 선택을 위한 검색기 학습에 적용하는 새로운 오즈비 선호도 최적화 방법인 PORTS를 제안한다. 동결된 LLM의 퍼플렉시티(perplexity) 기반 선호도 신호를 활용하여, 우리의 접근 방식은 선택 확률과 다운스트림 성능 간의 상관관계를 최적화하는 동시에 문서 문자열 간의 대조적 의미론적 손실(loss)을 공동으로 적용함으로써 유용한 도구를 찾도록 검색기를 파인튜닝한다. PORTS의 범용성과 도구 선택 정확도를 크게 향상시키는 능력은 6개의 데이터셋, 2개의 인코더 모델, 다양한 사전 지식을 갖춘 3개의 LLM에 대한 광범위한 실험을 통해 입증된다. 낮은 계산 비용으로, 우리의 정렬 과정은 새로운 쿼리와 도구로의 일반화를 용이하게 하여, 진화하는 도구셋을 갖춘 실용적인 응용에 유용함을 증명한다.
프로덕션 대규모 언어 모델(LLM) 어시스턴트는 사용자 요청을 점점 커지는 전문 도구 라이브러리로 라우팅하지만, 카탈로그가 스케일링될 때 라우팅 정확도는 어떻게 저하되는가? 배포된 기업 생산성 어시스턴트의 110개 에이전트, 584개 도구 카탈로그에서 단일 단계 라우팅을 연구하며, 10개에서 110개 에이전트까지 세 가지 프론티어 모델을 평가한다. 사양이 부족한 요청에 대한 라우팅 F1은 모델 전반에 걸쳐 16–23퍼센트 포인트 하락한다. 오라클 분석은 저하를 검색(retrieval) 격차(모델이 올바른 도구를 찾아내지 못함)와 혼동(confusion) 격차(완벽한 검색이어도 오라클 상한이 10pp 하락)로 분해한다. 임베딩 기반 단기 목록화(shortlisting)는 두 제공자와 세 모델 모두에서 전체 규모에서 F1을 +10–11pp 회복한다. 프로덕션 주석 연구(1,435개의 사람이 라벨링한 발화, 세 명의 주석자)는 절대 성능이 10–15pp 낮음에도 불구하고 실제 트래픽에서 +10–17pp의 회복을 확인한다.