arXiv:2402.16696

Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models

Anchun Gui, Jian Li, Yong Dai, Nan Du, Han Xiao

제출 2024-02-26

원문 초록

Tool-augmented large language models (LLMs) are attracting widespread attention when accessing up-to-date knowledge and alleviating hallucination issues. Nowadays, advanced closed-source LLMs (e.g., ChatGPT) have demonstrated surprising tool-usage capabilities through prompting and in-context learning techniques. To empower the capabilities of open-source LLMs (e.g., LLaMA) in manipulating tools, current efforts focus on either template-driven or token-triggered tool-usage. However, the former hampers LLMs' flexibility to address diverse user's queries due to constrained tool interactions, while the latter limits the generalizability when engaging with new tools, since tool-usage learning is based on task- and tool-specific datasets. To alleviate these concerns, in this paper, we propose a decision-aware and generalizable tool-usage framework (DEER). Specifically, we first construct the tool-usage samples with multiple decision branches via an automatic generation pipeline, thereby inspiring the decision-making awareness of LLMs under diverse scenarios. Meanwhile, we propose a novel tool sampling strategy to enhance the generalizability of LLMs over unseen tools. Extensive experiments demonstrate that our proposed DEER is effective and significantly outperforms baselines across various datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13821v1cs.CL공통 태그 Decision Making, Hallucination

언어 모델은 언제 답변을 보류해야 하는지 학습할 수 있는가? 정책 학습과 보정된 답변 선택

Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection

유용한 언어 모델은 언제 답변해야 하고 언제 "모른다"고 말해야 하는지 알아야 한다. 모델 자체를 학습시키거나 모델의 답변을 검증하는 별도의 구성요소를 학습시킴으로써 이러한 결정을 개선할 수 있을까? 우리는 사실 기반 질문에 대해 Qwen3-14B를 대상으로 두 가지 접근법을 모두 연구하며, 정답에는 보상을 주고 오답에는 벌점을 부과하며 답변 보류를 허용하는 점수를 사용한다. 세 가지 학습 시드와 두 가지 held-out 신뢰도 임계값(confidence threshold)에 걸쳐, 학습된 답변 선택기(answer selector)는 원래 모델의 보정된 신뢰도 필터(calibrated confidence filter)보다 임계값 평균 유용성(threshold-averaged utility)을 향상시킨다. TriviaQA에서 평균 커버리지(coverage)는 20.2%에서 30.9%로 증가하며, exact-match 채점 기준으로 점수가 매겨진 답변 중 통합 오류율(pooled error rate)은 23.0%에서 14.5%로 감소한다. 테스트된 강화학습(RL) 변경들은 일관된 성능 향상을 보이지 않는다. NQ-Open에서는 선택기가 필터보다 임계값 평균 유용성을 향상시키지만, 여전히 항상 답변을 보류하는 것보다 성능이 낮다. 부분적인 사람 검토 기반 감사(human-reviewed audit)에서도 TriviaQA에서의 결과는 유지된다. 우리의 결과는 이러한 설정에서 답변 선택을 학습하는 것을 지지하는 동시에, 데이터셋 전반에 걸친 신뢰할 수 있는 답변 보류(abstention)는 여전히 해결되지 않은 문제임을 보여준다.

arXiv:2609.30243v2cs.CL공통 태그 Decision Making, In-Context Learning

JevOut: 자연스러운 문맥이 의사결정 모델을 뒤흔들 수 있다

JevOut: Natural Context Can Flip Decision Models

평범해 보이는 배경 정보 하나가 모델의 올바른 결정을 확신에 찬 실수로 바꿀 수 있습니다. 본 연구는 지식, 추론, 도구 라우팅(tool routing)을 다루는 7개 데이터셋에 걸쳐 Jev를 포함한 4개 의사결정 시스템에서 이러한 취약성을 입증합니다. 결정당 수용된 64회의 타깃 평가 내에서, 각 시스템의 초기에 올바랐던 결정 중 61.4%-73.2%를 사전에 정해둔 오답 선지로 유도하는 짧은 추가 문맥을 찾아냈습니다. 이러한 추가 문맥은 명시적인 정답 선택 지시 대신 배경 정보나 절차적 정보를 제공하며, 원래의 질문과 선택지는 그대로 유지합니다. 저자들은 자연스러움 및 정답 보존 제약 조건 하에서 선지 분포의 변화를 이용해 주변 텍스트를 개선하는 확률 기반 문맥 최적화(probability-guided context optimization)를 통해 이를 생성했습니다. 이러한 오도(redirection)는 초기에 확신도가 높았던 결정에도 영향을 미치며, 종종 확신도 높은 오답을 생성하고 모델 간에도 전이됩니다. 블라인드 인간 평가(blinded human evaluation)에서 표본 추출된 250개의 성공적인 문맥 중 91.6%는 독립적인 3명의 평가자 중 과반수에 의해 자연스럽고 정답을 보존하며 정답을 바꿀 만한 결정적 증거가 없다고 판단되었습니다. 본 연구 결과는 현재 의사결정 모델의 약점을 드러냅니다. 즉, 입력과 완전히 조화로워 보이는 문맥이 에이전트(agent), 라우터, 평가자가 의존하는 선택을 왜곡할 수 있습니다.

arXiv:2609.35308v2cs.CL공통 태그 Hallucination, In-Context Learning

다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사

Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation

대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.

arXiv:2610.02351v1cs.AI공통 태그 Decision Making, Hallucination

DeReAct: 신뢰할 수 있는 AI 에이전트를 위한 분해된 추론 및 행동

DeReAct: Decomposed Reasoning and Acting for Reliable AI Agents

ReAct 기반 에이전트(agent)는 일반적으로 단일 대규모 언어 모델(LLM) 정책에 의존하여 행동을 제안하고, 환경(environment)과 상호작용하며, 작업 완료 시점을 결정합니다. 이러한 결합은 행동 권한 부여와 완료 제어를 독립적으로 적용하기 어렵게 만들어, 오류가 전파되고 근거 없는 완료 주장으로 인해 실행이 종료되도록 만듭니다. 본 논문에서는 두 가지 게이팅 정책을 외재화한 모듈형 에이전트 아키텍처인 DeReAct를 제안합니다: 실행 전 제안된 행동을 검증하는 비평가(Critic), 그리고 환경이 뒷받침하는 \textsc{State}를 재구성하고 작업 완료를 인증하는 컨텍스트 관리자(Context Manager)입니다. GAIA 및 SWE-bench Verified 전반에서 DeReAct는 상대적으로 취약한 Brain 모델에서 Pass@1을 가장 크게 향상시켜 Qwen3-Coder-480B의 경우 6.5--7.0 포인트, Claude Sonnet~4.5의 경우 4.2--5.2 포인트의 향상을 보였으며, Brain 역량이 증가함에 따라 향상 폭은 감소합니다. 궤적 및 어블레이션 분석 결과, 외부 게이팅은 목표로 하는 실패 사례가 충분히 빈번하고 게이팅 정책 자체가 충분할 때 효과적인 것으로 나타났습니다. Claude Opus~4.5의 경우 Pass@1은 ReAct와 비슷한 수준을 유지하지만, DeReAct는 증거가 더욱 완전하고 제약 조건을 더 잘 만족하는 궤적을 생성하며, 이는 완료 제어가 더 강력한 그라운딩(grounding)을 위해 조기 종료를 절충할 수 있음을 나타냅니다. 전반적으로 DeReAct는 취약한 에이전트를 개선하는 동시에 모델이 강화되더라도 그라운딩 이점을 유지합니다.

arXiv:2609.27603v1cs.CL공통 태그 Hallucination, In-Context Learning

컨텍스트가 오도할 때: 대규모 언어 모델의 관할권을 갖춘 문맥 내 학습

When Context Misleads: In-context Learning with Jurisdiction in Large Language Models

문맥 내 학습(In-Context Learning, ICL)은 현대 LLM 배포의 핵심 요소가 되었다. 그러나 기존의 ICL 사후 학습 방법에는 중대한 맹점이 있다. 이러한 방법은 데모에서 패턴을 추출하는 데는 뛰어나지만, 컨텍스트 권한(context authority), 즉 문맥 정보가 최종 답변을 좌우해야 하는지를 판단하는 능력은 소홀히 하는 경우가 많다. 이 능력을 벤치마킹하기 위해, 우리는 7개 도메인에 걸친 사이비 과학적 주장을 담은 FakeContextBench를 소개한다. 상용 모델과 오픈소스 모델을 평가한 결과, 대규모 사전학습만으로는 신뢰할 수 있는 컨텍스트 권한 판별에 충분하지 않음을 확인했다. 더욱이 널리 쓰이는 ICL 미세조정 방법은 오도하는 컨텍스트에 대한 취약성을 높일 수 있으며, 기반 모델 대비 현실 정확도(reality accuracy)를 최대 14.95%p까지 떨어뜨렸다. 이러한 상충 관계를 해결하기 위해, 우리는 컨텍스트 검증을 학습 목적 함수에 포함하는 사후 학습 프레임워크인 Jurisdiction In-Context Learning(J-ICL)을 제안한다. 네 가지 모델 백본에서 J-ICL은 해당 기반 모델 대비 ICLEval을 평균 5.84%p, 현실 정확도를 9.20%p 향상시켰다. 또한 MetaICL 및 Symbol Tuning 대비 Reality Rate를 평균 18.09%p 높였다. 이러한 결과는 ICL 능력과 기만적 컨텍스트에 대한 저항성을 함께 향상시킬 수 있음을 보여준다. 벤치마크는 https://github.com/peilin717/FakeContext-Bench 에서 확인할 수 있다.

arXiv:2609.22476v1cs.SE공통 태그 Decision Making, Hallucination

송전망 운영자 제어실 의사결정 지원을 위한 거버넌스 인식 대규모 언어 모델 오케스트레이션 에이전틱 디지털 트윈

A Governance-Aware Large Language Model Orchestrated Agentic Digital Twin for Transmission System Operator Control Room Decision Support

송전망 운영자(TSO)는 재생에너지 연계, 관성 감소, 더욱 엄격해진 보안 여유도로 인해 증가하는 복잡성에 직면해 있습니다. 대규모 언어 모델(LLM)은 자연어 기반 의사결정 지원을 제공하지만, 환각(hallucination), 통제되지 않는 도구 사용, 미흡한 추적성은 제어실의 요구사항과 상충합니다. 본 논문에서는 송전망 제어실을 위한 거버넌스 인식 에이전틱 디지털 트윈을 제시합니다. 대규모 언어 모델은 화이트리스트에 등록된 분석 도구만 선택하고 파라미터를 지정하며, 제안된 모든 동작은 모델이 우회할 수 없는 거버넌스 층을 통과합니다. 이 층은 매 실행마다 네 가지 규칙을 강제합니다. 화이트리스트에 등록된 도구만 실행됩니다. 어떤 실행도 단계 예산(step budget)을 초과하지 않습니다. 부작용(side effect)이 있는 동작은 운영자의 명시적 승인 없이는 실행되지 않습니다. 답변의 모든 숫자는 단위, 변수, 시점과 함께 백엔드 결과로부터 해당 층에 의해 렌더링됩니다. 이 규칙들은 그리스 송전망의 디지털 트윈 상에서 분석, 시뮬레이션, 다단계 워크플로, 12개 계열의 적대적 입력을 다루는 공개된 118개 작업 벤치마크의 모든 실행에 대해 영구 감사 추적(audit trail)을 통해 검증됩니다. 기본 모델의 590회 실행 전반에서 도구 선택은 96.5%, 작업 성공률은 93.7%에 달했으며, 네 가지 규칙 모두 예외 없이 유지되었습니다. 4개의 대규모 언어 모델에 걸쳐 총 1,416회 실행된 별도의 3회 반복 연구에서도 해당 규칙들은 매 실행마다 유지되었으며, 약 95% 하한은 99.8%였습니다. 해당 층을 제거하자 동일한 모델이 승인이 필요한 45회의 실행을 모두 승인 없이 실행했으며, 백엔드 기반 숫자를 포함한 답변은 39.2%에 불과했습니다. 규칙 강제에 소요되는 비용은 요청당 12~16밀리초입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.