소형 언어 모델(SLM) 기반 에이전트의 태스크-도구 의도 매칭을 향하여
Toward SLM-based agentic task-tool intent matching
한국어 초록
도구를 장착한 AI 에이전트는 도구 호출을 사용하여 데이터에 접근하고 외부 시스템에 조치를 취합니다. 에이전트 시스템의 수평적 성장은 이러한 상호작용의 수를 증가시키며, 짧은 지연 시간(latency) 및/또는 온프레미스(on-prem) 환경에서 작동할 수 있는 호출 단위의 자동화된 감독 필요성을 더욱 강화합니다. 기존의 권한 부여 방식은 에이전트의 도구 호출 허용 여부를 결정할 수는 있지만, 도구 선택이 태스크의 의도를 충족하기 위한 논리적이고 유의미한 단계인지 여부와 같은 에이전트의 기저 인지(cognition)를 평가하지는 못합니다. 결과적으로 허용된 호출이라 하더라도 태스크의 의도에서 벗어날 수 있습니다. 악성 에이전트가 호출을 왜곡하거나 다른 에이전트를 유도하여 태스크의 의도와 일치하지 않는 일련의 호출을 수행하도록 만들 수 있습니다. 따라서 모든 호출에 대한 검증이 필요합니다. 본 연구에서는 이러한 목적을 위한 소형 언어 모델(SLM)의 적용 가능성을 조사합니다. SLM은 할당된 태스크에 대해 선택된 각 도구를 독립적으로 평가하고 다운스트림 집행을 위한 관련성 신호를 반환하는 태스크-도구 관련성 분류기 역할을 수행합니다. 필요한 도구들이 서로 다른 모델 컨텍스트 프로토콜(MCP) 서버들에 걸쳐 있는 다중 도구 태스크를 포함하는 새로운 데이터셋을 기반으로, 본 연구는 프롬프트 최적화, 지도 미세조정(supervised fine-tuning), 그리고 GRPO를 통한 강화학습을 활용하여 SLM을 최적화하고 특화했습니다.
원문 초록
Tool-equipped AI agents use tool calls to access data and act on external systems. Horizontal growth of agentic systems increases the number of these interactions, and further motivates the need for automated, per-call oversight that can operate at low latency and/or on-prem. Conventional authorization schemes can determine whether an agent is allowed to invoke a tool, but cannot assess the agent's underlying cognition, specifically, whether the tool selection represents a logical, relevant step toward satisfying the intent of the task or not. Consequently, an allowed call may still deviate from the task's intent: a rogue agent might deviate the calls or nudge other agents to make a combination of calls that would not align with the intent of the task. Therefore, every call needs to be verified. In this study we investigate the applicability of Small Language Models (SLMs) to this purpose: an SLM functions as a task-tool relevance classifier that evaluates every selected tool independently against the assigned task and returns a relevance signal for downstream enforcement. Equipped with a novel dataset with multi-tool tasks whose required tools span distinct Model Context Protocol (MCP) servers, we used prompt-optimization, supervised fine-tuning, and reinforcement learning through GRPO to optimize and specialize SLMs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
조율된 추론 경로를 활용한 계획 기반 테스트 시점 스케일링
Planned Test-Time Scaling with Coordinated Reasoning Paths
병렬 브랜치를 활용한 테스트 시점 스케일링(test-time scaling)은 어려운 추론 과제의 성능을 향상시키기 위해 널리 채택되고 있다. 가장 널리 쓰이는 접근법인 반복 샘플링(repeated sampling)은 단일 정책에서 브랜치를 독립적으로 추출하기 때문에 중복된 시도가 발생할 수 있으며, 이로 인해 추가 추론 연산으로 얻을 수 있는 이득이 제한된다. 이러한 한계를 해결하기 위해 본 논문은 독립 샘플링을 조율된 결합 정책(joint policy)으로 대체하는 계획 기반 테스트 시점 스케일링(Planned Test-Time Scaling, PTTS)을 제안한다. 플래너(planner)가 각 브랜치에 대한 풀이 개요(outline)를 생성하여 브랜치들이 서로 다른 추론 경로를 향하도록 유도하고, 실행기(executor)가 각 개요를 조건으로 전체 풀이를 생성한다. 형식적으로, 우리는 PTTS가 반복 샘플링을 엄밀하게 일반화하며, 단순화된 설정에서 상호 보완적인 추론 방식(reasoning mode)의 커버리지를 증가시키고 더 나은 pass@k 스케일링을 낳음을 증명한다. 우리는 강력한 추론 모델 위에서 PTTS를 구현하며, 이 모델들을 실행기로 고정한 채 반복 샘플링을 PTTS 추론으로 대체하여 테스트 시점 스케일링을 더욱 향상시킨다. 구체적으로 두 가지 변형을 개발한다. PTTS-ZS는 모델이 단일 자기회귀(autoregressive) 패스에서 모든 브랜치의 개요를 함께 생성하도록 프롬프트하는 방식이며, PTTS-RL은 효율적인 학습과 더 선명한 보상 신호를 위해 절단된 실행 롤아웃(truncated execution rollout)을 사용하여 pass@k 보상에 대해 플래너를 직접 최적화한다. Qwen3-1.7B와 4B를 사용한 다섯 개의 수학적 추론 벤치마크에서, PTTS-ZS는 반복 샘플링 대비 pass@64를 최대 6.7포인트 향상시켰으며, PTTS-RL은 이 향상 폭을 최대 13.4포인트까지 더 늘렸다. 추가 분석은 서로 다른 추론 경로를 더 폭넓게 포괄하는 것이 이러한 성능 향상에 기여함을 보여준다. 종합하면, PTTS는 추론 브랜치를 조율함으로써 테스트 시점 스케일링을 개선하는 범용 프레임워크를 제공하며, 제로샷 방식과 학습 가능한 방식의 구현 모두에서 상당한 성능 향상을 얻는다.
DCRL: 정책-보상 매니폴드 정렬을 통한 강화학습의 분리와 결합
DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment
강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 핵심 패러다임으로 부상했다. 그러나 규칙 기반 및 보상 모델 기반과 같은 기존 보상 시스템은 불안정한 최적화와 보상 해킹(reward hacking) 같은 문제를 자주 보인다. 본 연구에서는 기하학적 관점에서 LLM의 일반 추론을 재검토하고, 이를 논리적 연역, 평가, 표현의 세 가지 상호 의존적 부분 매니폴드(sub-manifold)로 구성된 결합 매니폴드(coupled manifold)로 개념화한다. 이 관점에 따르면 RL에서의 응답 생성은 평가 매니폴드로부터의 분리(decoupling) 과정으로, 보상 추정은 논리적 연역 매니폴드로부터의 분리 과정으로 해석할 수 있다. 규칙 기반 및 보상 모델 RL 시스템의 한계는 RL 과정에서 정책-보상 매니폴드의 불일치로 기하학적으로 해석할 수 있다. 앞서 언급한 정렬 불일치를 해결하기 위해 Decoupling and Coupling Reinforcement Learning(DCRL) 프레임워크를 제안한다. 이는 두 가지 핵심 구성 요소를 포함한다: (1) 보상 매니폴드의 표현력(expressiveness)을 높이기 위해 보상 루브릭을 동적으로 정교화하는 삼단논법(syllogistic logic) 기반 프�mp트 진화 메커니즘; (2) 일관된 평가를 보장하고 학습 중 매니폴드 불일치를 완화하기 위해 보상 모델과 정책 모델을 공동으로 갱신하는 정책-보상 재결합(re-coupling) 메커니즘. 다양한 추론 영역에 걸친 이론 분석과 광범위한 실험은 DCRL이 규칙 기반 및 보상 모델 기준선 모두를 일관되게 능가함을 보여준다. 특히 DCRL로 학습된 Qwen3-4B 모델은 Qwen3-32B 기준선을 넘어서며 Qwen3-235B 모델의 성능에 근접하여, RL에서의 뛰어난 효과와 일반화를 부각한다.
CONSISTRE: 대규모 언어 모델을 활용한 문서 수준 관계 추출을 위한 통합 일관성 인식 프레임워크
CONSISTRE: A Unified Consistency-Aware Framework for Document-Level Relation Extraction with Large Language Models
문서 수준 관계 추출(Document-level relation extraction, DocRE)은 확장된 문맥 전반에 걸친 여러 개체 간의 관계를 추출하면서, 예측된 트리플 간의 일관성을 유지하는 것을 목표로 한다. 대규모 언어 모델(LLM)은 정보 추출에서 뛰어난 추론 능력을 보이지만, 예측이 일반적으로 각 후보 트리플에 대해 독립적으로 생성되어 전이성(transitivity), 대칭성(symmetry), 함수적 유일성(functional uniqueness)과 같은 근본적인 관계 제약을 위반할 수 있으며, 이로 인해 상충되고 신뢰할 수 없는 출력이 발생한다. 우리는 이 한계를 두 가지 상보적인 경로로 해결하는 DocRE를 위한 통합 일관성 인식 프레임워크인 CONSISTRE를 제안한다. 첫 번째 경로는 블랙박스 LLM에 대해 추론 시점에 작동하며, 제약 인식 프롬프팅(constraint-aware prompting), 제약 기반 검증(constraint-based verification), 반복적 자기 성찰(iterative self-reflection)을 결합하여 과제별 미세조정 없이 예측을 정제한다. 두 번째 경로는 지식 증류와 강화학습 파이프라인을 통해 더 작은 오픈소스 모델에 일관성 지식을 주입한다. 강력한 교사 모델의 추론 trace는 지도 미세조정을 통해 학생 모델로 증류되며, 이어서 추출 성능과 관계 일관성을 공동으로 최적화하는 복합 보상을 사용하는 GRPO 정렬이 수행된다. 두 경로는 통합된 일관성 공식화 하에서 API 접근 가능한 시나리오와 로컬 배포 가능한 시나리오를 모두 포괄한다. DocRED에서의 실험은 두 경로 모두 각자의 베이스라인을 능가함을 보여주며, 추론 시점 경로는 상용 블랙박스 LLM으로 경쟁력 있는 F1을 달성하고, 학습 시점 경로는 추론 비용의 일부 수준에서 7–8B 오픈소스 모델과 최첨단 독점 LLM 간의 격차를 상당히 좁힌다. 소거 연구(ablation studies)는 명시적 일관성 모델링이 관계적 모순을 완화하고 두 배포 패러다임 모두에서 LLM 기반 DocRE의 신뢰성을 향상시킴을 확인한다.
PRISM: 텍스트-이미지 생성을 위한 이미지 그라운딩 자기 보상 메커니즘 기반 프롬프트 정제
PRISM: Prompt Refinement via Image-grounded Self-rewarding Mechanism for Text-to-Image Generation
텍스트-이미지 생성 모델은 자연어 설명으로부터 고품질 이미지를 합성할 수 있지만, 성능은 여전히 프롬프트 구성에 매우 민감하다. 기존 프롬프트 최적화(optimization) 방법은 주로 텍스트 측 재작성, 프롬프트 확장, 또는 외부 보상(reward) 신호에 의존하며, 이미지 그라운딩(grounding) 진단은 제한적이고 재사용 가능한 최적화 정책 학습을 약하게 지원한다. 본 논문에서는 이미지 그라운딩 자기 보상 메커니즘을 통한 프롬프트 정제 프레임워크인 PRISM을 제안한다. PRISM은 구조화된 시각 진단으로 생성된 이미지를 해석하고 의미적 일관성, 미적 품질, 인간 선호 정렬(alignment)을 기준으로 점수를 매김으로써 프롬프트-이미지-피드백 루프를 닫는다. 먼저 다중 과제 지도 미세조정(supervised fine-tuning)을 통해 통합 VLM을 초기화한 다음, 하이브리드 이상점(ideal-point) 및 Chebyshev 보상을 사용한 자기 보상 최적화를 통해 프롬프트 정책을 개선한다. 광범위한 실험 결과, PRISM은 전반적인 이미지 품질과 세밀한 의미 정렬을 향상시키며, 목표 지향적 프롬프트 정제를 위한 해석 가능한 피드백을 제공한다는 것을 보여준다. 코드는 https://anonymous.4open.science/r/PRISM-FF81 에서 이용할 수 있다.
거래 비용 인식 LLM 에이전트를 활용한 에너지 정책 개입에 대한 세입자 반응 시뮬레이션
Simulating Tenant Responses to Energy Policy Interventions with Transaction-Cost-Aware LLM Age
최근 연구들은 인구통계적, 태도적 또는 페르소나 기반 설명으로 모델에 프롬프트를 제공하여 대규모 언어 모델(LLM)로 인간의 의견과 의사결정을 시뮬레이션한다. 그러나 이러한 시뮬레이션은 사람들이 정책 개입에 어떻게 반응하는지를 형성하는 실무적, 인지적 또는 사회적 마찰을 거의 모델링하지 않는다. 지각된 거래 비용(perceived transaction cost, PTC)은 정보 부담, 행정적 노력, 조정(coordination) 요구, 지각된 불확실성 등 정책 반응을 형성하는 실무적 마찰을 모델링하는 데 유용한 렌즈를 제공한다. 우리는 이 렌즈를 사용하여 LLM 기반 시뮬레이션을 위한 마찰 인식(friction-aware) 페르소나 모델링 접근법을 개발한다. 에너지 효율 리노베이션(energy-efficient renovation, EER) 맥락에서 세입자는 인구통계적으로 누구인지뿐만 아니라, 제안된 리노베이션 계획과 관련된 비용, 이익, 장벽, 불확실성을 어떻게 지각하는지에 의해 표현된다. 네덜란드에서 1,068명의 시민으로부터 수집하고 약 40,548개의 설문 질문-답변 쌍으로 구성된 설문 데이터를 사용하여, GPT-3.5-turbo, Ministral-8B-Instruct, Llama-3.1-8B-Instruct에 걸쳐 프롬프트 전용(prompt-only) 및 미세조정(fine-tuned) 설정을 비교하고, 로컬 오픈 가중치(open-weight) 모델에 대해 지도 미세조정(SFT) 및 Group Relative Policy Optimization(GRPO)을 평가한다. 결과는 PTC 기반 페르소나와 추론(reasoning)을 통합하면 프롬프트 전용 및 미세조정 설정 모두에서 모델 성능이 일관되게 향상됨을 보여주며, PTC 기반 페르소나 설계가 제도적 정책 이론과 해석 가능한 LLM 기반 정책 시뮬레이션 사이의 유용한 가교를 제공함을 시사한다. 코드는 https://github.com/xiaweijie1996/socialagent 에서 제공된다.
Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해
Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.