PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10590v1cs.AI

도구 사용 에이전트를 위한 에이전트 제어 망각: 실전에서의 가역적 컨텍스트 큐레이션

Agent-Controlled Forgetting for Tool-Using Agents: Reversible Context Curation in Practice

도구를 사용하는 에이전트(agent)는 원래의 페이로드보다 유용한 내용이 훨씬 적을 수 있는 관측 결과를 반복해서 전달받습니다. 본 연구에서는 에이전트 제어 망각을 다룹니다. 이는 행동하는 모델(model)이 이전에 관측된 도구 결과를 선택하여 원래 위치에서 짧은 메모로 대체하고, 복구 가능한 아카이브에 정확한 원본을 보관하는 방식입니다. 파이썬(Python) 하네스는 사용자 지시사항과 어시스턴트 메시지를 이러한 작업으로부터 보호하면서, 작업별 모델 학습(training) 없이 배치(batch) 아카이브 생성 및 명시적 복구 기능을 제공합니다. 탐색적 OpenTelemetry 디버깅 사례와 이후 이어진 무관한 구현 작업에서, 이 방법은 히스토리를 그대로 유지한 경우의 912,492개 대비 제공자 보고 기준 231,951개의 프롬프트(prompt) 토큰으로 끝났고, 누적 입력 토큰을 50% 적게 사용했으며, 추정 API 비용은 약 4.38달러 대비 1.28~1.44달러였습니다. 두 실험군 모두 두 사례의 주요 행동 오라클을 통과했으나, 후속 평가를 완전히 만족하지는 못했습니다. 제안된 방법은 더 많은 요청을 수행했고 17% 더 오랜 시간이 걸렸습니다. 이와 대조적인 애플리케이션 개발 쌍에서는 컨텍스트나 비용 절감이 발생하지 않았으며, 이전의 연속 작업에서는 컨텍스트 감소에도 불구하고 수동 평가 품질이 더 낮게 나타났습니다. 이러한 관찰 결과는 노이즈가 많은 도구 사용 궤적에서 상당한 자원 절감을 입증하며, 가역적 컨텍스트 관리에서 워크로드 의존성이 핵심 고려사항임을 보여줍니다.

arXiv:2610.02627v1cs.AI

요청 속에서 길을 잃다: 커뮤니케이션 변이가 이메일 에이전트의 검색 및 행동을 저해하는 방식

Lost in the Request: How Communication Variation Disrupts Retrieval and Action in Email Agents

이메일 어시스턴트는 사용자가 동일한 요청을 다르게 표현했다는 이유만으로 더 적은 양의 작업을 완료해서는 안 됩니다. 그러나 대부분의 벤치마크는 각 태스크를 단 하나의 표준 요청으로만 테스트하므로, 이러한 형태의 강건성(robustness)은 대체로 측정되지 않은 채로 남아 있습니다. 본 연구에서는 요청된 정보, 가용한 증거, 기대 결과가 고정되어 있는 상태에서 커뮤니케이션 스타일이나 영어의 변종이 바뀔 때 이메일 어시스턴트가 여전히 신뢰성을 유지하는지 검증합니다. 다섯 가지 커뮤니케이션 스타일 축과 네 가지 규칙 기반 방언 조건에 걸쳐 검증된 변형들을 구축하고, 이를 검색-증강 생성(RAG) 파이프라인 하나와 두 개의 도구 사용 에이전트로 구성된 세 가지 벤치마크에서 평가합니다. 간접적인 요청은 세 가지 벤치마크 모두에서 성능을 떨어뜨렸으며, 격식 있는 요청은 두 에이전트 벤치마크 모두에서 성능을 저하시켰습니다. 시스템을 더욱 면밀히 조사한 결과, 이러한 실패에는 서로 다른 원인이 있는 것으로 나타났습니다. 장황한 요청은 관련 이메일을 찾기 어렵게 만듦으로써 주로 어휘 기반 검색기(lexical retriever)에 악영향을 미쳤습니다. 반면에 간접적이거나 방언이 포함된 변형은 관련 이메일이 검색된 경우에도 여전히 유해했습니다. 에이전트 환경에서 간접적이거나 격식 있는 요청은 에이전트가 뒷받침되지 않는 행동을 더 많이 취하게 만들기보다는, 주로 필요한 행동을 누락하게 만들었습니다. 이러한 결과는 성공적인 응답만으로는 강건성을 입증하기에 충분하지 않음을 보여줍니다. 즉, 평가는 요청이 표현되는 방식을 다양화해야 하며, 에이전트가 요청된 작업을 완수하는지 별도로 측정해야 합니다.

arXiv:2610.00949v1cs.AI

PG-SFT: 오프라인 에이전트 미세조정에서 능력 획득과 유지 간의 균형 잡기

PG-SFT: Balancing Capability Acquisition and Retention in Offline Agent Fine-Tuning

오프라인 에이전트(agent) 궤적에 대한 지도 미세조정(SFT)은 특화된 도구 사용 에이전트를 학습(training)하기 위한 표준적인 접근법이지만, 모델이 추론과 행동을 토큰(token) 단위로 모방하도록 강제하는 것은 베이스 모델의 다른 능력(예: 일반 추론, 도구 호출, 코드 생성)을 손상시킬 수 있습니다. 본 연구에서는 에이전트 궤적 SFT 과정에서 새로운 능력을 획득하는 것과 기존 능력을 보존하는 것 사이의 트레이드오프(trade-off)를 어떻게 더 잘 균형 잡을 수 있는지에 대해 중점적으로 연구합니다. 본 실험 환경에서 여러 베이스라인을 비교한 결과, 표준 SFT는 목표 벤치마크 점수를 향상시키는 반면 목표 외 여러 벤치마크 점수를 낮추었습니다. 한편, KL 페널티를 사용해 분포 드리프트를 단순히 억제하거나 업데이트 크기를 제한하는 방식으로는 이러한 성능 저하 추세를 피할 수 없었습니다. 최근의 토큰별 적응형 학습 목표에서 영감을 받아, 본 연구에서는 에이전트 궤적의 턴(turn) 수준 정보 이득을 지표로 활용하여 지도(supervision) 강도를 조절하는 Privilege-Guided SFT(PG-SFT)를 제안합니다. PG-SFT는 평가된 벤치마크에서 목표 작업 성능의 미미한 저하를 대가로 분포 드리프트와 광범위한 능력 저하를 대폭 줄여, 관찰된 트레이드오프를 훨씬 더 유리하게 만듭니다. 본 연구의 결과는 획득-유지 간의 트레이드오프 균형이 모델이 기본 동작에 고정되어 있는지 여부뿐만 아니라, 지도가 해당 동작에서 어디서 얼마나 강하게 벗어나야 하는지에도 달려 있음을 시사합니다.

arXiv:2609.28003v1cs.LG

실패로부터의 학습: 소형 언어 모델 도구 사용 에이전트를 위한 이종 그래프 메모리

Learning from Failures: Heterogeneous Graph Memory for Small Language Model Tool-Using Agents

중소형 언어 모델(language model)은 도구 사용 에이전트(agent)를 위한 비용 효율적인 실행자 역할을 하여 로컬 및 대규모 배포에 매력적인 선택지입니다. 그러나 장기적(long-horizon)이고 상태를 유지하는(stateful) 환경에서 이러한 모델(model)들은 필수적인 관측 누락, 조기 쓰기 수행, 실패한 호출 반복, 행동 전제 조건 위반과 같은 구조적 오류를 자주 범합니다. 이러한 오류는 잘못된 상태 업데이트, 정책 위반, 그리고 많은 비용이 들거나 되돌릴 수 없는 결과로 이어질 수 있어, 신뢰할 수 있는 도구 실행이 핵심적인 배포 과제가 됩니다. 기존의 미세조정(fine-tuning) 접근 방식은 상당한 양의 데이터와 연산을 필요로 하며, 평면적 메모리(flat memory)는 인과적 맥락이나 안전성(safety) 조건을 보존하지 못한 채 실패한 행동을 검색할 수 있습니다. 본 논문에서는 과거의 성공과 실패를 도구 사용 에이전트를 위한 구조화된 외부 경험으로 변환하는, 경험 구조화 이종 그래프 기반 실패 인지 검색 프레임워크인 FRESH(Failure-aware Retrieval framework over Experience-Structured Heterogeneous graphs)를 제안합니다. FRESH는 태스크, 행동, 오류, 복구, 실행 조건 간의 의존성을 명시적으로 모델링함으로써, 동결된(frozen) 언어 모델이 신뢰할 수 있는 전략을 재사용하고, 반복되는 실패를 방지하며, 상태 기반 도구 상호작용에서 더 안전한 결정을 내릴 수 있도록 돕습니다. 여러 오픈소스 모델을 사용해 $\tau$-Bench 및 AppWorld에서 수행한 실험에 따르면, FRESH는 메모리가 없는 에이전트 및 대표적인 메모리 기반 베이스라인 대비 태스크 성공률과 도구 사용 신뢰성을 일관되게 향상시킵니다.

arXiv:2607.10198v1cs.CL

동일한 정확도, 불평등한 증거: 도구 사용 에이전트를 위한 의사결정 표면으로서의 검색 API

Equal Accuracy, Unequal Evidence: Search APIs as Decision Surfaces for Tool-Using Agents

검색 API는 많은 에이전트(agent)의 핵심 검색 층(layer)이며, 가장 빈번하게 사용되는 도구인 경우가 많다. 전통적인 검색 API는 웹사이트 내용을 미리 보여주는 URL, 제목, 스니펫을 제공한다. 전체 페이지 검색은 토큰(token) 소모가 크기 때문에, 에이전트 검색 아키텍처는 점점 더 점진적 공개(progressive disclosure) 방식을 채택하고 있다: 에이전트가 먼저 스니펫을 확인한 후 전체 페이지를 가져올지 여부를 결정한다. 이러한 시스템에서 검색 API 성능은 주로 답변 정확도로 평가된다. 우리는 상용 검색 API를 의사결정 표면(decision surface)으로, 즉 에이전트가 즉시 답변할지, 재검색할지, 아니면 토큰을 소비하여 페이지를 열지를 결정하게 만드는 순위화된 스니펫·URL·메타데이터의 집합으로 이해하는 것이 더 적절하다고 주장한다. 우리는 이 주장을 동결된 GPT-5.4 에이전트 1개, 두 가지 도구(search_web 및 fetch_page), SEALQA-HARD의 100개 질문으로 검증하며, 검색 공급자(Brave, Tavily, Firecrawl)만을 변경한다. Kimi-K2.6 오라클이 에이전트에게 노출되는 모든 콘텐츠 요소(URL, 제목, 스니펫, 가져온 페이지)에 레이블을 부여하여 6,869개의 유효한 URL별 판단을 생성한다. 우리는 정확한 일치를 보존하면서 무해한 형식 및 명칭 변형을 허용하는 감사된 정답 레이블인 의미론적 매칭(semantic match)을 사용한다. 이 기준에서 공급자들의 성능은 유사하지만(25, 25, 26 / 100), 증거 경제(evidence economy)는 현저히 다르다: Brave는 정답이 풍부한 스니펫을 제공하고, Tavily는 1순위에 정답을 지지하는 URL을 집중시키며, Firecrawl은 이 고정된 에이전트 정책 하에서 더 넓은 탐험(exploration)과 연관된다. 또한 우리는 표면 모순 대 정답 URL 비율(surface contradiction-to-gold URL ratio)을 도입하는데, 이 값은 0.92에서 2.59까지 다양하다. 따라서 공급자 선택은 단순한 재현율(recall) 결정이 아니라 검색 예산 및 정책 결정이다.

arXiv:2606.21877v1cs.AI

AgentRiskBOM: 에이전트형 AI 시스템을 위한 리스크 범위 설정 보안 자재 명세서

AgentRiskBOM: A Risk-Scoping Security Bill of Materials for Agentic AI Systems

에이전트형 AI 시스템은 비공개 컨텍스트를 검색하고, 도구를 호출하며, 파일을 작성하고, 외부 서비스를 호출하고, 다른 에이전트와 협조하며, 인간의 승인 없이 행동할 수도 있다. 기존 자재 명세서(BOM) 아티팩트는 종속성, 모델 메타데이터, 학습 출처에 대한 투명성을 개선하지만, 에이전트형 투명성 공백을 남긴다: 능력 불투명성(capability opacity), 즉 배포된 에이전트가 무엇에 접근할 수 있고, 무엇을 기억하고, 무엇을 변경하며, 무엇을 위임하고, 이후 무엇을 증명할 수 있는지에 대한 구조화된 기록이 부재한 것이다. 본 논문은 도구를 사용하는 AI 에이전트의 리스크 범위 설정을 위한 보안 BOM인 AgentRiskBOM을 제안한다. 이는 SBOM, AIBOM, MLBOM 아티팩트 위에 더해지는 층으로, 권위 있는 경우 이를 참조하면서 런타임 권한에 대한 필드를 추가한다: 자율성, 도구 권한, 메모리, 자격 증명 범위, 승인 게이트, 감사 신호, 에이전트 간 통신, 외부 행동 능력. 우리는 AgentRiskBOM을 JSON 스키마 아티팩트로 구현하고, 재현 가능한 코퍼스, 리스크 시나리오, 스코어러, diff 탐지기, 통제 매퍼, 보고서를 함께 제공한다. 코딩, RAG, 멀티 에이전트 아키타입을 아우르는 13개의 오픈소스 에이전트와 14개 카테고리에 걸친 52개 리스크 시나리오에 대해 AgentRiskBOM을 평가한다. 스키마는 13개 코퍼스 아티팩트를 모두 검증한다. 커버리지 분석 결과 AgentRiskBOM은 16개 능력 차원에서 네이티브 동등 점수 14를 기록한 반면, SBOM은 1, AIBOM은 1.5, MLBOM은 2였다. 모델링된 리스크 카테고리 전반에서 AgentRiskBOM은 100%의 리스크 카테고리 가시성을 제공하는 반면, SBOM 유사 뷰는 10.5%, AIBOM 유사 뷰는 20.9%였다. 에이전트 권한 drift를 검증하기 위해 33개의 구조화된 배포 변이를 주입했으며, diff 탐지기는 모든 변이에 대해 올바른 변경 유형을 식별했다. 보조 페널티 기반 스코어러는 주 스코어러와 Spearman 상관계수 0.73을 산출하여, 순위 수준의 일관성을 뒷받침하면서 임계값에는 인간의 보정이 필요함을 보여준다. 결과는 에이전트형 AI 보안에 사고 발생 이전에 기계 판독 가능한 권한-리스크 아티팩트가 필요함을 보여준다.

arXiv:2606.12908v1cs.CL

SENTINEL: 도구 사용 언어 모델 에이전트 학습을 위한 실패 기반 강화학습

SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents

도구를 사용하는 언어 모델 에이전트의 신뢰성을 높이기 위해 실패한 궤적에서 취약점을 파악하여 목표화된 작업을 생성하는 실패 기반 강화학습 프레임워크 SENTINEL을 제안한다. Tau2-Bench Retail 벤치마크에서 Pass@1 점수를 66.4에서 74.9로 향상시키며 기존 방법 대비 우수한 성능을 입증했다.

arXiv:2602.13379v2cs.CR

턴이 많을수록 더 불안전: 도구 사용 에이전트의 멀티턴 안전성 위험 벤치마킹 및 방어

Unsafer in Many Turns: Benchmarking and Defending Multi-Turn Safety Risks in Tool-Using Agents

도구를 사용하는 LLM 기반 에이전트의 멀티턴(multi-turn) 안전성을 평가하는 MT-AgentRisk 벤치마크를 통해 공격 성공률이 평균 16% 증가하는 문제를 규명하고, 학습 없이 도구의 안전성을 자율 탐색하는 ToolShield 방법으로 이를 평균 30% 감소시켰다.