PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13755v1cs.LG

LLM 에이전트 학습을 위한 맥락 일치 그룹 정책 최적화

Matched-Context Group Policy Optimization for LLM Agent Training

장기적인(long-horizon) 언어 모델 에이전트를 학습시키려면 희소한 최종 피드백으로부터 중간 결정들에 대한 신용 할당(credit assignment)을 수행해야 합니다. 유한한 형제 롤아웃(sibling rollout) 그룹 내에서 유용한 행동 비교는 해당 행동의 맥락, 두 대안에 대한 증거, 그리고 그 증거가 학습에 어떻게 반영되는지에 따라 달라집니다. 본 연구에서는 이미 수집된 궤적(trajectory)으로부터 가중 행동 선호도를 구축하는 절차인 맥락 일치 그룹 정책 최적화(Matched-Context Group Policy Optimization, MCGPO)를 제안합니다. MCGPO는 행동 전 상태 요약 및 관찰된 루브릭 진행 상황으로 비교 맥락을 정의하며, 이는 작업 규칙에 의해 주석 처리됩니다. 두 행동 지지(two-action support)는 순서화된 정확 및 대략적 매칭 규칙 중에서 선택합니다. 고정 폴드(fixed fold)는 후보 결정들을 선호도 방향을 설정하는 데 사용되는 최종 결과로부터 분리하며, 지지 의존적 증거 가중치는 공유된 GraphGPO 작업 학습과 함께 보조 쌍별(pairwise) 목적 함수를 스케일링합니다. MCGPO는 롤아웃 데이터와 각 응답의 원래 이력을 재사용하여 비평자 없는(critic-free) 학습을 유지합니다. 각각 세 가지 학습 시드를 사용한 6개의 환경-백본 설정 전반에서, MCGPO는 일치된 GraphGPO 대비 평균 성공률을 향상시켰습니다. Qwen2.5-1.5B 및 7B를 사용한 ALFWorld와 WebShop에서 0.47~1.46%포인트 향상되었으며, Qwen3-4B 및 8B를 사용한 WebShop에서는 3.96 및 5.16포인트 향상되었습니다. ALFWorld의 성능 향상은 여유 공간이 제한적인 92% 이상의 기준선 성공률을 기반으로 이루어졌습니다. 통합 성공률은 4개의 Qwen2.5 설정 중 3개에서 향상되었습니다. 3개 시드 요인 제어(factorial controls)는 반대 폴드 증거 및 증거 가중치를 뒷받침하며, 결합 상태-루브릭 매칭은 4개의 표현-제어 설정 모두에서 가장 높은 평균을 달성했습니다.

arXiv:2508.12393v3cs.CL

MedKGent: 시간에 따라 진화하는 의료 지식 그래프 구축을 위한 대규모 언어 모델 에이전트 프레임워크

MedKGent: A Large Language Model Agent Framework for Constructing Temporally Evolving Medical Knowledge Graph

의료 문헌의 급속한 확장은 도메인 지식의 확장 가능한 구조화에 어려움을 준다. 지식 그래프(KG)는 해결책을 제공하지만, 현재의 구축 방법은 일반화 가능성이 부족하고 진화하는 지식의 시간적 역학을 무시한다. 이를 해결하기 위해, 시간에 따라 진화하는 의료 KG를 구축하기 위한 대규모 언어 모델(LLM) 에이전트 프레임워크인 MedKGent를 제안한다. 1975년부터 2023년까지 1천만 개 이상의 PubMed 초록을 사용하여, MedKGent는 두 개의 전문화된 에이전트를 통해 매일 KG를 점진적으로 구축한다. Extractor Agent는 지식 트리플을 식별하고 신뢰도 점수를 부여하며, Constructor Agent는 이러한 트리플을 시간적 그래프에 통합하여 반복되는 지식을 강화하고 충돌을 해결한다. 결과적으로 생성된 KG는 156,275개의 엔티티와 2,971,384개의 트리플을 포함하며, 우리가 아는 한 현재까지 가장 큰 LLM 기반 의료 KG이다. 자동화 평가와 전문가 평가 결과, 트리플 유효성 비율이 약 90%에 근접한 것으로 나타났다. 하류 평가에서 MedKGent-KG는 7개의 의료 질의응답 벤치마크에서 5개 LLM의 검색-증강 생성(RAG) 성능을 크게 향상시켰다. 종합하면, 이러한 결과는 MedKGent를 의료 지식 표현 및 문헌 기반 AI 연구를 위한 확장 가능하고 시간적 인식을 갖춘 인프라로 자리매김한다.

arXiv:2607.09600v1cs.AI

Agora: 경매 기반 태스크 할당을 통한 LLM 에이전트 추론 향상

Agora: Enhancing LLM Agent Reasoning Via Auction-Based Task Allocation

대규모 언어 모델(LLM) 에이전트의 추론 능력을 향상시키려면 다양한 전문가 모델과 도구를 효과적으로 조율해야 한다. 그러나 기존 프레임워크는 대체로 태스크와 전문가 모델 또는 도구의 기능 간 거친 수준의 매칭을 기반으로 API를 호출하며, 기능적으로 유사한 대안들 사이의 성능 변동성과 비용 효율성 같은 중요한 요소를 간과한다. 이를 해결하기 위해 우리는 Agora를 제안한다. Agora는 전문가 모델과 도구에 태스크를 동적으로 할당하기 위한 인센티브 호환 경매 메커니즘을 도입한 프레임워크다. 추론 단계를 거래 가능한 항목으로 취급함으로써, Agora는 에이전트가 교정된 역량을 기반으로 입찰할 수 있게 하여—가장 과신하는 해결자가 아닌 가장 유능한 해결자에게 핵심 논리가 라우팅되도록 보장한다. 다섯 가지 벤치마크에 걸친 평가 결과, Agora는 유사한 후보 풀 조건에서 단일 모델 매칭, 라우팅, 캐스케이드 기준선 대비 성능이 향상되었으며, 단일 경매 매개변수를 통해 제어 가능한 비용-품질 트레이드오프를 제공한다.

arXiv:2607.08400v1cs.CR

TRACE: LLM 에이전트 궤적을 위한 상보적 임베딩 기반 이중 채널 강건 귀속 워터마크

TRACE: A Two-Channel Robust Attribution Watermark via Complementary Embeddings for LLM-Agent Trajectories

LLM 에이전트 궤적 로그의 출처 귀속(attribution)을 위협하는 재판매자 공격—삭제 및 LLM 기반 재작성—에 동시에 강건한 워터마크 프레임워크 TRACE를 제안하며, 내용 키 기반 선택 채널과 위치 키 기반 집계 채널을 중첩해 행동 선택의 왜곡 없이 두 공격 방향을 독립적으로 방어한다. ToolBench와 ALFWorld 실험에서 TRACE는 워터마크 미적용 에이전트와 동등한 성공률을 유지하면서 장기 궤적 기준 z ≈ 100의 감지 점수를 달성하고, 70% 단계 삭제와 임의 강도의 LLM 재작성 공격 하에서도 각 채널의 감지 능력을 보존함을 보인다.

arXiv:2603.16453v3cs.AI

RetailBench: 현실적인 소매 환경에서 LLM 에이전트의 장기 자율 의사결정 및 전략 안정성 평가

RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments

RetailBench은 단일 매장 슈퍼마켓 운영을 부분 관측 가능한 의사결정 과정으로 모델링한 장기 에이전트 벤치마크로, 가격 책정·재고 보충·공급업체 선택 등 복합적인 운영 의사결정을 180일에 걸쳐 평가한다. 7개의 최신 LLM을 대상으로 한 실험에서 대부분의 모델이 전체 평가 기간을 완주하지 못했으며, 가장 우수한 모델조차 오라클 정책 대비 순자산·매출 지표에서 큰 격차를 보여 불완전한 증거 수집, 표면적 의사결정, 일관된 장기 정책 부재가 주요 실패 원인으로 분석되었다.

arXiv:2607.06503v1cs.AI

시작부터 실패 예정: 재현율 제어 프로브 캐스케이드를 통한 LLM 에이전트 에피소드의 조기 중단

Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade

LLM 에이전트가 실패할 에피소드를 초기에 예측하기 위해, 히든 활성화(hidden activations)에 경량 프로브를 적용하는 재현율 제어 중단 캐스케이드(abort cascade)를 제안한다. TextCraft 환경에서 Qwen-2.5-7B와 Llama-3.2-3B 모델에 대해 90% 재현율 목표 달성 시 각각 47.1%, 37.2%의 추론 연산을 절감하며, 이는 최적 단일 게이트 대비 1.6~1.7배 수준이다.

arXiv:2607.04235v1cs.CL

짚을 금으로: 성공적인 시연을 위한 LLM 에이전트 궤적의 사후 재레이블링

Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations

대규모 언어 모델(LLM) 에이전트는 부분 관측 가능하고 장기간에 걸친 환경에서 동작하며, 지도 신호를 확보하는 것이 주요 병목으로 남아 있다. 우리는 기존 사후 학습 방법에서 간과된 지도 신호 원천, 즉 에이전트 롤아웃에 내재된 의도치 않았지만 성공적인 목표를 활용함으로써 이 문제를 해결한다. 구체적으로, 보조 LLM이 완료된 각 궤적을 검토하여 에이전트가 실제로 달성한 모든 자연어 목표로 재레이블링하는 사후 지도 학습(HSL, Hindsight Supervised Learning)을 제안한다. HSL은 이후 궤적과 재레이블링된 목표를 쌍으로 구성하고, 이 쌍을 추가 미세조정에 활용한다. 재레이블링된 데이터의 준최적성을 완화하기 위해, 관련 없는 행동 마스킹(irrelevant-action masking)과 샘플 재가중(sample reweighting)이라는 두 가지 학습 기법을 HSL에 제안한다. 실험 결과, HSL은 유연하며 기존 사후 학습 파이프라인과 호환됨을 보인다. SFT와 DPO 모두를 개선하며, 목표 공간이 더 다양한 장기간 과제에서 더 큰 성능 향상을 달성한다. 또한 HSL은 샘플 효율적이다: ALFWorld에서 실측 시연의 4분의 1만 사용하면서도 전체 데이터셋으로 학습한 기준선을 능가한다.

arXiv:2607.04963v1cs.AI

STAPO: LLM 에이전트 학습을 위한 선택적 궤적 인식 정책 최적화

STAPO: Selective Trajectory-Aware Policy Optimization for LLM Agent Training

강화학습(RL)은 장기 과제에서 대규모 언어 모델(LLM) 에이전트를 학습시키는 주류 패러다임이다. 그러나 희소하고 지연된 보상은 종종 궤적 무시(trajectory neglect)로 이어지며, 이는 에이전트가 중간 단계에서 과제 목표와 상호작용 이력에 대한 집중력을 잃는 현상이다. 기존 연구에서는 섀넌 엔트로피 기반 불확실성 신호를 활용한 스텝 수준 감독을 탐구했으나, 이 방법은 상태의 내재적 복잡성과 에이전트의 신뢰도를 혼동하여 의사결정 신뢰성을 불안정하게 추정하는 문제가 있다. 이를 해결하기 위해 우리는 정규화 엔트로피(normalized entropy)를 제안한다. 정규화 엔트로피는 주어진 상태에서 에이전트의 평균 행동 대비 신뢰도 편차를 측정함으로써, 낮은 품질의 행동과 궤적 무시 간의 연관성을 강화한다. 이 통찰을 바탕으로 우리는 계층적 그룹 기반 RL 프레임워크인 선택적 궤적 인식 정책 최적화(STAPO)를 제안한다. STAPO는 정규화 엔트로피를 활용해 궤적 무시와 관련된 이상 스텝을 찾아내고, 궤적 인식 보상과 궤적 독립 패널티의 결합 메커니즘을 통해 이를 최적화함으로써 궤적 인식을 강화하는 동시에 학습 안정성을 유지한다. ALFWorld, WebShop, Search-Augmented QA에 대한 광범위한 실험을 통해 STAPO가 최고 수준의 성능을 달성하면서 궤적 무시를 크게 완화함을 입증하였으며, 에이전트 과제에 대한 효과성과 강건성을 검증하였다.

arXiv:2508.12232v5cs.SE

LinkAnchor: 이슈-커밋 링크 복원을 위한 자율 LLM 기반 에이전트

LinkAnchor: An Autonomous LLM-Based Agent for Issue-to-Commit Link Recovery

소프트웨어 저장소에서의 이슈-커밋 링크 복원은 소프트웨어 추적성(traceability)과 프로젝트 관리에 기본적이지만, 여전히 어려운 과제로 남아 있다. 기존 연구에 따르면 GitHub의 이슈 중 약 42.2%만이 해당 커밋과 올바르게 연결되어 있어, 보다 효과적인 해결책의 필요성을 보여준다. 기존 연구는 다양한 ML/DL 접근법을 탐구해 왔으며, 최근에는 대규모 언어 모델(LLM)이 이 문제에 적용되었다. 그러나 이러한 방법들은 두 가지 주요 한계에 직면한다. 첫째, LLM은 제한된 컨텍스트 윈도우(context window)로 인해 긴 커밋 이력, 광범위한 이슈 논의, 대규모 코드 저장소 등 사용 가능한 모든 데이터 소스를 동시에 처리할 수 없다. 둘째, 대부분의 접근법은 개별 이슈-커밋 쌍 단위로 동작하며, 모델이 단일 커밋과 이슈 간의 관련성을 독립적으로 점수화한다. 이러한 쌍별(pairwise) 공식화는 소프트웨어 수정의 복잡한 연관성을 반영하지 못하는데, 이슈는 종종 단일 원자적 변경이 아니라 커밋의 집합적 연쇄에 의해 해결되기 때문이다. 이러한 시간적·부모(parental) 의존성을 무시함으로써, 기존 방법들은 종종 완전한 해결 논리를 반영하지 못하고 중간 커밋을 최종 수정으로 잘못 식별할 수 있다. 또한 이 전략은 방대한 수의 후보 쌍을 모두 평가해야 하므로 대규모 저장소에서 계산적으로 비효율적이다. 이러한 과제를 해결하기 위해, 우리는 이슈-커밋 링크 복원을 위해 특별히 설계된 최초의 자율 LLM 기반 에이전트인 LinkAnchor를 제안한다. LinkAnchor는 지연 접근(lazy-access) 아키텍처를 도입하여, 기반 LLM이 토큰(token) 한도를 초과하지 않으면서 커밋, 이슈 댓글, 코드 파일 등 가장 관련성 높은 맥락 데이터만 동적으로 검색할 수 있게 한다.

arXiv:2606.25852v1cs.LG

Semantic Consistency Policy Optimization for Reinforcement Learning of LLM Agents

그룹 기반 강화학습(RL)으로 대규모 언어 모델(LLM) 에이전트를 장기·희소 보상 과제에 사후학습할 때, 의미적으로 유사한 중간 행동이 궤적의 최종 성공 여부만으로 서로 반대 신용(credit)을 받는 의미적 신용 불일치가 발생한다. SCPO(Semantic Consistency Policy Optimization)는 동일 롤아웃 그룹 내 성공 형제 궤적을 참조해 실패 단계의 새로운 의미적 진행에 단계별 양성 신용을 부여하는 가치 함수 없는 보상 형성(reward shaping) 방법으로, ALFWorld 93.7±4.1%·WebShop 74.8±2.0% 성공률(1.5B 파라미터)을 달성해 강한 베이스라인과 대등하거나 이긴다.

arXiv:2606.17591v1cs.AI

언어적 강화학습에서 경험 추출에서 통찰 거버넌스까지: 피드백 루프 닫기

Closing the Feedback Loop: From Experience Extraction to Insight Governance in Verbal Reinforcement Learning

학습 없는 언어적 강화학습(Verbal Reinforcement Learning)은 LLM(대규모 언어 모델) 에이전트가 경험에서 언어적 규칙을 추출하여 이를 컨텍스트로 주입함으로써, 매개변수 변경 없이 에이전트의 행동을 업데이트하고 세계 피드백(동적 작업 결과, 시장 수익률, 수요 예측과 같은 객관적 신호)으로부터 학습할 수 있게 합니다. 그러나 비정상 환경에서 이러한 에이전트는 보유-망각 딜레마(retention-forgetting dilemma)에 직면합니다. 오래된 통찰을 유지하면 부정적 전이(negative transfer)가 발생하고, 반면 이를 폐기하면 조건이 재발할 때 치명적 망각(catastrophic forgetting)이 발생하기 때문입니다. 우리는 이 딜레마를 헤쳐나가기 위한 네 가지 요구사항(결과 기반 평가, 지속적 구조화 증거, 비단조적 지식 수명 주기, 구성적 거버넌스)을 식별하고, 기존 방법들이 경험 추출에는 과도하게 투자하는 반면 통찰 거버넌스에는 투자가 부족함을 보여줍니다. 우리는 규칙, 증거, 기술의 세 층으로 구성된 아키텍처를 제안하며, 이는 피드백 기반 큐레이션 루프를 통해 연결되어 거버넌스 격차를 해소합니다. 규칙은 세계 결과로부터 증류된 경험을 포착하고, 증거 로그는 에피소드 전반에 걸쳐 각 규칙의 신뢰성을 추적하며, 기술은 적용할 규칙, 충돌 해결 방법, 및 자제 시점을 관리합니다. 세계 피드백이 본질적으로 풍부하고 노이즈가 많으며 비정상적인 금융 예측을 사례 연구로 사용하여, 우리는 동일한 축적된 경험이 큐레이션 루프의 존재 여부에 따라 제로샷 기준선(zero-shot baseline)보다 성능을 저하시키거나, 정확도와 위험 조정 수익을 극적으로 향상시킴을 보여줍니다.

arXiv:2606.12882v1cs.AI

HarnessBridge: LLM 에이전트 하네스를 위한 학습 가능한 양방향 컨트롤러

HarnessBridge: Learnable Bidirectional Controller for LLM Agent Harness

대규모 언어 모델(LLM)은 점점 더 장기 수평(long-horizon) 작업을 위한 에이전트로 배포되고 있지만, 그 성능은 모델 역량과 환경 설계뿐만 아니라 에이전트-환경 상호작용을 중재하는 하네스(harness)에 의해서도 좌우된다. 기존 하네스는 대부분 수동으로 설계되어, 궤적이 길어지고 상호작용이 더 복잡해질수록 확장하기 어렵다. 본 연구에서는 하네스를 종단 간(end-to-end) 방식으로 학습할 수 있는 학습 가능한 플러그인 모듈로 생성할 수 있는지를 묻는다. 우리는 에이전트-환경 인터페이스를 양방향 투영(bidirectional projection)으로 매개변수화하는 경량 학습 가능 하네스 컨트롤러인 HarnessBridge를 제안한다. HarnessBridge는 두 가지 양방향 투영을 학습한다: 원시 궤적을 간결하고 의사결정에 관련된 상태로 압축하는 관측 투영(observation projection), 그리고 제안된 행동을 실행 가능한 전이(executable transitions) 또는 궤적 기반 거부(trajectory-grounded rejections)로 변환하는 행동 투영(action projection). 통합 인스트럭션 튜닝(instruction tuning)을 통해 하네스 감독 데이터셋에서 HarnessBridge를 학습한다. Terminal-Bench 2.0과 SWE-bench Verified에서 HarnessBridge는 강력한 특화 하네스와 동등하거나 이를 능가하면서 토큰 사용량과 궤적 길이를 크게 줄이며, 더 작은 생성 모델에서 더 큰 상용 모델로 일반화된다.