PyTorchKR Papers

최신 논문

총 1,869편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.09523v3cs.LG

NetForge RL: 지속형 행동을 갖춘 사이버 방어용 다중 에이전트 시뮬레이션 환경

NetForge RL: A Multi-Agent Simulation Environment for Cyber Defense with Durative Actions

사이ber 방어를 위한 강화학습(RL) 에이전트 학습에는 운영 환경을 반영하는 환경이 필요하다: 잡음이 있는 부분 관측, 네트워크 전반에 걸쳐 협력하는 여러 방어자, 자기 대결(self-play)을 통해 구현되는 적응형 적대자. 본 논문은 절차적으로 생성된 기업 및 운영기술(operational-technology, OT) 네트워크에서 이러한 설정을 위한 다중 에이전트 환경인 NetForge RL을 제시한다. 레드 에이전트는 부분 가시성 하에서 호스트를 침해하고, 구역별로 분할된 3개의 블루 에이전트는 실측(ground-truth) 상태 벡터 대신 합성 SIEM 텔레메트리와 Windows/Sysmon 이벤트 로그를 밀집 임베딩(dense embedding)으로 인코딩한 관측을 바탕으로 방어한다. 이 환경은 고정 형상(fixed-shape) 관측과 MITRE ATT&CK에 매핑된 행동을 갖춘 PettingZoo 병렬 API를 따르며, 명명된 난이도 프리셋과 홀드아웃 평가 분할을 포함한 5개 시나리오를 제공하고, 시드(seed) 하에서 결정론적으로 재현된다. JAX 백엔드는 축소된 전이(transition) 코어를 벡터화하여, 학습 루프 반복을 위한 빠른 대리(surrogate)로 CPU에서 배치 4096일 때 초당 2.5 x 10^5 환경 스텝을 달성한다. 환경과 함께 참조 기준선(스크립트 기반, JAX IPPO 트레이너, 자기 대결 토너먼트), 각각 하나의 방어 기술을 측정하는 6개의 진단 프로브, 95% 신뢰구간을 보고하는 평가 실행기를 제공한다. 환경 뒤에 있는 재현성(reproducibility) 엔지니어링을 설명하고 책임 있는 사용 성명을 포함한다.

arXiv:2607.13655v1cs.AI

귀납적 논리 프로그래밍을 통한 강화학습 에이전트 설명

Explaining Reinforcement Learning Agents via Inductive Logic Programming

설명 가능한 강화학습(Explainable Reinforcement Learning, XRL)은 강화학습(RL) 정책을 더 투명하고 해석 가능하게 만드는 것을 목표로 하며, 이는 안전-필수(safety-critical) 및 인간 중심 시나리오에서 핵심 요구사항이다. 그러나 XRL은 대부분 사용자 연구에 기반하므로 특정 수용층의 필요를 대상으로 하고 공유된 평가 지표가 부족하다. 한편, 설명 가능한 인공지능(eXplainable Artificial Intelligence, XAI) 내 논리 기반 접근법은 의사결정에 대한 간결하고 사람이 읽을 수 있는 추상화를 제공한다. 그러나 논리적 표현의 설명 가능성 정도를 체계적으로 정량화하는 것은 여전히 열린 문제로 남아 있다. 본 연구는 RL 설정에서 정책 설명 가능성에 대한 객관적이고 계획(planning) 지향적 지표를 도입하여 XRL의 최신 수준을 발전시키는 것을 목표로 한다. 동시에 논리 규칙의 설명 가능성을 정량화하는 원칙적 방법을 제공함으로써 상식적 평가와 단순 명제적 조각(propositional fragments)을 넘어서 XAI를 위한 논리 분야에 기여한다. 우리는 귀납적 논리 프로그래밍(Inductive Logic Programming, ILP)을 사용하여 RL 정책의 기호적 표현을 추출하고, activation rate, feature coverage, syntactic distance, semantic distance를 포함한 새로운 설명 가능성 지표 집합을 정의한다. 이 지표들은 기호적 규칙과 에이전트 행동 간의 정렬(alignment), 의사결정에서 특징의 역할, 단일 및 다중 에이전트 RL에서 학습 과정과 에이전트 간 정책의 진화를 정량화한다. 다양한 RL 도메인에 걸친 실험에서 제안된 지표들은 전역 보상(global return)을 넘어 행동 특이적 학습 역학을 부각하고, 전역 특징 중요도 추정을 위한 고전적 접근법을 넘어 도메인 특징에 대한 세밀한 통찰을 제공하며, MARL(다중 에이전트 RL)에서 조율(coordination), 특화(specialization), 적응(adaptation) 패턴을 밝혀낸다. 더 나아가, 이들은 행동 특이적 정책의 전이(transfer)와 일반화(generalization)에 대한 핵심적인 통찰을 제공한다.

arXiv:2607.13558v1cs.AI

도시 지역 프로파일링을 위한 도구 증강 증거 기반 다중 에이전트 협력 추론

Multi-Agent Collaborative Reasoning with Tool-Augmented Evidence for Urban Region Profiling

도시 지역 프로파일링은 인구 추정, 경제 평가, 환경 모니터링 등의 응용을 지원하는 도시 컴퓨팅의 핵심 문제이다. 기존 방법들은 이 과제를 일반적으로 멀티모달 표현 학습으로 공식화하여, 위성 영상, 관심 지점(POI), 텍스트 설명, 3D 건물 정보 등 이질적인 도시 데이터를 잠재 임베딩으로 융합한 뒤 예측한다. 그러나 이러한 접근법은 대체로 상관관계에 기반하며, 교차 모달 일관성을 가정하고 정적 파이프라인에 의존하기 때문에, 이질적이거나 보지 못한 도시 지역에서의 견고성이 제한된다. 우리는 도시 지역 프로파일링을 추론 주도 추론 문제로 재구성하는 에이전트 프레임워크 UrbanAgent를 제안한다. UrbanAgent는 각 데이터 모달리티마다 독립적인 에이전트를 인스턴스화하고, 단일 표현에 흡수하는 대신 교차 모달 불일치를 명시적으로 다루기 위해 구조화된 다중 에이전트 협력 추론을 수행한다. 또한 UrbanAgent는 지표 예측을 능동적 증거 획득과 반복적 추론의 폐쇄 루프 과정으로 확장하여, 에이전트가 강화학습으로 최적화된 외부 지식의 도구 증강 검색을 통해 불확실한 추론을 검증할 수 있게 한다. 탄소 배출, GDP, 인구 추정에 대한 전 세계 도시 데이터셋에서의 광범위한 실험 결과, UrbanAgent는 기존 베이스라인을 일관되게 능가하며 R²에서 평균 8.1%의 향상을 달성하고, 미관측 도시 설정에서 강한 일반화 성능을 보인다.

arXiv:2510.24803v3cs.MA

MASPRM: 다중 에이전트 시스템 과정 보상 모델

MASPRM: Multi-Agent System Process Reward Model

다중 에이전트 시스템(MAS)에 대한 추론 시점 탐색은, 어떤 에이전트의 중간 메시지가 진행을 앞당겼는지 식별할 수 없을 때 연산을 낭비한다. 본 논문은 라우팅된 transcript(에이전트 간 순서화된 메시지 시퀀스)를 점수화하고 단계 수준 빔 탐색(SBS) 및 몬테카를로 트리 탐색(MCTS)을 위한 추론 제어기로 작동하는 다중 에이전트 시스템 과정 보상 모델(MASPRM)을 제안한다. MASPRM은 인간의 단계 수준 주석 없이 최종 결과 보상으로만 레이블된 다중 에이전트 MCTS 롤아웃으로부터 학습된다. GSM8K, MATH, MMLU, LogiQA에서 평가하였다. 동일한 스코어러 크기와 유사한 MCTS 예산 하에서 MASPRM은 1.5B에서 +2.0~+3.0점, 7B에서 +4.1~+14.5점만큼 네 벤치마크 전반에 걸쳐 동일 크기의 ORM(결과 보상 모델)을 초과하며, 7B에서 정책 가능도 대비 추가적인 스코어러 스케일링 이득(MCTS 하 평균 +13.4)을 보인다. MASPRM은 또한 순위 품질을 개선하여 Hit@1과 Hit@5 간 격차를 최대 10.3점 줄이며, 중간 결정을 사용하는 단계별 탐색에서 가장 큰 이득을 보인다. 코드: https://github.com/milad1378yz/MASPRM

arXiv:2607.13028v1cs.LG

TerraZero: 대규모 무시연 셀프 플레이를 위한 절차적 주행 시뮬레이션

TerraZero: Procedural Driving Simulation for Zero-Demonstration Self-Play at Scale

강력한 자율주행 에이전트를 학습하려면, 대규모 강화학습에 충분히 빠르면서 실제 세계 맵 구조에 행동을 그라운딩(grounding)하기에 충분히 사실적이고, 로그 데이터가 거의 담지 못하는 안전 중요 장기 꼬리(long tail)를 커버하기에 충분히 다양한 시뮬레이터가 필요하다. 본 논문은 절차적 주행 시뮬레이터이자 셀프 플레이 학습 스택인 TerraZero를 제시한다. 구성 가능한 C 엔진이 제로 카피(zero-copy) 경로를 통해 CPU에서 시뮬레이션을 실행하고 GPU에서 정책 추론을 수행하며, 단일 서버급 GPU에서 초당 130만 에이전트-스텝(agent-steps)을 유지한다. 이는 기존 객체 수준(object-level) 시뮬레이터보다 훨씬 빠르면서, 경량 단일 에이전트 시스템이 생략하는 충실도를 유지한다: 이종 에이전트, 다중 동역학 모델, 완전한 교통 규칙 집행. TerraZero는 로그 데이터를 실제 세계 맵 지형(map geometry)의 출처로만 취급하며, 각 맵에 무작위 규칙 기반 도로 사용자와 신호 제어기를 배치하고 에피소드마다 에이전트 동역학, 보상, 크기를 무작위화하여 하나의 맵이 무한한 시나리오 집합을 생성하게 한다. 보고된 모든 정책은 GPU 전반에 걸친 연산 효율적인 셀프 플레이 레시피로 강화학습만을 통해 처음부터 학습되며, 인간 시연이 전혀 없고 추론 시 폴백 플래너(fallback planner)도 없다. 정책은 도시와 데이터셋 전반에서 제로샷(zero-shot)으로 일반화되며, 명시적 감독 없이 창발적(emergent) 좌측 통행(left-hand-traffic) 주행을 포함한다. 에고(ego) 정책으로서 TerraZero는 InterPlan 장기 꼬리 벤치마크에서 1위를 차지한 최초의 완전 학습 기반 정책이며, 더 큰 학습형 플래너들보다 앞선다. 일상 주행 val14에서는 최고 수준 접근법 중 하나로 순위에 오르며 가장 안전하여, 충돌 및 충돌까지 시간(time-to-collision) 점수에서 최고를 기록한다. Waymo Open Sim Agents realism에서 동일한 레시피는 다른 시연 없는(demonstration-free) 방법들을 능가하며, 가장 강력한 reference-anchored 셀프 플레이 방법과 경쟁력을 보인다. 하나의 스택이 두 역할을 모두 수행한다: 승용차와 트럭의 동역학에 걸친 주행 정책, 그리고 차량·보행자·자전거를 공동 제어하는 시뮬 에이전트(sim agents).

arXiv:2607.12861v1cs.RO

단순 보상으로부터 복잡한 집합 행동 밝히기

Unveiling Complex Collective Behaviors from Simple Rewards

다중 에이전트 강화학습(MARL)은 로봇 군집에 큰 잠재력을 지니고 있지만, 신경망 정책의 블랙박스 특성은 전략적 분석을 어렵게 하여 다중 로봇 응용을 제한한다. 또한 복잡한 군집 행동은 명시적인 집합 유인 없이도 단순한 보상으로부터 놀랍게도 창발할 수 있다. 이러한 창발 뒤에 있는 메커니즘을 밝혀내는 것은 중요하지만, 단순 보상과 집합 행동 사이의 단절은 해석 가능성 문제를 더욱 악화시킨다. 본 논문은 이 과정에 숨겨진 메커니즘을 밝히는 것을 목표로 한다. 우리는 2단계 EEC(\LinkIII) 설명 프레임워크를 제안한다. 여기에는 에이전트 응답 맵(ARM)이라는 새로운 분석 도구가 포함되며, 이는 공간 전반에 걸친 에이전트의 의사결정 패턴을 드러내고 집합 및 회피 영역을 식별한다. ARM은 로봇이 암묵적으로 환경의 기하학적 필드를 학습하고, 이러한 구조를 조율된 이동을 위한 목표 지점으로 활용함을 드러낸다. 우리는 협력적 다중 로봇 형상 조립과 경쟁적 포식자-먹이 추적-회피라는 두 가지 서로 다른 과제에서 이 발견을 검증한다. 1) 협력 과제에서 ARM은 로봇 내비게이션의 목적지로 비어 있는 목표 내부 영역을 식별한다. 중심이 점유되면 이 목표 영역은 자동으로 경계 쪽으로 이동하며, 이는 로봇이 비어 있는 영역을 자율적으로 탐색할 수 있는 능력을 보여준다. 2) 경쟁 과제에서 ARM은 놀랍게도 포식자의 보로노이(Voronoi) 다이어그램 경계를 먹이 에이전트의 수렴 목적지로 식별한다. 이 두 과제를 종합하면, 로봇 군집에서 MARL 정책의 기반이 되는 숨겨진 기하학적 구조를 ARM이 발견할 수 있는 역량을 입증한다.

arXiv:2607.11005v1math.OC

결정론적 정책을 이용한 확장 평균장 제어를 위한 액터-크리틱 학습

Actor-Critic Learning for Extended Mean Field Control with Deterministic Policies

본 논문은 연속시간 확장 평균장 제어 문제를 위한 모델 프리(model-free) 강화학습(reinforcement learning) 프레임워크를 개발한다. 이 문제에서는 동역학과 보상(reward) 모두 상태와 제어의 결합 분포에 의존할 수 있다. 우리는 결정론적 피드백 정책을 채택하며, 이 정책 하에서 상태-행동 분포는 상태 분포의 푸시포워드(push-forward)로 직접 유도된다. 이를 통해 확률적 커널에 대한 최적화를 피하고, 확장 평균장 설정에서 기존 접근법의 핵심 한계를 우회한다. 먼저 매개변수화된(parameterized) McKean-Vlasov 동역학에 대한 모델 프리 감도 공식을 수립하고, 이를 활용하여 Wasserstein 공간 위의 어드밴티지-레이트 함수(advantage-rate function)를 통해 표현되는 결정론적 정책 그래디언트(policy gradient) 공식을 도출한다. 이어서 상태, 행동, 결합 상태-행동 분포에 의존하는 국소 가치 및 어드밴티지-레이트 표현을 도입하여 이 공식을 정제하며, 행동 도함수(derivative)와 제어 분포에 대한 측도 도함수 항을 모두 포함하는 정책 그래디언트를 산출한다. 이러한 특성화는 마팅게일 기반 학습 원리로 이어지며, 입자 근사(particle approximation), 측도 의존 신경망, 시간차 학습(temporal-difference learning), 행동 또는 매개변수 공간에서의 탐험(exploration)을 결합한 연속시간 심층 결정론적 정책 그래디언트 알고리즘을 동기부여한다. 확률적 Cucker-Smale 합의 제어 및 거래 집중을 수반하는 최적 청산 문제에 대한 수치 실험을 통해, 제어 분포에 대한 명시적 의존성을 포함하는 문제에서 제안된 방법의 효율성, 안정성, 강건성을 입증한다.

arXiv:2404.03578v3cs.LG

상호작용적 데이터 수집을 통한 분포적으로 강건한 강화학습: 근본적 난이도와 근최적 알고리즘

Distributionally Robust Reinforcement Learning with Interactive Data Collection: Fundamental Hardness and Near-Optimal Algorithms

학습 환경과 테스트 환경 간의 불일치를 나타내는 시뮬레이션-실제 격차(sim-to-real gap)는 강화학습(RL)에서 중요한 과제이다. 이 문제를 해결하기 위한 유망한 접근법은 분포적으로 강건한 강화학습으로, 흔히 강건한 마르코프 결정 과정(RMDP, Robust Markov Decision Process)으로 형식화된다. 이 프레임워크에서의 목표는 학습 환경을 중심으로 사전에 지정된 불확실성 집합 내의 모든 환경 중 최악의 시나리오 하에서도 우수한 성능을 달성하는 강건한 정책을 찾는 것이다. 생성 모델이나 배포 환경을 충분히 커버하는 사전 수집된 오프라인 데이터셋에 의존하는 기존 연구와 달리, 본 논문은 학습자가 학습 환경과만 상호작용하며 시행착오를 통해 정책을 개선하는 상호작용적 데이터 수집을 통한 강건한 강화학습을 다룬다. 이 강건한 강화학습 패러다임에서는 두 가지 주요 과제가 발생한다: 데이터 수집 시 탐험(exploration)과 활용(exploitation) 간의 균형을 유지하면서 분포적 강건성을 관리하는 것이다. 먼저, 지지 집합 이동의 저주(curse of support shift), 즉 학습 환경과 테스트 환경 간 분포 지지 집합의 잠재적 불일치로 인해 추가적인 가정 없이는 표본 효율적인 학습이 불가능함을 규명한다. 이러한 난이도 결과를 극복하기 위해, 최적 강건 가치 함수의 최솟값이 0이라고 가정하는 소멸 최솟값 가정(vanishing minimal value assumption)을 총변동(TV) 거리 강건 집합을 사용하는 RMDP에 도입한다. 이 가정이 TV 거리 강건 집합을 가진 RMDP에서 지지 집합 이동 병리를 효과적으로 제거함을 증명하고, 근최적 표본 복잡도를 갖는 알고리즘을 제시한다. 본 프레임워크의 광범위한 적용 가능성을 보이기 위해, 알고리즘과 이론을 새로운 강건 집합 정식화 및 강건한 마르코프 게임으로 확장한다. 실용적 관련성을 예시하기 위해, 제안한 알고리즘을 데이터 기반 강건 재고 관리에 적용한다.

arXiv:2607.11787v1cs.MA

망각을 통한 공유 의미 형성: 비파트너십 조율 게임에서 망각이 개념적 정렬에 미치는 영향

Forgetting Our Way to Shared Meaning: Effects of Forgetting on Conceptual Alignment in a Non-Partnership Coordination Game

언어에서의 공유 의미는 사람들이 범주를 학습하고 합의할 것을 요구한다. 우리는 에이전트의 기억 특성이 공유 의미의 출현과 진화를 어떻게 변화시키는지 탐구한다. 조율 게임 없이는 개념적 의미론 모델이 집단 내에서 공유 의미가 어떻게 출현하고 변화하는지 설명할 수 없으나, 기존 게임들은 플레이어들이 파트너십 환경에서 보상을 공유한다고 가정한다. 우리는 개념적 정렬(conceptual alignment)을 비파트너십 게임으로 모델링하고, 적응성과 기억 저하 수준이 다양한 에이전트를 활용한 반사실적 시뮬레이션을 통해 실제 개념적 수렴과 인식된 개념적 수렴의 차이를 보여준다. 적응적 플레이어는 비적응적 플레이어보다 실제 수렴을 더 빠르게 달성하였고 최종 개념 영역이 더 가까웠으나, 비적응적 플레이어는 수렴을 더 일찍 인식하였다. 시간이 지남에 따라 새로운 정보에 더 낮은 가중치를 부여하는 것은 새로운 정보의 가중치를 고정하는 것보다 더 안정적인 합의를 이끌어냈다. 기억 특성은 실제 수렴과 인식된 수렴의 출현 및 진화에 핵심적인 역할을 한다.

arXiv:2607.09685v1cs.MA

적응형 다중 에이전트 시스템에서 정책 체제 간 전이학습

Transfer Learning Across Policy Regimes in Adaptive Multi-Agent Systems

정책 모델은 정책 수단과 그 결과 사이의 관계가 제도적 조건에 걸쳐 안정적으로 유지된다고 가정하는 경우가 많다. 그러나 적응형 사회기술 시스템에서는 이 가정이 성립하지 않을 수 있다. 규제 변화가 인센티브를 바꿀 수 있고, 에이전트가 전략적으로 반응할 수 있으며, 정책 변수에서 집계 결과로의 매핑 자체가 변할 수 있기 때문이다. 본 논문은 이러한 체제 변화를 적응형 다중 에이전트 시스템에서의 전이학습(transfer learning) 문제로 연구한다. 정책 체제는 관측 가능한 입력 분포와 정책 변수를 결과에 매핑하는 목표 함수에 의해 유도되는 학습 문제로 표현된다. 우리는 새로운 체제에서 유연한 가설 클래스를 탐색하는 백지(blank-slate) 학습기와, 이전 체제의 구조적 지식에 의해 유효 가설 클래스가 제한된 전이 학습기를 비교한다. 전이는 이 제한이 유효 복잡성을 줄이면서 새로운 목표 함수를 보존할 때 유익하며, 제한이 새로운 목표를 배제하여 오명세(misspecification)를 초래할 때는 해롭다. 양식화된 배출 규제 실험 환경과 동적 에이전트 기반 모델(ABM) 강건성 실험이 이 주장을 뒷받침한다. 목표 체제가 아핀 단조 세금-배출 관계를 보존하는 경우, 전이는 경험적 소표본 성능을 향상시킨다. 반면 목표 체제가 임계값 단절을 도입하는 경우, 동일하게 전이된 구조는 부정적 전이(negative transfer)를 야기한다. 즉 보류 오류가 높게 유지되고, 온라인 예측에서 더 많은 오류가 발생하며, 반복적인 온라인 스트림에서 오명세 하의 누적 오류 및 최종 윈도우 오류가 더 크게 나타난다. 본 논문의 기여는 방법론적인 것으로, 이전 규제 경험은 안정적인 구조적 불변량을 포착할 때 재사용해야 하지만, 정책 변화가 정책-결과 관계를 바꾸는 경우에는 신중하게 다루어야 함을 제시한다.

arXiv:2607.11226v1cs.AI

런타임 제약 메모리를 활용한 안전한 개방형 탐험을 위한 이종 에이전트 코호트

Heterogeneous Agent Cohorts for Safe Open-Ended Exploration with Runtime Constraint Memory

오늘날 대규모 언어 모델(LLM) 에이전트는 곤란한 딜레마에 처해 있다. 정적 안전 지침으로 제한하면 명백한 범위를 거의 벗어나지 못하고, 도구와 다중 에이전트 토론에서 자유를 부여하면 안전 위반이 빠르게 뒤따른다. 단일 모델이 창의성과 신중함을 동시에 처리하도록 강요하는 대신, 우리는 특화된 역할별로 관심사를 분리한다. Disrupter는 비관습적인 제안을 생성하고, Validator는 도구 게이트웨이에서 엄격한 런타임 검사를 수행하며, Broker는 멀지만 관련성 있는 유추를 끌어온다. 실패는 폐기되지 않고, MCTS를 통해 Scars라 부르는 소형의 서명된 제약 패치로 컴파일된다. 이 패치는 로컬에 캐시되어 미래 코호트에 상속되며, 반복된 실패를 재사용 가능한 저비용 런타임 제약으로 전환한다. 공간-의미 샌드박스(N=20회 실행, p<0.01)에서, 우리의 코호트는 토론이 실패하는 원격 목표에 도달하고, Validator는 실행된 모든 위반을 방지하며, Scars는 중복된 검증기 검사를 피함으로써 토큰 소비를 15.1% 줄인다. 또한 신용 기반 통신 할당 점수(CAS)는 아웃바운드 대역폭을 제한하여, 자원 제약 하에서 전체 토큰 비용을 55.9% 절감한다.

arXiv:2607.11185v1cs.AI

SCALECUA: 검증 가능한 태스크 합성과 효율적인 온라인 강화학습을 통한 컴퓨터 사용 에이전트 스케일링

SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL

컴퓨터 사용 에이전트(CUA)는 시각적 인식과 GUI 실행을 통해 복잡한 디지털 워크플로우를 자동화하는 강력한 인터페이스로 부상하고 있다. 검증 가능한 보상을 활용한 온라인 강화학습(RLVR)은 에이전트의 능력을 확장하는 핵심 방향으로 떠올랐다. 그러나 이 패러다임은 검증 가능한 데이터의 부족과 온라인 강화학습의 비효율성이라는 병목에 직면해 있다. 이러한 장벽을 극복하기 위해 우리는 ScaleCUA를 제안한다. ScaleCUA는 검증 가능한 태스크 합성과 효율적인 학습을 통해 CUA의 온라인 강화학습을 확장하는 통합 프레임워크다. 데이터 측면에서는 반복적인 도커(docker) 상호작용과 멀티 에이전트 피드백 루프를 통해 검증 가능한 강화학습 태스크를 생성하는 엔드-투-엔드 프레임워크인 VeriGen을 설계했다. 공유 도커 상호작용 프로브를 통해 100개 이상의 동시 에이전트 워커로 확장한 이 파이프라인은 24K개 이상의 검증 가능한 태스크와 약 3K개의 고품질 강화학습 태스크를 생성한다. 샘플 효율을 극대화하기 위해 태스크별 역량을 추적하고 현재 학습 프론티어에 롤아웃을 할당하는 Frontier Sampling을 제안한다. 학습 측면에서는 최근 시각적 컨텍스트에 슬라이딩 윈도우를 적용하는 Visual Context Segmentation을 추가로 설계하여 롤아웃과 학습 엔진의 부하를 균형 있게 조절하고, 단계별 분해 방식 대비 2.83배의 학습 속도 향상을 달성한다. 이를 통해 ScaleCUA는 OSWorld에서 68.7%, ScienceBoard에서 54.0%를 달성하여 오픈소스 컴퓨터 사용 에이전트 중 새로운 최고 성능을 확립한다. 코드, 모델, 데이터셋은 https://github.com/THUDM/SCALE-CUA 에서 공개된다.

arXiv:2607.11141v1cs.AI

NextFund: 에이전트 기반 포트폴리오 관리를 위한 통합 성과 추적 플랫폼

NextFund: A Unified Performance Tracking Platform for Agentic Portfolio Management

대규모 언어 모델(LLM) 기반 에이전트가 포트폴리오 구성 및 시장 분석에 참여하기 시작하고 있으며, 이 영역에서는 진화하는 정보와 리스크 제약 하에 의사결정의 근거를 제시해야 한다. 그러나 현행 평가 관행은 이러한 환경과 잘 맞지 않는다. 많은 연구들이 정적인 검토에 의존하거나 최종 포트폴리오 수익률만을 보고하는 반면, 그 수익률을 산출한 중간 근거, 애널리스트 판단, 실행 단계는 대부분 불투명한 채로 남아 있다. 우리는 실시간 시장 조건 하에서 금융 에이전트의 행동을 관측 가능하게 만드는 평가 플랫폼 NextFund를 소개한다. 이 플랫폼은 시간 일관성 있는 시장 접근, 조율된 멀티 에이전트 분석, 그리고 관측에서 거래까지 전체 의사결정 경로의 지속적 로깅을 결합한다. 인터랙티브 Trading Arena를 통해 사용자는 여러 시장에 걸쳐 모델을 비교하고, 자산 곡선을 검토하며, 리더보드 결과에서 개별 근거까지 세부적으로 탐색할 수 있다. 우리는 홍콩, 미국, 중국 A주 주식시장을 대상으로 NextFund를 시연하며, 검사 가능한 의사결정 이력이 어떻게 더 공정한 벤치마킹과 실질적인 진단을 가능하게 하는지 보여준다. 데모는 https://paradoox.cn/nextfund/ 에서 확인할 수 있다.

arXiv:2607.10878v1cs.AI

LOGOS: A Living Logic for AI Agent Teams That Evolve With Humans

AI agents are evolving from answer engines into persistent teams that use tools, delegate work, learn from experience, and modify the artifacts that shape their future behavior. The defining question for deployment is no longer merely what agents can do, but who controls what they are allowed to become. We introduce logos, a pluggable layer for self-evolution and governance that strengthens existing multiagent frameworks rather than replacing them. logos compiles heterogeneous multimodal inputs, including documents, images, audio, tables, databases, APIs, and human instructions into versioned agent packs containing agents, tools, knowledge, tests, permissions, and policies. During operation, it transforms agent activity into portable, auditable event traces and applies fail-closed verification across frameworks and backends. Every learned prompt, memory, skill, tool, role, or workflow remains an untrusted release candidate until held-out execution evidence, human-controlled policy, and explicit authorization permit its promotion. This architecture enables "verifiable human-agent loop engineering": agents can act, ask, learn, and propose improvements, while humans can steer objectives, permissions, approvals, and irreversible actions without interrupting continuous operation. logos provides a living logic for accountable automation. Agents may evolve at machine speed, but only evidence and human authority can close the loop.

arXiv:2607.10836v1cs.AI

라우팅, 통신, 추론: 효율적인 다중 에이전트 추론을 위한 게이트 라우팅과 적응적 깊이

Route, Communicate, and Reason: Gated Routing and Adaptive Depth for Efficient Multi-Agent Reasoning

다중 에이전트 앙상블은 활성 파라미터와 추론 비용을 배가시키면서도 세 가지 기본 질문에 답하지 못한다: 어떤 에이전트를 참조할지, 쿼리가 에이전트 계층 구조를 얼마나 깊이 탐색해야 하는지, 그리고 에이전트 간 통신이 그 비용을 감수할 만한 가치가 있는 시점이 언제인지. 우리는 GRADE(Gated Routing and Adaptive Depth for Efficient Reasoning)를 제시한다. GRADE는 4개의 경량 학습된 게이트가 에이전트 선택, 계층 깊이, 에이전트 간 통신, 가지치기를 공동으로 제어하는 계층적 다중 에이전트 시스템이다. 학습에는 CoGRPO(Collaborative Group-Relative Policy Optimization)를 사용하는데, 이는 GRPO를 다중 에이전트 계층 구조에 적응시키고 롤아웃에 참여한 모든 게이트와 에이전트에 공유 이점 신호를 부여하는 비평가 없는(critic-free) 새로운 방법이다. 에이전트 모델은 교체 가능한(hot-swappable) 전문가 레지스트리(Expert Registry)에서 가져오며, 에이전트별 캘리브레이션 맵을 통해 추론 시점에 재학습 없이 전문가를 교체할 수 있다. 평균 활성 파라미터 약 170억 개 규모에서 GRADE는 GSM8K, MMLUPro, GPQA의 모든 기준선을 능가하며, MMLUPro에서 가장 강력한 기준선보다 절반의 활성 컴퓨팅으로 4.8점 앞선다. 모델 깊이가 지배적인 AIME-2025에서는 기존 프레임워크와 경쟁력을 유지한다. 절제 연구(ablation)를 통해 계층 구조와 마스크된 크로스 어텐션이 정확도 향상에 가장 크게 기여하며, 에이전트별 캘리브레이션이 안전한 교체를 위해 필수적임을 확인한다.

arXiv:2607.09954v1cs.GT

보안 제어 추천을 위한 지식 기반 다중 에이전트 프레임워크

A Knowledge-Based Multi-Agent Framework for Security Control Recommendation

온프레미스 IT 환경을 강화하는 작업은 충분한 사이버보안 전문 지식을 보유하지 못한 팀에게 매우 부담스러운 과제일 수 있다. 이와 관련하여, 전문 지식이 내재된 의사결정 지원 시스템(DSS)은 사용자가 목표를 달성할 수 있도록 보안 권고 사항을 안내함으로써 도움을 줄 수 있다. 본 연구는 다양한 보안 차원의 커버리지를 나타내는 최소한의 사용자 요구 사항을 입력받아 보안 제어 하위 패밀리를 추천하는 보안 DSS를 제안한다. 이 시스템은 잘 알려진 정보 보안(InfoSec) 및 학술 출처로부터 수집된 정제된 통합 데이터셋을 활용한다. 이 DSS는 다중 에이전트 영향 다이어그램(MAID) 모델에 기반한 비제로섬(non-zero-sum) 동시 게임으로 정의되며, 7개의 보안 차원 또는 에이전트에 걸친 결정 공간을 탐색하기 위해 후회 없는(no-regret) 온라인 학습을 사용하여, 보안 자원의 과소 및 과잉 프로비저닝을 최소화하면서 요구 사항에 가장 적합한 보안 제어 하위 패밀리를 최종적으로 도출한다. 본 연구는 다양한 데이터셋 크기에 대해 성능 및 정확도 등 여러 측면에서 검증되었다. SW로 구현 가능한 보안 제어의 약 65%만을 사용할 경우 1.2~35.7초 내에 99%의 탁월한 만족 커버리지 결과를 보여주었으며, 제어의 약 29%를 사용할 경우에는 0.8~13.8초 내에 73%~77%의 보다 보통 수준의 커버리지 결과를 나타냈다.

arXiv:2607.09766v1cs.AI

AI 에이전트를 위한 규범 집행: 다중 에이전트 시스템에서 견고한 행동 형성

Norm Enforcement for AI Agents: Robustly Shaping Behavior in Multi-Agent Systems

AI 에이전트는 다양한 목표를 추구하고 보상을 두고 경쟁하는 공유 환경에 점점 더 많이 배포되고 있다. 이러한 다중 에이전트 간 경쟁은 집단적 비용을 치르며 개인적 이익을 추구하는 행동으로 이어질 수 있다—예를 들어, 마케팅 에이전트들은 소셜 미디어에서 참여도를 두고 경쟁한 결과로 오해를 유발하는 콘텐츠를 게시할 수 있다. 인간 사회는 허용 가능한 행동을 제한하는 규범과, 위반을 감지하고 제재하는 집행 메커니즘을 통해 이러한 문제를 해결한다. 이에 착안하여, 우리는 언어 모델(language model) 에이전트를 위한 규범 집행 메커니즘을 연구한다. 단순한 집행 메커니즘은 명시적으로 학습되거나 프롬프트되지 않았더라도 정렬이 어긋난 에이전트에 의해 경쟁적 우위를 위해 악용된다는 것을 발견하였다. 이에 우리는 더욱 견고한 메커니즘 설계에 주목하고, 두 가지 핵심 요소를 파악하였다: 각 에이전트의 신뢰성을 시간에 따라 추정하는 것, 그리고 반복적인 위반 행동에 대해 가중되는 제재로 이 추정치를 갱신하는 것이다. 세 가지 시뮬레이션 환경과 다양한 에이전트 집단에 걸쳐, 이 원칙들에 기반한 메커니즘은 악용에 저항하면서도 기준선과 비슷하거나 더 낮은 비용으로 규범 위반을 제재한다. 우리의 결과는 규범 집행 메커니즘이 에이전트 행동을 형성하는 확장 가능한 수단으로 기능할 수 있음을 보여주지만, 이는 자신이 관장하는 시스템의 일부가 될 것을 예상하여 설계된 경우에만 가능하다. 코드와 데이터는 https://yaowenye.com/norm-enforcement 에서 이용 가능하다.

arXiv:2607.09748v1cs.AI

비트가 아닌 신념의 복제: 에이전트 시스템을 위한 인식론적 상태 복제

Replicating Belief, Not Bits: Epistemic State Replication for Agentic Systems

분산 시스템에서 고전적인 상태 기계 복제(SMR) 모델은 올바른 복제본이 결정론적 전이를 실행하여 동일한 비트 단위 상태를 산출한다고 가정한다. 그러나 자율적이고 확률론적이며 모델 기반 에이전트들이 인프라를 조율하는 에이전트 기반 분산 시스템의 부상은 결정론적 비트 단위 복제가 불충분한 시나리오를 제시한다. 생성 모델로 동작하는 복제본들은 서로 다른 추론 경로, 요약, 토큰 경계를 보일 수 있지만, 의미론적으로 동등하고 올바른 운영 결정에 도달할 수 있다. 이러한 확률론적 참여자들 전반에 걸쳐 비트 단위 합의를 강제하면 실행 유연성이 저하되고, 컨텍스트 기억상실이 유발되며, 성능이 제한된다. 우리는 이러한 환경에서 복제본들은 비트가 아닌 신념에 합의해야 한다고 주장한다. 우리는 에이전트 기반 분산 시스템을 위한 신념 복제 층인 인식론적 상태 복제(ESR)를 제안하며, 이는 복제 경계를 데이터 가시성에서 지식 가시성으로 이동시킨다. 우리는 인식론적 노드 상태를 K = (L, B) 쌍으로 형식화하여, 결정론적이고 불변하는 증거 로그 (L)를 확률론적이고 진화하는 신념 계보 (B)로부터 분리한다. 실행 안전성을 관장하기 위해, 우리는 의미론적 선형화 가능성(Semantic Linearizability)을 정의하는데, 이는 연산이 검증자 유계 의미론적 호환성 메트릭 내에서 최신 커밋된 운영 의미를 반영할 것을 요구하며, 또한 공정한 전달, 단조로운 증거, 유계 검증자 교란, 수축적 접목 연산자 하에서 기대 의미론적 발산을 유계로 제한하는 유계 최종 일관성(Bounded Eventual Coherence)을 정의한다. 우리는 구조화된 인식론적 델타를 사용하여 도출된 인사이트를 전파하기 위한 프로토콜을 개략적으로 제시하고, 컨텍스트 기억상실을 유발하지 않으면서 신념 계보에서 결함 있는 전제를 제거하기 위한 검증 가능한 의미론적 롤백(Verifiable Semantic Rollbacks)을 형식화한다. 우리는 ESR의 프로토타입을 구현하고, 제시된 가정 하에서 실현 가능성을 보여주며 이차적 인지 결함의 감소를 나타내는 예비 시뮬레이션 결과를 보고한다.

arXiv:2607.09714v1cs.AI

연속 시간에서의 피드백 결합 메모리 시스템

Feedback-Coupled Memory Systems in Continuous Time

피드백 결합 메모리 시스템(FCMS) 아키텍처는 네 가지 추상 연산자를 통해 폐루프 조정을 형식화하며, 그 중 에이전트 업데이트 연산자 $f_i$와 환경 업데이트 연산자 $Ψ$ 두 가지는 원래 프레임워크에서 공리적으로 미정의 상태로 남아 있다. 이를 해결하기 위해, $f_i$는 메커니즘 기반 지능(MBI, Mechanism-Based Intelligence)으로 정의되는데, 에이전트들은 분산 가격 메커니즘과 경제 원칙을 통해 로컬로 업데이트된다. $Ψ$는 결합 메모리 그래프 프로세스(CMGP, Coupled Memory Graph Process)로 정의되며, 이는 비-마르코프(non-Markovian) 프레임워크로서 환경을 외부 강제 없이 궤적 이력을 일관되게 기록하고 반응하는 물리적 기질로 취급한다. 이로부터 도출된 연속 시간 FCMS 구체화는 계산 가능한 임계값 $4β^2 < 2ημγ^2$에 의해 지배되는 Lyapunov 전역 소산성(global dissipativity)을 달성한다. 이는 이산 FCMS 안정성 조건 $4ηβ^2 < γ$와 CMGP의 물리적 분기 임계값 $α_c = 1/K$ 모두를 일반화하며, 메모리 소산이 피드백 이득을 상회해야 한다는 보편적 조직화 원리를 확인한다. $N=2$ 에이전트를 사용한 수치 시뮬레이션과 $N=10^6$에서의 평균장(mean-field) 검증은 안정성 임계값과, 이를 위반했을 때 나타나는 자기 강화 조정 캐스케이드를 확인한다.

arXiv:2607.09713v1cs.AI

규칙 정렬 소형 언어 모델과 다중 에이전트 자기 수정을 활용한 폐루프 제어

Closed-Loop Control with Rule-Aligned Small Language Models and Multi-Agent Self-Correction

자율 산업 운영을 향한 핵심 단계는 수동 재설계를 최소화하거나 없이 자연어 요구사항 명세로부터 제어 정책을 생성하고 재구성하는 능력이다. 이 환경에서, AI 에이전트에 의한 정책 생성은 실행 전 생성된 후보 액션을 검사할 수 있는 플랜트 인식 검증기(예: 디지털 트윈)와 결합될 때 신뢰할 수 있는 경로가 될 수 있다. 그러나 실용적 배포는 추론 지연과 계산 자원 규모에 의해 제약된다: 대형 클라우드 기반 모델은 엣지 폐루프 사용에 있어 너무 느리거나, 불투명하거나, 데이터 민감도 측면에서 문제가 있는 경우가 많다. 본 연구는 소형 언어 모델(SLM)이 제어 추론을 위해 재훈련되고 검증기 기반 수정 루프에 내장될 수 있는지를 조사한다. 우리는 그룹 상대 정책 최적화(GRPO)를 통해 정렬된 Qwen2.5-1.5B 모델을 (i) 액션 에이전트, (ii) 심볼릭/디지털 트윈 방식의 검증 층, (iii) 유효한 액션을 향해 출력을 반복적으로 조정하는 리프롬프팅 에이전트와 결합하여 사용한다. 무작위화된 열 제어 시뮬레이션(각 500 스텝의 30회 실험)에서, 이 프레임워크는 평균 추론 지연 3.84초에 평균 액션 정렬 정확도 91.5%(사례별 86.3%--100%)를 달성한다. 심볼릭 재매핑 하에서 95%의 범위 내 비율을 유지하며, 이는 감소된 토큰 수준 일치도에도 불구하고 견고한 물리적 조절을 나타낸다. 이러한 결과는 SLM+검증기 아키텍처가 엣지에서의 재구성 가능한 자율 제어를 향한 실용적인 경로임을 지지한다.