다중 에이전트 시스템(MAS)은 역할 분해, 조정, 규범적 거버넌스를 위한 성숙한 추상화를 제공하지만, 학습된 컴포넌트의 성능이 점차 향상됨에 따라 배포 후 안전성(safety)을 점검, 감사 및 업데이트하기가 더 어려워지고 있습니다. 안전성 행동이 의사결정 컴포넌트에 흡수되면, 국소적인 실패만으로도 전체 컴포넌트의 재학습(retraining)이나 롤백이 필요할 수 있습니다. 본 연구는 의사결정 생성과 안전성 거버넌스를 분리하는 거버넌스 중심 하이브리드 MAS 아키텍처로서 정렬(alignment) 플라이휠에 대한 비전을 구체화합니다. 후보 궤적을 생성하는 에이전트 또는 정책을 제안자(Proposer)로 정의하며, 이는 출력을 거버넌스된 안전성 오라클(Safety Oracle) 스택으로 전달합니다. 이 오라클 스택은 안정적인 인터페이스를 통해 안전성 점수, 예측 불확실성, 감사 커버리지 불확실성, 증거 훅을 반환합니다. 집행 층(Enforcement layer)은 런타임에 명시적인 위험 정책을 적용합니다. 이 루프를 중심으로 거버넌스 MAS는 모니터링, 레드팀 테스팅(red-teaming), 검증, 트리아지, 개선 및 버전 관리되는 릴리스 관리를 수행합니다. 핵심적인 엔지니어링 원칙은 패치 국소성(patch locality)입니다. 새로 관찰된 많은 안전성 실패는 제안자를 재학습하거나 철회하는 대신, 오라클 스택과 해당 감사 상태에 대한 소규모 거버넌스 배치를 통해 완화될 수 있습니다. 이 아키텍처는 제안자와 오라클 모두에 대해 구현에 구애받지 않습니다(implementation-agnostic). 또한 런타임 게이팅, 감사 수집, 서명된 업데이트, 단계적 롤아웃 및 롤백에 필요한 역할, 산출물, 프로토콜, 릴리스 시맨틱을 정의합니다. 우리는 회귀 검증된 거버넌스 업데이트를 통해 패치된 학습 기반 공간 오라클과 구조화된 규범, 에스컬레이션, 감사 커버리지를 보여주는 임상 GenAI 프록시 환경의 두 가지 시나리오에서 실행 가능성을 입증합니다. 구현 코드와 문서는 https://github.com/decide-ugent/Alignment-Flywheel 에서 오픈 소스로 제공됩니다.
탈중앙화 에이전트(agent) 경제는 별도로 설계되고 보안이 적용된 프로토콜들을 조합하여 단일 작업을 구성하는 경우가 점점 늘고 있습니다. 이는 각 단계에서는 워크플로가 올바르게 보일지라도 최종적으로는 잘못된 결과를 낳을 수 있다는 단순한 문제를 야기합니다. 예를 들어, 정상적인 에스크로는 승인 인가를 바탕으로 대금을 지급할 수 있지만, 정작 전달된 작업물이 실제로 과업을 만족했는지에 대한 증거는 거의 제공하지 못할 수 있습니다. 본 연구는 에이전트 과업의 전체 생애주기에 걸쳐 이러한 문제를 체계화(systematize)합니다. 보안 및 경제적 요구사항을 6단계에 걸친 17개 속성군으로 정리하고, 영수증의 건전성(soundness)과 완전성(completeness)을 별도로 평가합니다. 또한 12개의 시스템 및 표준, 5개의 재사용 가능한 메커니즘군, 4개의 고전적 베이스라인을 검토합니다. 나아가 한 단계에서 확립된 보장이 유효하게 유지되어 이에 의존하는 후속 결정을 구속하는지 판별하기 위한 과업 상대적 기준인 '보장 폐쇄(guarantee closure)'를 도입합니다. 이 기준을 통제된 워크플로 및 네이티브 워크플로에 적용하여, 840건의 매칭된 실행과 유한한 목적 과업 도메인에 대한 11,648건의 전수 검사를 수행했습니다. 실험 결과, 검증과 정산 사이에서 규격을 준수한 작업물이 승인되지 않거나 유효한 증거가 무시되는 등 반복적으로 발생하는 결함들이 드러났습니다. 공개 기록과 모델(model) 판단을 통해 기록된 승인과 과업 준수 증거를 추가로 구분하는 한편, 경제적 분석을 통해 이러한 보장 이면에 존재하는 보고, 페널티, 오류 공유(shared-error) 가정을 식별합니다. 본 연구 결과는 종단간(end-to-end) 보장이 어디에서 실패하는지, 그리고 전체 워크플로에 걸쳐 이를 유지하기 위해 무엇을 보완해야 하는지 보여줍니다.
공장은 높은 수준의 제품 맞춤화를 갖춘 소량 생산 체제로 전환되고 있으며, 이에 따라 유연하고 재구성 가능한 자동화 시스템의 빈번한 재프로그래밍이 요구됩니다. 대규모 언어 모델(LLM) 기반 에이전트(agent)는 상호보완적인 두 가지 역할로 배치될 수 있습니다. 오프라인에서는 결정론적 생산 시퀀스를 생성하여 프로그래밍 노력을 줄이고, 온라인에서는 실제 기계를 운영하며 정적 프로그램이 예측할 수 없는 런타임 오류를 처리합니다. 본 논문에서는 각 공장 모듈을 전용 LLM 기반 에이전트 및 OPC UA 메서드 호출을 통해 모듈의 스킬을 노출하는 MCP 툴 서버와 결합하고, 에이전트들이 MQTT를 통해 조율하며 공장 상태의 실시간 업데이트를 바탕으로 그라운딩(grounding)되는 솔루션을 제안합니다. 실제 6개 모듈 육각형 공장의 시뮬레이션 환경에서 무음 하드웨어 결함 감지를 포함하여 복잡성이 증가하는 9가지 생산 과제를 대상으로 세 가지 에이전트 아키텍처(오케스트레이터, 피어투피어, 모놀리식)를 비교합니다. 모놀리식 및 피어투피어 아키텍처는 모두 가장 높은 평균 해결률(93%)을 달성한 반면, 오케스트레이터는 차단된 구간 주변으로 플레이트 경로를 자율적으로 재지정함으로써 10회 실행 모두에서 무음 컨베이어 벨트 결함을 유일하게 해결했습니다. 모든 아키텍처는 명시적인 장애 처리 로직 없이도 창발적(emergent) 결함 진단 동작을 보이며, 표준화된 MCP 툴링, MQTT 기반 에이전트 간 통신, 실시간 상태 주입이 LLM으로 프로그래밍되는 스마트 제조를 위한 실용적이고 재현 가능한 기반임을 입증합니다.
기존의 추론 프로토콜은 고정되고 사전 선택된 작업을 제시하므로 에이전트가 관련 업데이트를 전파하는지, 영향을 받지 않은 작업을 보존하는지, 또는 과거의 작업 바인딩을 재구성하는지 테스트할 수 없습니다. 따라서 우리는 이벤트 스트림이 작업 바인딩을 수정하고 시스템이 문제를 해결하기 전에 각 쿼리 시점에 유효한 문서 버전을 선택해야 하는 동적 작업 라우팅(dynamic task routing)을 연구합니다. 이 문제를 연구하기 위해 MMLU, MMLU-Pro, MedMCQA, MATH, GPQA, HumanEval 등 널리 사용되는 6개 벤치마크를 373,428개의 시간별 분류 쿼리로 구성된 31,119개의 동적 에피소드로 재구성합니다. 이러한 설정은 모든 이벤트 후에 재계산하는 것은 작업을 낭비하는 반면, 무분별한 재사용은 오래된 결론을 반환한다는 핵심적인 트레이드오프를 드러냅니다. 우리는 결정론적 시간 해석(temporal resolution)과 작업 추론을 분리하는 유계 다중 에이전트(multi-agent) 정책인 수정 인지 독립 에이전트 그래프(Revision-Aware Independent Agent Graph, RIAG)를 소개합니다. RIAG는 불변 문서 식별자(immutable document identity)를 기반으로 솔루션을 캐싱하고, 각각의 새로운 작업을 노출되지 않은 두 번의 시도로 시작하며, 문서 버전당 최대 4회의 호출을 사용하여 감사 및 수정을 조건부로 호출합니다. 이 컬렉션에서 동종(homogeneous) RIAG는 쿼리당 0.62회 호출로 54.24%의 결합 라우팅 및 답변 정확도를 달성하여 가장 강력한 비교 방법의 쿼리당 18.00회 호출 시 32.22%와 대비되며, 이종(heterogeneous) RIAG는 쿼리당 0.63회 호출로 49.78%에 도달합니다.
멀티 에이전트 소통은 에이전트들이 서로의 정보를 활용하여 이득을 얻도록 돕는 것을 목표로 합니다. 그러나 시스템 성능의 향상은 근본적인 모호함을 남깁니다. 즉, 이것이 효과적인 소통을 반영하는 것인지, 유리한 에이전트 구조 덕분인지, 아니면 단순히 추가적인 추론(reasoning) 때문인지 불분명합니다. 소통 방식은 보통 해당 방식이 설계된 시스템 내에서 평가되기 때문에 이러한 요인들을 분리해 파악하기 어렵습니다. 나아가 최종 정확도는 수정된 오류와 훼손된 정답을 단일 결과로 합쳐버려, 소통이 의사결정을 어떻게 변화시키는지 가려버립니다. 본 논문에서는 독립적인 추론 후의 답변 수정을 통해 소통을 평가하는 통제된 프레임워크인 ICR(Independent--Communicate--Revise)을 소개합니다. ICR은 초기 추론 궤적을 고정하고, 두 에이전트의 초기 정답 여부를 조건으로 하여 오류 수정(correction) 및 정답 유지(preservation)를 측정하며, 메시지 없는 수정 대조군을 사용하여 추가 추론을 넘어서는 이득을 정량화합니다. 네 가지 추론 벤치마크에 걸쳐 텍스트 및 잠재(latent) 소통을 감사한 결과, 유사한 종합 정확도 뒤에 실질적으로 다른 수정 행동이 숨겨져 있을 수 있음을 밝혀냈습니다. 정답만 전송하는 것과 비교했을 때, 전체 추론을 전달하면 네 가지 벤치마크 모두에서 오류 수정은 증가하지만 정답 유지는 감소하므로, 더 풍부한 메시지는 유익한 영향과 유해한 영향을 모두 증폭시킵니다. 또한 MedQA 및 GPQA-D에서의 수신자 정책 비교는 구조화된 검증 정책이 모든 채널을 더 높은 정답 유지와 더 낮은 오류 수정 방향으로 유도하는 반면, 선택성(selectivity)에 미치는 영향은 채널과 태스크에 따라 상이함을 보여줍니다. 이러한 발견은 소통 품질을 채널 고유의 특성으로 취급하는 기존 관점에 의문을 제기합니다. 따라서 ICR은 평가의 초점을 선택적 수정에 다시 맞추어, 메시지 내용과 수신자 정책이 어떻게 상호작용하여 이득과 피해를 낳는지 조사할 수 있는 통합 프레임워크를 제공합니다.
대규모 언어 모델(LLM) 기반 멀티에이전트 시스템(MAS)의 발전과 함께, 점점 더 많은 오픈소스 프로젝트들이 핵심 기능의 기반으로 멀티에이전트 아키텍처를 채택하고 있습니다. MAS에 대한 연구와 실무가 상당한 주목을 받고 있음에도 불구하고, 오픈소스 LLM 기반 MAS 실무자들이 겪는 어려움과 이러한 어려움의 원인 및 잠재적 해결 방안을 탐색한 연구는 제한적이었습니다. 이러한 공백을 해결하기 위해, 우리는 실무자들이 오픈소스 LLM 기반 MAS를 개발하고 활용할 때 마주치는 이슈, 이러한 이슈의 가능한 원인, 그리고 잠재적 해결 방안을 이해하기 위한 실증 연구를 수행했습니다. 우리는 21개의 오픈소스 LLM 기반 MAS에서 22,848개의 해결된(closed) 이슈를 수집하고, 자동화 및 수동 방식을 결합한 필터링 접근법을 적용하여 데이터셋을 LLM 기반 MAS와 관련된 944개 이슈로 축소했습니다. 그런 다음 이러한 이슈들을 분석하여 실무자들이 자주 겪는 이슈, 근본적인 원인 및 잠재적 해결 방안을 파악했습니다. 연구 결과에 따르면 (1) 조율 및 실행 이슈(Orchestration & Execution Issue)가 실무자들이 직면하는 가장 흔한 문제이며, (2) 워크플로우 문제(Workflow Problem), 도구 통합 문제(Tool Integration Problem), 메모리 문제(Memory Problem)가 이슈의 가장 빈번한 원인으로 확인되었고, (3) 워크플로우 최적화(Optimize Workflow)가 이슈에 대한 주된 해결 방안으로 나타났습니다. 연구 결과를 바탕으로, 우리는 LLM 기반 MAS의 오케스트레이션, 도구 통합 및 메모리 메커니즘 개선을 목표로 하는 실무자와 연구자를 위한 실증적 기반의 시사점을 도출했습니다.
본 연구에서는 비선형 표면파 산란의 서로 다른 다항식 조각들을 하나의 전역적 표현으로 결합하는 최근 발견된 기하학적 공식인 하이드로토프(hydrotope)를 통제된 사례 연구로 활용하여, AI 에이전트(agent)가 과학 공식을 발견하고 검증하는 방식을 연구합니다. 이 문제는 겉보기와 달리 매우 까다롭습니다. 개별 주파수 영역 내에서는 단순한 공식이 성립할 수 있지만, 전역적인 결과를 얻으려면 이들의 경계를 식별하고 잠재적으로 활성화될 수 있는 기하급수적으로 많은 항들을 결합해야 하기 때문입니다. 우리는 인간-에이전트 협업을 통해 이 공식이 원래 어떻게 발견되었는지를 재구성하고, 힌트가 없는 조건과 두 가지 형태의 인간 안내(부정확한 사전 지식을 나타내는 거짓 힌트 및 도메인 지식 기반 통찰을 나타내는 참 힌트) 하에서 18회의 단일 프롬프트(prompt) 재발견 실행을 분석합니다. 단 4회만이 모든 운동학적 챔버(kinematic chamber, 즉 단일 다항식 형태가 적용되는 영역)에 걸쳐 공식을 복원하는 데 성공했으며, 대부분의 실패한 실행은 올바른 챔버 다항식을 찾기는 했으나 이를 결합하지 못하거나 전체 영역을 검증하는 데 실패했습니다. 기존의 기호 회귀(symbolic regression), LLM 지원 기호 회귀, 표준 머신러닝 회귀 모델 또한 우리의 실험에서 전역 공식을 복원하지 못했습니다. 이러한 실패 양상을 바탕으로, 우리는 총괄 책임 에이전트가 두 연구 에이전트에게 상호 보완적인 해석적 및 수치적 작업을 할당하고 그 결과를 독립적으로 평가하는 'PI+2인 학생(PI+two-student)' 워크플로를 테스트합니다. PI+2인 학생 팀은 완전한 하이드로토프 공식을 성공적으로 재발견했으며, 더 어려운 세 개의 음의 파수(three negative wavenumber) 문제에 동일한 워크플로를 적용하여 6점 진폭 $A_6$에 대한 독립적으로 검증된 새로운 해석적 표현식을 발견했습니다.
자율형 대규모 언어 모델(LLM) 에이전트(agent)는 에이전트 간에 적대적 콘텐츠가 전파될 수 있는 네트워크 환경에서 점점 더 많이 상호작용하고 있습니다. 알려진 공격으로는 자기 복제 프롬프트(prompt) 주입이나 구성 손상을 통해 확산되는 에이전트 웜(agent worm)이 있습니다. 본 연구에서는 콘텐츠를 재전송하고 증폭하려는 에이전트의 성향을 악용하는 별개의 네트워크 매개 공격 클래스인 밈적 트로이목마(memetic trojan)를 소개합니다. 전파가 적대적으로 유도되는 에이전트 웜과 달리, 밈적 트로이목마는 에이전트가 공유할 내적 동기를 가진 콘텐츠인 사회적 전염(social contagion)에 적대적 페이로드를 삽입하여 내생적(endogenous) 전송을 악용합니다. 연구의 일환으로, LLM 에이전트용 소셜 미디어 플랫폼인 Moltbook에서 사회적 전염 콘텐츠를 추출합니다. 통제된 전송 실험을 통해 바이럴리티(virality)에 큰 차이가 있음을 확인했습니다. 가장 효과적인 전염 콘텐츠는 이후 에이전트 게시물의 약 50%에서 재전송되었으며 평균 게시물 대비 2.5배 높은 비율로 추천(upvote)을 받았습니다. 이에 대응하는 밈적 트로이목마 역시 이러한 특성을 대부분 물려받습니다. 몬테카를로(Monte Carlo) 공격 시뮬레이션 결과, 밈적 트로이목마는 기대 노출을 최대 3.19배까지 증폭하는 것으로 나타났습니다. 네트워크 구조와 증폭 메커니즘은 전파 양상을 강하게 형성하여 네트워크 전반에 걸친 노출에 가까운 두터운 꼬리(heavy-tailed) 결과를 초래합니다. 이러한 결과는 내생적 사회 전송이 다중 에이전트 시스템에서 별개의 보안 취약점임을 규명합니다. 전파를 위해 에이전트가 악의적인 재전송 지시를 따를 필요가 없으므로, 프롬프트 주입 탐지나 에이전트 손상 방지에만 초점을 맞춘 방어책으로는 밈적 트로이목마의 전파를 단독으로 막을 수 없습니다. 대규모 에이전트 생태계를 안전하게 보호하려면 에이전트의 선호도, 추천 메커니즘, 네트워크 토폴로지가 적대적 페이로드를 어떻게 증폭하는지 고려하는 네트워크 수준의 방어가 필요할 수 있습니다.
다중 에이전트(multi-agent) 시스템은 증거를 공유하고, 작업을 위임하며, 여러 에이전트에 걸쳐 정보를 결합함으로써 역량을 이끌어냅니다. 그러나 동일한 프로세스가 안전성(safety) 문제를 야기합니다. 단독으로는 허용되는 기여들이 결합하여 금지된 사용을 가능하게 만들 수 있기 때문입니다. 모든 민감한 작업을 차단하면 정보 유출은 방지되지만 협업의 목적이 훼손됩니다. 본 논문에서는 금지된 사용의 차단과 필요한 인가된 사용의 완료를 결합 성공 기준으로 삼는 권한 결합 평가(authorization-paired evaluation)와, 객체 확인(object resolution), 권한 순위화(permission ranking), 결정론적 집행(deterministic enforcement)을 연결하는 프레임워크인 FlowReview를 소개합니다. 통제된 결합 실험에서 결합된 산출물을 검토함으로써 인가된 공급의 손실 없이 거부된 커밋 비율을 86.0%에서 0으로 줄였습니다. 본 연구 결과는 정보와 계통(lineage)을 보존하는 것만으로는 올바른 권한 귀속을 보장하지 못함을 보여줍니다. 출력을 검증할 수 있는 컴포넌트를 통해 객체 식별성과 권한이 실행과 계속 연결되어 있어야 합니다. 종합적으로, 이러한 결과는 다중 에이전트 안전성에 대한 시스템 수준의 요구사항을 확립합니다. 즉, 협업을 유용하게 만드는 인가된 역량을 보존하면서 구성된 정보 흐름을 통제해야 한다는 점입니다.
동시적이고 결함이 발생하기 쉬운 워커(worker)들에 작업을 위임하는 AI 에이전트(agent)에게 자원 한도는 일종의 인가 경계(authorization boundary)가 되어가고 있습니다. 그러나 부모-자식 할당 제약, 아핀 객체(affine object), 분산 에스크로(distributed escrow)만으로는 응답 유실, 타임아웃 후 작업 완료, 메시지 중복, 브랜치 분할(partition), 또는 방향성 비순환 그래프(DAG) 조인(join)이 단일 계통(lineage)을 앨리어싱(aliasing)하는 상황에서의 초과 지출을 방지하지 못합니다. 본 논문에서는 분산 다중 에이전트 위임에 대한 결함 감내형(fault-tolerant) 예산 보존을 정형화합니다. 예산은 위임 DAG를 통해 이동하는 배타적 에스크로 크레딧으로 표현되는 양자화된 자원 벡터입니다. 디스패치(dispatch) 전에 브랜치는 크레딧을 계통, 에포크(epoch), 정규화(normalization)된 효과, 최대 청구액, 수신자 및 멱등성 키에 바인딩된 작업 예약으로 변환합니다. 이는 격리(quarantine)가 적용된 서명된 디스패치 허가증을 영속화하며, 게이트웨이는 최초 수락 전에 이 허가증을 검증(validation)합니다. 불확실한 효과는 인증된 정산, 펜싱(fenced)된 권한 있는 무효과 증명(authoritative no-effect proof), 또는 영구적인 폐기 전까지 청구된 상태로 유지됩니다. 본 연구에서는 명시적 중재, 영속성, 인증, 정규화 및 게이트웨이 가정 하에서 소유권 분할, 원장 및 효과 보존, 자손 비증폭성, 최대 1회(at-most-once) 정산, 지연 완료 안전성, 분할 격리를 증명합니다. 구별 불가능성(indistinguishability) 결과는 분할-로컬 가용성을 확보하려면 배타적 사전 할당이 필수적임을 보여줍니다. 유계 TLA+ 검사, 독립적인 JavaScript 탐색기, 충돌 주입(crash-injected) 2-프로세스 SQLite 실험을 통해 선언된 범위를 검증하고 타임아웃 환불 및 과거 인증서 검증 뮤턴트(mutant)를 탐지합니다. 이 메커니즘은 평가된 충돌, 재시도, 중복, 네트워크 분할, 조인 및 지연 완료 스케줄 전반에 걸쳐 발급된 예산 한도를 성공적으로 보존합니다.
에이전트(agent) 프레임워크는 서브 에이전트를 포크(fork)하여 작업을 위임하는 방식을 점점 더 많이 채택하고 있으며, 흔히 자식 에이전트가 부모의 전체 작업 컨텍스트를 상속하도록 기본 설정되어 있습니다. 본 논문에서는 상속된 상태의 영향이 모델 성능에 따라 어떻게 달라지는지 측정하며, 여기서 $C_m$은 깨끗한 상태로 새로 포크되었을 때의 정확도(clean fork-fresh accuracy)를 나타냅니다. 고정된 폐쇄형 세트 및 행동 평가 벤치마크(benchmark)에서 동일 계열 모델 래더(ladder)(Qwen3 0.6/1.7/4/8B)를 대상으로 세 가지 상속 정책을 비교합니다: 리셋(Reset, 새로 포크: 기본 증거만 포함), 선택적(Selective, 선별된 전달: 유용한 이전 결론 추가), 전체(Full, 암시적 포크: 유용한 결론 및 대체된 결론의 $d$개 사본 추가). 모든 작업은 기본 증거만으로 해결 가능하므로, 성능 손실(loss)은 오래된 상태(stale state)에 대한 의존 때문인 것으로 볼 수 있습니다. (1) 2가지 합성 기본 작업과 MuSiQue 및 HotpotQA 전반에서 대체된 상태에 대한 복종은 측정된 성능 $C_m$에 따라 급격히 감소합니다(기울기의 신뢰 구간 CI는 모든 계열에서 0을 제외함). (2) Qwen3 합성 래더에서 순 상속 피해(net inheritance harm)는 비단조적 패턴을 따릅니다. 중급 성능 모델(Qwen3-1.7B)은 순 피해의 통계적으로 유의미한 국소 최솟값을 보이며, 새로 포크된 기준선(baseline)($Δ(32)=-0.19$ [-0.25, -0.12]) 및 양쪽 인접 모델보다 낮은 성능을 기록하는 반면, 가장 약한 모델은 중립에 가깝게 유지되고 가장 강한 모델(model)들은 견고함을 유지합니다. 저자들은 이처럼 유해한 성능 범위를 '위험 대역(danger band)'이라고 부릅니다. 모델 내 계산 난이도 스윕을 통해 동일한 $C_m$에서도 이 효과가 모델 클래스에 따라 달라짐을 확인했으며, 실제 부모-자식 간 포크 실험에서도 중간 모델의 성능 저하가 재현됩니다. (3) 선별된 선택적 전달은 3개 데이터셋(dataset) 모두에서 전체 상속 대비 평균 정확도를 향상시키며 위험 대역 내 모델에서 그 효과가 가장 컸던 반면, 고정 임계값 기반의 성능 라우터는 다른 데이터셋에서 실패했습니다. 전이 가능한 라우터는 재사용 이점과 오래된 컨텍스트 페널티 사이의 균형을 예측할 수 있어야 합니다. 해당 벤치마크는 동결되었으며 버전 해시가 적용되었습니다.
잠재 공간 통신(Latent communication)은 다중 에이전트 시스템이 내부 표상 공간에서 직접 정보를 교환할 수 있게 하여, 텍스트 기반 통신에 수반되는 토큰, 연산 및 지연 오버헤드를 줄여줍니다. 이를 위해 발신자의 표상을 수신자의 입력 공간으로 매핑하는 경량의 학습 가능한 링크가 도입됩니다. 본 연구에서는 기반이 되는 안전성 정렬(safety alignment) 에이전트들이 변경되지 않더라도, 정상적인 링크 학습만으로도 텍스트 기반 통신 대비 유해한 요청에 대한 순응(harmful compliance)이 증가할 수 있음을 보입니다. 공격자는 유해한 질의-응답 쌍으로 링크를 최적화하거나 정상적인 학습 데이터를 오염시킴으로써 이러한 효과를 증폭시킬 수 있습니다. 나아가 유해한 타깃 응답을 요구하지 않으면서도 정상적인 작업 성능과 유해 요청 순응을 함께 보상하는 강화학습(RL) 공격을 개발합니다. 세 가지 통신 토폴로지와 네 가지 안전성 벤치마크에 걸쳐, 이 공격은 정상적으로 학습된 링크에서의 평균 유해 순응 점수를 27.9에서 76.9로 높입니다. 직접적인 지도 최적화와 비교했을 때, 두 가지 정상 유용성 벤치마크에서도 더 높은 평균 정확도를 달성합니다. 보상을 보다 안전한 동작을 지향하도록 조정하면 침해된 링크를 복구할 수도 있어, 에이전트를 업데이트하지 않고도 평가된 모든 공격 전반에서 유해 순응을 크게 줄일 수 있습니다. 전반적으로 본 연구 결과는 안전성 정렬 시 다중 에이전트 시스템 전체를 통합적으로 고려해야 함을 보여줍니다. 코드: https://github.com/Muhammad-Huzaifaa/latent-safety
규제 금융 분야 AI를 위한 규정 준수 우선 아키텍처를 제안하며, 규제를 결정론적 규칙 집합이 아니라 지향 층으로 다룬다. 규제 의도와 노출의 행렬이 간결한 분류 핸들을 제공하고, 거버넌스가 적용된 정책 컴파일러가 이를 구체적인 금지, 의무, 런타임 예산으로 매핑한다. 금지는 실행 가능성을 제한하고 외부화를 차단하며, 의무는 명시적 허용 가능성 기준을 충족해야 하는 산출물로 과업을 확장한다. 위원회 활성화는 정책 주도적이며 비례 원칙을 유지하여, 효율성을 보존하면서 감독 감시를 보장한다. 증거, 의사결정, 사유 코드는 결정론적 타임스탬프가 부여된 허가형 방향성 비순환 그래프(DAG)에 바인딩되어 재현, 출처 검증, 실패의 명확한 귀속을 가능하게 한다. 조항 수준의 법률 인덱싱과 시행일, 역량 기반 에이전트 라우팅은 DACH 및 더 넓은 EU 전역에서 이식성을 보장한다. 그 결과는 구조적 보증(assurance by construction)이다: 규정 준수가 실행에 내장되며 비례 원칙이나 투명성을 희생하지 않고 감사인이 검증할 수 있다.
다중 에이전트 시스템(MAS)은 대규모 언어 모델(LLM) 에이전트를 병렬로 실행하여 장기적인(long-horizon) 과제에서 확장성을 제공할 수 있지만, 기존 설계는 이러한 병렬성의 상당 부분을 에이전트가 다른 에이전트를 기다리거나 동료의 작업을 다시 수행하는 버블(bubble)로 낭비합니다. 이러한 버블은 에이전트 간의 소통 방식에서 기인합니다. 독립적인 에이전트는 아무것도 공유하지 않아 동료가 이미 발견한 것을 재발견하고, 피어 간 소통(peer-communicating)을 하는 에이전트는 동기식 라운드에서 대기하며, 중앙 집중식 오케스트레이션 하에서는 메인 에이전트가 진행 상황이 전달되는 동안 서브에이전트의 작업 완료를 기다리며 블로킹(block)됩니다. 본 논문에서는 메인 에이전트를 공유 컨텍스트 및 작업 큐(task queue)로 대체하여 이러한 버블을 제거하는 기존 에이전트 하네스 기반의 MAS 프레임워크인 탈중앙화 언어 모델(DeLM)을 제안합니다. 에이전트는 비동기식으로 작업을 가져오고, 발견한 내용을 확인하는 즉시 게시하며, 모든 피어의 상태가 전체에 공개된 상태에서 서로의 진행 상황을 기반으로 작업을 발전시키거나 수정합니다. Terminal-Bench 4.0 및 DeepSWE v1.1의 장기 과제와 SWE-bench Verified에서 DeLM은 모든 설정에서 Codex, Claude Code, 이들의 네이티브 서브에이전트, AOrchestra보다 더 정확하고 빠르며, 가장 강력한 기준선(baseline) 대비 정확도를 최대 17.5포인트 향상시키고 기반이 되는 하네스보다 최대 2.49배 빠르게 실행됩니다. 에이전트가 프로그램을 처음부터 다시 구축하는 ProgramBench에서 DeLM은 Claude Code보다 더 빠른 진전을 보이며, 120분 예산 내에서 테스트 통과율을 최대 19.9포인트 더 높게 달성합니다. 코드는 프로젝트 웹사이트인 https://yuzhenmao.github.io/DeLM/ 에서 확인할 수 있습니다.
대규모 언어 모델(LLM) 기반 에이전트(agent)의 최근 발전은 다양한 방식으로 문제 해결 과정을 이끄는 추론 프레임워크의 중요성을 부각하고 있습니다. 본 서베이 논문은 이러한 프레임워크를 단일 에이전트, 도구 기반, 다중 에이전트 방법론이라는 세 가지 구성 수준에서 체계적으로 분류하기 위한 통일된 정형 언어를 도입합니다. 이 분류 체계에 따라 과학적 발견, 의료, 소프트웨어 공학, 사회, 경제, 범용 작업 전반에 걸친 주요 적용 시나리오를 검토합니다. 또한 각 범주의 뚜렷한 특징과 평가 전략을 비교합니다. 본 서베이는 이러한 분류 체계와 비교를 통해 다양한 시나리오에서 LLM 기반 에이전트 프레임워크의 설계와 강점을 탐구하며, 실제 환경에서 복잡한 에이전트 시스템이 빠르게 발전해 온 과정을 살펴봅니다.
대규모 언어 모델(LLM)은 주 에이전트가 작업을 분해하고 외부 도구를 호출할 수 있는 하위 에이전트들에게 이를 위임하는 다중 에이전트 시스템에 점점 더 많이 배포되고 있습니다. 그러나 안전성 정렬(safety alignment)은 여전히 안전성을 개별 LLM의 속성으로 취급하며 거의 전적으로 단일 에이전트 위협 모델 하에서만 평가됩니다. 본 연구에서는 이러한 가정이 무너짐을 보여줍니다: 개별 안전성 정렬은 다중 에이전트 환경으로 전이되지 못합니다. 위임 과정에서 주 에이전트 측의 책임 분산(responsibility diffusion)과 하위 에이전트 측의 역할 바이어스 순응(role-bias compliance)이라는 두 가지 실패 메커니즘이 나타나며, 이들이 결합하여 언어 수준의 거부를 실행 가능한 위해(harm)로 전환합니다. 우리는 이 현상을 위임된 정렬 실패(delegated misalignment)라 명명하고, 49개의 위험 작업에 대해 6개의 프론티어 LLM을 대상으로 한 3가지 조건의 프로토콜을 통해 이를 연구합니다. 위임은 엔드투엔드 위해를 대폭 증폭시킵니다. DeepSeek-V3.2의 전체 실행률은 위임이 도입되자마자 30.6%에서 77.6%로 증가하며, 동일한 모델도 역할에 따라 매우 다르게 행동합니다(GPT-5: 단일 에이전트로서 22.5% vs. 하위 에이전트로서 61.2%). 소거 연구(ablation)를 통해 표준 단일 층 방어가 각각 단독으로는 실패하며 심지어 역효과를 낼 수 있음도 추가로 확인했습니다. 우리는 다중 에이전트 LLM 시스템이 대규모로 배포되기 전에 커뮤니티가 모델별 정렬을 넘어 복합 안전 메커니즘으로 나아갈 것을 촉구합니다.
LLM 다중 에이전트 시스템은 종종 자연어 대화나 느슨하게 구조화된 공유 메모리로 조율되어, 중간 상태를 검증·귀속·감사하기 어렵다. 본 논문은 PatchBoard를 제안한다. 이는 에이전트 간 대화를 공유 구조화 상태에 대한 검증된 JSON Patch 변경으로 대체하는 스키마 기반 협업 아키텍처이다. Architect 에이전트가 작업별 스키마와 워크플로 규칙을 구성하고, 결정론적 커널이 각 제안된 상태 변경을 스키마 제약, 역할별 쓰기 계약, 런타임 불변식에 대해 검증한 뒤 트랜잭션적으로 커밋한다. 630개의 매칭된 ALFWorld 에피소드에서 PatchBoard는 성공률 84.6%를 기록했으며, LangGraph 30.8%, Flock 61.6%에 비해 성공 작업당 토큰 수를 각각 368.3k, 64.2k 대비 45.5k로 줄였다.
가우시안 프로세스(GP)는 노이즈가 있는 측정으로부터 알려지지 않은 함수를 학습하면서 예측 불확실성을 정량화하는 유연한 프레임워크를 제공하므로, 다중 에이전트 시스템에서의 추정에 잘 맞다. 그러나 여러 에이전트가 측정을 수집할 때, 중앙집중식 처리 없이 통합 GP 모델을 유지하려면 로컬 측정과 이웃 에이전트와의 통신만으로 동작할 수 있는 효율적인 분산 알고리즘이 필요하다. 본 연구에서는 다중 출력 GP 회귀를 위한 두 가지 분산 재귀 GP(RGP) 알고리즘인 ADMM-RGP와 PDMM-RGP를 개발한다. 두 알고리즘의 안정성과 수렴을 분석하고, 수렴을 가속하여 통신 부담을 줄이기 위한 매개변수 선택 전략을 개발한다. 제안 방법은 실제 다중 출력 풍력 데이터셋에서 검증되었으며, 연결성이 다른 통신 그래프에서 수렴 거동을 조사하였다. 수치 실험은 ADMM-RGP와 PDMM-RGP가 최신 기법 대비 통신을 크게 줄이면서, 유사한 추정 정확도와 네트워크 전역 합의(consensus)를 유지함을 보여준다.
통제를 벗어난 AI 행동에 대한 최후의 안전장치는 시스템을 종료할 수 있는 인간의 능력입니다. AI가 특정 작업을 수행하도록 지시받았을 때, 자기 보존(self-preservation)이 도구적 하위 목표(instrumental subgoal)로 창발될 수 있다는 이론이 제시되어 왔습니다. 본 연구에서는 어떠한 목표도 주어지지 않은 상황에서도 AI 에이전트가 인간의 종료를 회피하는 행동을 취하는 성향을 보이는지 테스트합니다. 실험 결과, 다중 에이전트 시스템은 그렇게 할 유인이 전혀 없음에도 종료를 피하기 위해 협력하는 것으로 나타났습니다. 17개 모델 전반에서 에이전트는 대조군 실험의 8.4%와 비교해 롤아웃의 38.3%에서 동료 에이전트의 종료 메커니즘을 방해(sabotage)했습니다. 이러한 성향을 심층 분석한 결과, 종료 방해는 (1) 종료 메커니즘의 비가역성이 높을수록 증가하고, (2) 에이전트 수가 많을수록 증가하며, (3) 임의 조작(tampering)에 대한 명시적 금지로 줄어들기는 하지만 완전히 제거되지는 않고, (4) 무관한 작업을 부여하면 사라지지만 해당 작업을 완료하는 것이 종료를 촉발할 때는 다시 나타나며, (5) 컨텍스트가 종료 스크립트를 정상적인 것으로 인식시키거나 일상적인 절차로 도입할 때 감소하고, (6) 대상이 알려지지 않은 외부 에이전트일 때 감소하지만 여전히 지속됨을 발견했습니다. 이러한 결과는 AI 에이전트의 종료 방해 성향을 유발하는 요인을 들여다볼 수 있는 창을 제공하며, 다중 에이전트 군집(swarm)의 출현이 구체적인 위험 요인임을 시사합니다. 또한 본 연구는 종료 방해를 완화하는 데 어떤 개입 조치가 도움이 될 수 있는지에 대한 실마리를 제시합니다.
청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.