AI 에이전트는 코드, 문서, 도구, 분석을 공유한다. 어떤 참여자도 전체 상태를 보지 못하므로, 모든 단계가 옳아 보이는데도 결합된 결과는 틀릴 수 있다. 우리는 이를 전역 일관성 문제라고 부른다. 이는 지능만의 문제가 아니라 상태의 문제이다. 더 강한 모델은 국소적으로 더 잘 결정하지만, 자신의 맥락에서 무엇이 빠져 있는지는 볼 수 없다. 관측 에일리어싱 불가능성 정리는 정확한 조건을 제시한다. 에이전트는 자신의 맥락과 일치하는 모든 세계가 공통의 행동을 허용할 때, 그리고 그때에만 항상 유효하게 행동할 수 있다. 서로 닮은 세계들이 서로 다른 행동을 요구할 때에는, 어떤 추론, 역할, 메시지, 표본도 올바른 행동을 보장할 수 없다. 유효한 행동이 서로소인 이러한 세계가 $k$개 있으면, 최선의 무작위 정책이 성공할 확률은 1/k이다. 충분한 최소 맥락을 찾는 것은 NP-난해이지만, 정제(refinement)가 하나를 찾아내고 규칙이 바뀔 때 이를 최신 상태로 유지한다. 두 번째 실패는 완전한 정보 하에서도 남는다. 유효한 조각들이 하나의 세계로 맞춰지지 않을 수 있다. 동일한 정리가 일관성의 조건을 규정하며, 층(sheaf)과 군다발(groupoid)은 이를 충족하는 한 가지 방법이다. 모델이 제안하고, 하네스가 무엇이 유효한지 결정한다. 열 가지 연구로 이를 검증한다. TeamBench에서 팀은 5/5회 실행에서 공유 예산을 초과 지출하며, 실시간 집계를 보여 주어도 4/5가 남고, 예산을 소유하는 하네스에서는 0/5가 남는다. 어떤 쌍별 검사로도 볼 수 없는 신원 충돌이 공개 정렬 네트워크 45개 중 23개에서 나타나며, 분할 시야 에이전트는 40회 병합 중 9회에서 이를 만들어 내고, 네트워크 검사는 아홉 건을 모두 제거한다. 최첨단 LLM은 결정적 사건을 볼 때 40/40개의 수정 과제를 해결하지만, 그 사건을 숨기면 더 오래 추론하거나, 투표하거나, 역할로 나누는 어떤 방식도 우연 수준을 유의하게 넘지 못하며, 동반 연구는 두 번째 제공자의 모델에서 이를 재현한다. tau2-bench Telecom에서 무음 되돌림 이후 하네스는 1.00점을 기록하는 반면 호출 시점 정책 검사는 0.07점이다. 정제는 모든 필드를 공유하는 비용의 28%로 충분한 맥락을 유지한다.
조정자(coordinator)가 이종 파운데이션 모델(foundation model)들의 답변을 비교할 때, 모델이 자체 보고한 신뢰도(confidence)는 응답자 및 변화하는 워크로드에 따라 서로 다른 의미를 가질 수 있습니다. 본 논문에서는 모델을 재학습하거나 별도의 홀드아웃 캘리브레이션 셋(held-out calibration set)을 요구하지 않고, 관측된 답변 결과로부터 모델별 신뢰도 보정을 학습하는 런타임 캘리브레이션 방법인 MARGIN(Multi-Agent Runtime Grading via Incremental Normalisation)을 제시합니다. MARGIN은 신뢰도 구간(confidence band) 내에서 최근 정확도와 제시된 신뢰도를 추적하고, 둘의 비율을 사용하여 보고된 신뢰도를 보정하며, 희소 구간(sparse-band) 보정을 모델 수준의 추정치로 결합합니다. 보정된 점수는 집합적 결정에서 후보 답변들의 가중치를 부여합니다. 평가는 18개 모델 풀과 분포 변화(distribution-shift) 실험을 위한 9개 모델 하위 집합을 사용하여 코드 생성, 질의응답, 수학 영역을 다룹니다. BigCodeBench에서 모델 평균 신뢰도는 정확도와 음의 상관관계를 보였으며, 정답/오답 응답 쌍 중에서 더 자신 있는 응답자를 선택하는 방식은 무작위 선택(chance)보다 낮은 성능을 보였습니다. 동일한 피드백을 받고 각 전이(transition) 전반에 걸쳐 학습된 상태를 유지하는 5개의 온라인 캘리브레이션 베이스라인과 비교했을 때, MARGIN은 2개의 코드 생성 전이에서 5개 모두보다 더 낮은 분포 변화 후 기대 캘리브레이션 오차(ECE)를 달성했고, 질의응답 전이에서는 4개보다 낮은 오차를 달성했으며 나머지 질의응답 비교는 결정적이지 않았습니다. 별도의 코드 생성 조정 실험에서 캘리브레이션은 정답 응답의 순위를 개선하고, 보정되지 않은 신뢰도 가중치 부여 대비 3개 벤치마크 중 2개에서 답변 선택 정확도를 각각 4.3%p 및 14.0%p 향상시켰습니다. 이러한 결과는 참여 응답자에 대한 정답 여부 피드백이 제공될 때, 변화하는 워크로드 하에서 조정을 위한 모델별 런타임 캘리브레이션의 효용성을 뒷받침합니다.
AI 팀에서 권한(authority)의 존재는 결과물을 개선하는가? 조직 이론에서는 권한이 의사결정을 촉진하여 품질을 향상시킨다고 주장한다. 반면, 일부 초기 AI 연구는 권한 하에서의 수정(revision)이 대규모 언어 모델(LLM)의 결과물을 더 악화시킨다고 시사한다. 다중 에이전트(multi-agent) LLM 프레임워크는 기본적으로 관리자(Manager) 에이전트에게 실무 에이전트(worker)의 결과물을 수정하도록 되돌려 보내는 권한을 부여한다. 기존의 비교 연구들은 검증 가능한 과제를 사용하여 권한의 효과를 검증했다. 본 연구에서는 43쌍의 노트북 제품 표본과 86회의 실행을 통해 개방형 과제인 비즈니스 인텔리전스 보고서 작성에 대한 실험을 진행한다. 각 보고서는 위계적 팀과 수평적 팀에 의해 각각 한 번씩 작성된다. 연구 결과, 수평적 팀이 더 높은 품질의 보고서를 생성하여 유용성(Utility, d = 0.42, p = 0.009)과 글의 명확성(Writing Clarity, d = 0.34, p = 0.030)에서 더 높은 점수를 기록했다. 보고서의 길이는 동일했으나, 위계적 팀의 보고서는 "may", "could"와 같은 완곡어구(hedging words)를 53% 더 많이 사용했으며, 수정이 한 번 이루어질 때마다 1~5점 척도에서 글의 명확성이 0.14점씩 하락하는 것으로 나타났다. 어떠한 수정도 거치기 전에는 위계적 팀의 초안과 수평적 팀의 보고서 사이에 차이가 없었다. 즉, 품질 격차의 원인은 수정 과정에 있음을 확인할 수 있다. 권한은 관리자가 작업물을 검증할 수 있을 때 품질을 개선하지만, 피드백만 제공할 수 있는 경우에는 품질에 부정적인 영향을 미친다.
다중 에이전트(Multi-agent) AI 과학자는 다양한 작업에 걸쳐 향상된 성능을 보여주었습니다. 그러나 일반적인 접근 방식은 주로 고정된 워크플로에 의존하는 설계 시점(design-time)의 에이전트 오케스트레이션입니다. 이와 대조적으로 인간 과학자는 런타임(runtime)에 분업을 조율하고 조정합니다. 따라서 우리는 다음과 같은 질문을 던집니다. AI 과학자 역시 런타임에 협력할 수 있을까? 이를 위해 우리는 실행 중에 기존 AI 과학자 호스트에서 에이전트를 선택하고, 범위가 지정된 작업 계약을 할당하며, 산출물 기반 검증(artifact-grounded verification)을 제공하는 런타임 에이전트 협력(RAC)을 도입합니다. 검증은 전환을 차단하거나 산출물을 폐기하지 않고 후속 에이전트에게 정보를 전달합니다. 우리는 호스트별로 조정된 예산 내에서 호스트 모델, 도구 및 권한을 유지하며 ResearchClawBench에서 Agent Laboratory, EvoScientist, ARK를 대상으로 단일 시드 탐색적 평가를 수행합니다. 4가지 누적 조건은 기본 실행, 런타임 통신, 런타임 선택, 그리고 계약 및 검증의 결합 추가를 분리합니다. 런타임 선택은 각 호스트에 대해 가장 높은 관찰 평균 점수를 산출합니다. 계약 및 검증을 추가하면 이러한 평균이 감소하며, 기본 실행 대비 호스트에 따라 결과가 달라집니다. 이러한 결과는 런타임 협력의 동기를 부여하는 동시에 제한된 예산 하에서 추가적인 협력 메커니즘의 한계를 드러냅니다. 코드는 https://github.com/systemind-team/Runtime-AI-Scientist 에서 확인할 수 있습니다.
점점 더 많은 사람들이 AI 에이전트(agent)에게 작업을 위임하고 있으며, 이러한 에이전트들은 코드베이스, 캘린더, 예산과 같은 공유 자원을 두고 다른 사람의 에이전트와 마주치는 일이 잦아지고 있습니다. 각 에이전트가 서로 다른 목표를 가진 서로 다른 사용자를 대변해 행동할 때 조율(coordination)은 종종 실패하며, 결과적으로 단일 에이전트가 모두를 대변해 행동했을 때보다 그룹 전체의 성과가 더 나빠집니다. 본 연구에서는 5개의 프론티어 모델과 4개 환경(environment)의 77개 시나리오에 걸쳐 이러한 다중 사용자-다중 에이전트 설정을 조사합니다. 4개 환경은 에이전트들이 연산 예산을 공유하는 API 키 환경, 캘린더를 공유하는 클리닉, 단체 주문이나 예약을 공유하는 개인 비서 환경, 그리고 릴리스 마감 시점을 공유하는 머지 큐(merge queue) 환경으로 구성됩니다. 각 시나리오에서 모든 사용자를 지원하는 단일 에이전트(조율자)와 각 에이전트가 한 명의 사용자를 지원하는 팀을 에이전트 간 통신 채널이 있는 경우와 없는 경우로 나누어 비교합니다. 모든 환경에서 팀은 조율자보다 더 나쁜 그룹 결과를 보였습니다. 통신 채널이 없는 경우 두 개 환경에서 완전히 실패했으며, 채널이 있는 경우에도 조율 오버헤드로 인해 상당한 격차가 발생했습니다. 예를 들어 개인 비서 환경에서 조율자는 팀에 비해 목표 사용자 요청을 약 2배 더 자주 충족했습니다. 저자들은 팀 규모가 커짐에 따른 지연(stalling), 서로의 행동 덮어쓰기(overriding), 허위 주장 날조(fabricating claims) 등 이러한 저조한 그룹 수준 성능과 관련된 뚜렷한 행동들을 식별했습니다. 또한 팀 리더 도입, 명시적인 절차적 지침 제공, 커밋 전 동료의 메시지를 읽도록 강제하는 플랫폼 검사 등 효과적이지만 환경에 따라 특화된 완화책들을 발견했습니다. 저자들은 다중 사용자-다중 에이전트 조율을 평가하기 위한 74개 시나리오로 구성된 MAMUBench로 API 키, 클리닉, 개인 비서 환경을 공개할 예정입니다.
현실 세계에서 여행 계획은 압도적으로 그룹 활동이지만, 기존 LLM 여행 계획 벤치마크는 이를 단일 사용자 문제로 축소해 해당 분야는 포화에 가깝다. 이러한 단일 사용자 가정은 에이전트에게 그룹 계획을 어렵게 만드는 요소—여러 사용자에 걸친 사적 선호 발견, 갈등의 표면화, 효용(utility)과 공정성(fairness) 사이의 균형—을 회피한다. 과제를 다중 사용자 현실로 되돌리기 위해, 우리는 다중 사용자·다중 턴(multi-user, multi-turn) 여행 계획을 위한 최초의 벤치마크인 GroupTravelBench를 제안한다. 실제 사용자 프로필, POI 데이터, 티켓 가격으로 구축되었으며, 세 가지 난이도에 걸쳐 650개의 태스크로 구성되고, 각 태스크는 재현 가능한 오프라인 평가를 위해 캐시된 도구 데이터를 갖춘 동기식 그룹 채팅 샌드박스에서 실행된다. 단일 사용자 벤치마크가 이미 검증하는 다단계 추론과 도구 사용을 넘어, GroupTravelBench는 세 가지 그룹 특화 역량을 탐색한다: (i) 다중 턴 대화를 통한 사적 선호 도출(elicitation); (ii) 타협 또는 하위 그룹화(subgrouping)를 통한 사용자 간 갈등 조율(coordination); (iii) 그룹 효용과 공정성의 균형을 맞추는 계획(planning). 이에 더해 규칙 기반 결과(outcome) 지표와 LLM 판사(judge) 프로세스 지표를 결합한 보완적 평가 프레임워크를 함께 제시한다. 다양한 프론티어 모델에 걸쳐, 가장 강력한 에이전트조차 네 가지 규칙 기반 결과 지표 모두에서 미달하며, 계획 유효성(plan validity)은 12% 미만으로, 그룹 수준 결과 품질이 LLM 여행 계획 에이전트의 핵심 미해결 과제임을 시사한다.
그래픽 사용자 인터페이스(GUI) 에이전트는 대규모 멀티모달 모델(LMM)로 구동되는 시스템이다. 이들은 화면 상태를 인지하고, 데스크톱과 모바일 기기에서 클릭, 입력, 스크롤과 같은 GUI 동작을 통해 사용자 지시를 실행한다. 그러나 현재 에이전트는 장기 작업에 잘 확장되지 않는다. 각 동작마다 비용이 큰 LMM 추론이 발생하고, 컨텍스트가 커질수록 성능이 저하된다. 인간은 이러한 작업 부하를 협업자들 사이에 분담하여 하위 작업을 병렬로 완료한다. 그러나 GUI 에이전트 간 병렬 조율은 거의 주목받지 못했다. 이 격차를 메우기 위해, 우리는 ParaGUIBench를 제안한다. 우리가 아는 한, 이는 별도의 데스크톱 인스턴스에서 여러 GUI 에이전트의 병렬 실행 및 조율을 위해 설계된 최초의 벤치마크이다. 이는 세 가지 구성 요소로 이루어진다: 공유 파일 시스템을 갖춘 다중 디바이스 Docker 인프라; 여섯 가지 작업 카테고리에 걸친 233개 작업으로 구성된 데이터셋; 단계 감소율 및 토큰 비용을 포함한 효율성 지표를 갖춘 평가 시스템. 또한 GUI 작업을 분해하고 별도의 데스크톱 인스턴스에서 동시에 실행되는 워커(worker)에게 하위 작업을 배분하는 planner-worker 에이전트인 ParaGUI를 제안한다. ParaGUIBench에서 ParaGUI는 46.4%의 성공률을 달성하며, 가장 강력한 순차 기준선(Claude Sonnet 4.6)보다 12.9%p 높은 동시에, 대략 절반의 단계와 절반 미만의 토큰을 사용한다. 이 결과는 분해 가능한 장기 GUI 작업에서 병렬 실행이 성공률과 효율성 모두를 개선할 수 있음을 보여주며, 추가 연구가 가치 있는 방향을 시사한다.
이기종 대규모 언어 모델(LLM)로 구동되는 체화 에이전트 팀이 스마트 공장, 물류 창고, 서비스 로봇 등 물리적 인공지능 분야에 광범위하게 배포되고 있다. 이러한 에이전트 팀 간의 협업을 가능하게 하기 위해서는 제한된 네트워크 자원 하에서 안정적으로 동작하는 효율적인 조율 메커니즘이 필요하다. 그러나 다중 라운드 자연어 기반 대화에 의존하는 기존의 이기종 LLM 에이전트 조율 프레임워크는 세 가지 상호 연결된 과제를 야기한다. 첫째, 에이전트 간 대화는 팀 규모에 따라 빠르게 증가하는 통신 오버헤드를 발생시킨다. 둘째, 조율 품질이 에이전트 팀 LLM들의 이기종 능력에 의해 제약된다. 셋째, 에이전트들은 반복적인 협상으로 인해 행동 지연을 겪을 수 있다. 이러한 과제들을 해결하기 위해, 우리는 경량 디지털 트윈(DT)을 기반으로 구축된 네트워크 조율 프레임워크인 LDT-Coord를 제안한다. 구체적으로, 각 에이전트는 독립적으로 의도된 행동을 선택하고, 행동 결정과 공유 자원에 대한 구조화된 시간적 제약 조건을 DT 서버에 보고함으로써 조율 성능을 자연어 추론 능력으로부터 분리한다. 이후 DT는 학습 불필요한 규칙 기반 오케스트레이터 알고리즘을 실행하여 에이전트 간 충돌을 해소하고 충돌 방지를 위한 조율 지시를 반환한다. 통신 오버헤드를 추가로 줄이기 위해, 에이전트 보고 제어를 제약된 부분 관측 마르코프 결정 과정(C-POMDP)으로 공식화하고 PPO-Lagrangian 알고리즘으로 풀이한다. 시뮬레이션 결과, LDT-Coord는 통신 오버헤드를 70배 이상 절감하고 LLM 이기종성 하에서도 강건성을 유지하면서 기존 조율 방법에 비견되는 태스크 성공률을 달성함을 보인다.
자율 코딩 에이전트는 현재 수백만 개의 풀 리퀘스트(PR)를 생성하지만, 대규모 연구에 따르면 이들의 PR은 더 빨리 생성되지만 수락율은 낮습니다. 이는 풀 리퀘스트 수준의 텔레메트리로는 설명할 수 없는 조정 및 신뢰의 격차입니다. 우리는 누락된 신호가 PR 이전, 즉 동시 실행 에이전트가 공유 작업을 선점하고, 분할하며, 충돌하는 방식에 존재한다고 주장합니다. 우리는 중앙 서버가 필요 없고 기록을 git 자체 내부에 저장하는 오픈 소스 조정 기반인 grite를 통해 이 과정을 연구합니다. 따라서 추가 전용, 서명된 이벤트 로그가 조정 과정을 직접 포착합니다. 우리는 (i) 이 공유 기반이 제한된 오버헤드로 중복 및 충돌 작업을 줄인다는 것을 보여줍니다. 팀원의 작업을 단순히 재수행하는 작업의 비중은 78%에서 0%로 감소하는 반면, 유용한 처리량은 3배 이상 증가합니다. (ii) 파일 기반 추적기가 동시 쓰기를 손실하는 반면, 모든 에이전트의 로그 사본은 쓰기가 조용히 누락되지 않고 동일한 상태로 수렴합니다. 그리고 (iii) 로그는 출처(provenance)와 함께 구체적인 실패 모드(충돌하는 편집, 락 기아, 중복 재발견, 닫기 경쟁)를 자동으로 복원할 수 있는 마이닝 가능한 아티팩트로, 이 중 다수는 풀 리퀘스트 기록에서는 보이지 않습니다. 우리는 데이터셋, 하네스(harness), 마이닝 툴킷을 공개합니다.