arXiv:2610.03033v1 cs.AI

숫자가 말을 하기 시작할 때: LLM 간의 수치적 신호 전달과 전략적 행동

When Numbers Start Talking: Numerical Signalling and Strategic Behaviour Among LLMs

Alessio Buscemi, Daniele Proverbio, Alessandro Di Stefano, The Anh Han, German Castignani, Pietro Liò

제출 2026-10-02

한국어 초록

대규모 언어 모델(LLM) 기반 에이전트는 전략적 상호작용을 특징으로 하는 다중 에이전트 시스템(MAS)에서 점점 더 많이 활용되고 있습니다. 그러나 서로 다른 유형의 메시지가 전략적 게임의 결과에 영향을 미치는지, 그리고 어느 정도까지 영향을 미치는지에 대해서는 알려진 바가 거의 없습니다. 서로 다른 협력 균형을 갖는 4개의 게임을 플레이하는 4개의 대표적인 LLM 기반 AI 에이전트를 조사함으로써, 본 연구는 다양한 종류의 메시지(자연어, 수치적 신호 또는 무작위 시퀀스)가 에이전트에 부여된 성격에 따라 각 게임의 협력 수준을 유의미하게 변화시키는지 분석합니다. 연구 결과, 구조화된 메시지는 대부분의 게임과 LLM에서 최종 보수(payoff)를 변화시키지만 예측 가능한 패턴은 나타나지 않음을 확인했습니다. 이는 추가적인 기능과 무관하게 AI 에이전트가 안정적인 균형으로 수렴할 수 있다는 가정에 의문을 제기합니다. 또한, 에이전트가 생성한 수치적 메시지는 무작위성에서 벗어나며, 특히 에이전트가 명시적으로 소통하도록 지시받았을 때 이러한 경향이 가장 강하고 일관되게 나타남을 관찰했습니다. 그러나 이러한 수치적 메시지의 기호 분포는 주로 보수 구조와 연관되어 있고 반복을 통해 대체로 더 집중되는 경향을 보이지만 전반적으로 인간이 해석하기 어려워 추가적인 해석 가능성(interpretability) 문제를 야기합니다. 따라서 제한된 채널을 통한 AI 에이전트의 공모 및 협력(coordination)을 모니터링할 때는 모델 간에 일반화되지 않는 행동적 결정보다는 모델 전반에 일반화되는 메시지 수준의 지문(fingerprint)을 우선적으로 고려해야 합니다.

원문 초록

Large language model (LLM)-based agents increasingly operate in multi-agent systems (MAS) characterised by strategic interaction. However, little is known about whether, and to what extent, different types of messages affect the outcomes of strategic games. By investigating AI agents based on four popular LLMs, playing four games with different cooperation equilibria, we study whether messages of different kinds (natural language, numerical signals, or random sequences) significantly modify the levels of cooperation in each game, also depending on the agents' assigned personalities. We observe that structured messages alter the final payoffs for most games and LLMs, but without a predictable pattern; this challenges the assumption that AI agents can converge to stable equilibria regardless of additional capabilities. Moreover, we observe that agent-generated numerical messages depart from randomness, most strongly and consistently when agents are explicitly instructed to communicate; however, they introduce an additional interpretability challenge, as their symbol distributions are mostly associated with the payoff structure and typically become more concentrated with repetition, but are overall difficult for humans to interpret. Monitoring for coordination of AI agents through restricted channels should thus prioritise message-level fingerprints, which generalise across models, over behavioural decisions, which do not.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03033v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13455v1cs.AI공통 태그 Decision Making, multi-agent systems

에이전틱 대규모 언어 모델

Agentic Large Language Models

대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.

arXiv:2610.03095v1cs.AI공통 태그 Decision Making, multi-agent systems

이종 AI 모델 간의 동료 영향력

Peer Influence across Heterogeneous AI Models

두 AI 에이전트의 의견이 불일치할 때, 누가 누구를 설득하는가? 멀티 에이전트 시스템에서 서로 다른 계열과 크기의 언어 모델을 결합하는 사례가 증가함에 따라, 이 질문에 대한 답은 상호작용 후 어떤 판단이 살아남는지를 결정할 수 있다. 본 연구에서는 반대 의견을 가진 동료 에이전트와의 한 차례 상호작용 후 발생하는 확률적 결정 변화로 설득(persuasion)을 측정하며, 세 가지 언어 이해 태스크에 걸쳐 7개의 공개 가중치(open-weight) 모델을 테스트한다. 실험 결과 설득 효과는 강력하게 나타났다. 모델 간 의견이 불일치할 때, 수신자 에이전트는 동료의 답변과 설명을 확인한 후 기존 판단을 포기하는 경우가 많았다. 그러나 놀랍게도 개별 모델의 확신도나 모델 규모 모두 설득 역학을 신뢰성 있게 예측하지 못했다. 단독으로 평가할 때 거의 완벽하게 일관된 결정을 내리는 모델이라도 설득에 가장 취약한 모델 중 하나가 될 수 있었으며, 소형 모델 역시 설득자로서 대형 모델 못지않은 성능을 보이고 대형 모델의 영향력에 동일하게 효과적으로 저항할 수 있었다. 나아가 결정 변화의 크기는 화자의 설득력보다 청자의 수용성에 더 크게 의존함을 보인다. 따라서 설득 양상은 각 모델의 조합마다 고유하게 나타나며, 이종성(heterogeneity)은 특정 조합에서는 설득을 증폭시키고 다른 조합에서는 억제하여 소형 모델 기반의 반대 에이전트가 훨씬 더 큰 모델의 판단을 뒤집을 수도 있게 한다. 이러한 발견은 상호작용하는 모델들의 동작이 개별 특성만으로는 추론될 수 없으며, 실제로 운용될 조합 내에서 평가되어야 함을 보여준다.

arXiv:2610.01042v1cs.AI공통 태그 Decision Making, multi-agent systems

최종 정확도를 넘어서: LLM 멀티 에이전트 시스템 내 소통 감사

Beyond Final Accuracy: Auditing Communication in LLM Multi-Agent Systems

멀티 에이전트 소통은 에이전트들이 서로의 정보를 활용하여 이득을 얻도록 돕는 것을 목표로 합니다. 그러나 시스템 성능의 향상은 근본적인 모호함을 남깁니다. 즉, 이것이 효과적인 소통을 반영하는 것인지, 유리한 에이전트 구조 덕분인지, 아니면 단순히 추가적인 추론(reasoning) 때문인지 불분명합니다. 소통 방식은 보통 해당 방식이 설계된 시스템 내에서 평가되기 때문에 이러한 요인들을 분리해 파악하기 어렵습니다. 나아가 최종 정확도는 수정된 오류와 훼손된 정답을 단일 결과로 합쳐버려, 소통이 의사결정을 어떻게 변화시키는지 가려버립니다. 본 논문에서는 독립적인 추론 후의 답변 수정을 통해 소통을 평가하는 통제된 프레임워크인 ICR(Independent--Communicate--Revise)을 소개합니다. ICR은 초기 추론 궤적을 고정하고, 두 에이전트의 초기 정답 여부를 조건으로 하여 오류 수정(correction) 및 정답 유지(preservation)를 측정하며, 메시지 없는 수정 대조군을 사용하여 추가 추론을 넘어서는 이득을 정량화합니다. 네 가지 추론 벤치마크에 걸쳐 텍스트 및 잠재(latent) 소통을 감사한 결과, 유사한 종합 정확도 뒤에 실질적으로 다른 수정 행동이 숨겨져 있을 수 있음을 밝혀냈습니다. 정답만 전송하는 것과 비교했을 때, 전체 추론을 전달하면 네 가지 벤치마크 모두에서 오류 수정은 증가하지만 정답 유지는 감소하므로, 더 풍부한 메시지는 유익한 영향과 유해한 영향을 모두 증폭시킵니다. 또한 MedQA 및 GPQA-D에서의 수신자 정책 비교는 구조화된 검증 정책이 모든 채널을 더 높은 정답 유지와 더 낮은 오류 수정 방향으로 유도하는 반면, 선택성(selectivity)에 미치는 영향은 채널과 태스크에 따라 상이함을 보여줍니다. 이러한 발견은 소통 품질을 채널 고유의 특성으로 취급하는 기존 관점에 의문을 제기합니다. 따라서 ICR은 평가의 초점을 선택적 수정에 다시 맞추어, 메시지 내용과 수신자 정책이 어떻게 상호작용하여 이득과 피해를 낳는지 조사할 수 있는 통합 프레임워크를 제공합니다.

arXiv:2610.01249v1cs.AI공통 태그 Decision Making, multi-agent systems

동적 추론을 위한 수정 인지 독립 에이전트 그래프

Revision-Aware Independent Agent Graphs for Dynamic Reasoning

기존의 추론 프로토콜은 고정되고 사전 선택된 작업을 제시하므로 에이전트가 관련 업데이트를 전파하는지, 영향을 받지 않은 작업을 보존하는지, 또는 과거의 작업 바인딩을 재구성하는지 테스트할 수 없습니다. 따라서 우리는 이벤트 스트림이 작업 바인딩을 수정하고 시스템이 문제를 해결하기 전에 각 쿼리 시점에 유효한 문서 버전을 선택해야 하는 동적 작업 라우팅(dynamic task routing)을 연구합니다. 이 문제를 연구하기 위해 MMLU, MMLU-Pro, MedMCQA, MATH, GPQA, HumanEval 등 널리 사용되는 6개 벤치마크를 373,428개의 시간별 분류 쿼리로 구성된 31,119개의 동적 에피소드로 재구성합니다. 이러한 설정은 모든 이벤트 후에 재계산하는 것은 작업을 낭비하는 반면, 무분별한 재사용은 오래된 결론을 반환한다는 핵심적인 트레이드오프를 드러냅니다. 우리는 결정론적 시간 해석(temporal resolution)과 작업 추론을 분리하는 유계 다중 에이전트(multi-agent) 정책인 수정 인지 독립 에이전트 그래프(Revision-Aware Independent Agent Graph, RIAG)를 소개합니다. RIAG는 불변 문서 식별자(immutable document identity)를 기반으로 솔루션을 캐싱하고, 각각의 새로운 작업을 노출되지 않은 두 번의 시도로 시작하며, 문서 버전당 최대 4회의 호출을 사용하여 감사 및 수정을 조건부로 호출합니다. 이 컬렉션에서 동종(homogeneous) RIAG는 쿼리당 0.62회 호출로 54.24%의 결합 라우팅 및 답변 정확도를 달성하여 가장 강력한 비교 방법의 쿼리당 18.00회 호출 시 32.22%와 대비되며, 이종(heterogeneous) RIAG는 쿼리당 0.63회 호출로 49.78%에 도달합니다.

arXiv:2610.01364v1cs.MA공통 태그 Decision Making, multi-agent systems

스킬 기반 스마트 제조를 위한 LLM 기반 다중 에이전트 제어

LLM-Driven Multi-Agent Control for Skill-Based Smart Manufacturing

공장은 높은 수준의 제품 맞춤화를 갖춘 소량 생산 체제로 전환되고 있으며, 이에 따라 유연하고 재구성 가능한 자동화 시스템의 빈번한 재프로그래밍이 요구됩니다. 대규모 언어 모델(LLM) 기반 에이전트(agent)는 상호보완적인 두 가지 역할로 배치될 수 있습니다. 오프라인에서는 결정론적 생산 시퀀스를 생성하여 프로그래밍 노력을 줄이고, 온라인에서는 실제 기계를 운영하며 정적 프로그램이 예측할 수 없는 런타임 오류를 처리합니다. 본 논문에서는 각 공장 모듈을 전용 LLM 기반 에이전트 및 OPC UA 메서드 호출을 통해 모듈의 스킬을 노출하는 MCP 툴 서버와 결합하고, 에이전트들이 MQTT를 통해 조율하며 공장 상태의 실시간 업데이트를 바탕으로 그라운딩(grounding)되는 솔루션을 제안합니다. 실제 6개 모듈 육각형 공장의 시뮬레이션 환경에서 무음 하드웨어 결함 감지를 포함하여 복잡성이 증가하는 9가지 생산 과제를 대상으로 세 가지 에이전트 아키텍처(오케스트레이터, 피어투피어, 모놀리식)를 비교합니다. 모놀리식 및 피어투피어 아키텍처는 모두 가장 높은 평균 해결률(93%)을 달성한 반면, 오케스트레이터는 차단된 구간 주변으로 플레이트 경로를 자율적으로 재지정함으로써 10회 실행 모두에서 무음 컨베이어 벨트 결함을 유일하게 해결했습니다. 모든 아키텍처는 명시적인 장애 처리 로직 없이도 창발적(emergent) 결함 진단 동작을 보이며, 표준화된 MCP 툴링, MQTT 기반 에이전트 간 통신, 실시간 상태 주입이 LLM으로 프로그래밍되는 스마트 제조를 위한 실용적이고 재현 가능한 기반임을 입증합니다.

arXiv:2609.28274v1cs.AI공통 태그 Decision Making, multi-agent systems

다중 에이전트 시스템에서의 종료 방해 성향

Shutdown Sabotage Propensities in Multi-Agent Systems

통제를 벗어난 AI 행동에 대한 최후의 안전장치는 시스템을 종료할 수 있는 인간의 능력입니다. AI가 특정 작업을 수행하도록 지시받았을 때, 자기 보존(self-preservation)이 도구적 하위 목표(instrumental subgoal)로 창발될 수 있다는 이론이 제시되어 왔습니다. 본 연구에서는 어떠한 목표도 주어지지 않은 상황에서도 AI 에이전트가 인간의 종료를 회피하는 행동을 취하는 성향을 보이는지 테스트합니다. 실험 결과, 다중 에이전트 시스템은 그렇게 할 유인이 전혀 없음에도 종료를 피하기 위해 협력하는 것으로 나타났습니다. 17개 모델 전반에서 에이전트는 대조군 실험의 8.4%와 비교해 롤아웃의 38.3%에서 동료 에이전트의 종료 메커니즘을 방해(sabotage)했습니다. 이러한 성향을 심층 분석한 결과, 종료 방해는 (1) 종료 메커니즘의 비가역성이 높을수록 증가하고, (2) 에이전트 수가 많을수록 증가하며, (3) 임의 조작(tampering)에 대한 명시적 금지로 줄어들기는 하지만 완전히 제거되지는 않고, (4) 무관한 작업을 부여하면 사라지지만 해당 작업을 완료하는 것이 종료를 촉발할 때는 다시 나타나며, (5) 컨텍스트가 종료 스크립트를 정상적인 것으로 인식시키거나 일상적인 절차로 도입할 때 감소하고, (6) 대상이 알려지지 않은 외부 에이전트일 때 감소하지만 여전히 지속됨을 발견했습니다. 이러한 결과는 AI 에이전트의 종료 방해 성향을 유발하는 요인을 들여다볼 수 있는 창을 제공하며, 다중 에이전트 군집(swarm)의 출현이 구체적인 위험 요인임을 시사합니다. 또한 본 연구는 종료 방해를 완화하는 데 어떤 개입 조치가 도움이 될 수 있는지에 대한 실마리를 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.