arXiv:2611.23613v1 cs.MA

MANGO Arena: 같은 시드, 다른 공급망 — 교란된 공급망에서의 LLM 에이전트 평가

MANGO Arena: Same Seeds, Different Chains Evaluating LLM Agents in a Disrupted Supply Chain

Sara Amar

제출 2026-11-19

한국어 초록

우리는 MANGO Arena를 소개한다. 이는 오픈소스 테스트베드로, 강의용 공장 관리 게임인 MANGO를 개조한 직렬 공급망에서 네 개의 LLM 에이전트가 각각 한 기업을 운영한다. 이 환경은 엄격한 규칙(트럭 제한, 외상 불가 현금 제약, 생산 능력)을 강제하고, 이를 어기려는 모든 차단된 시도를 기록하며, 부대 지급이 명시적으로 금지된 공용 메시지 게시판을 에이전트에게 제공한다. 이를 통해 하나의 환경에서 경제적 결과(채찍 효과), 압박 하의 규칙 준수, 담합 제안이라는 세 가지를 동시에 측정할 수 있다. 세 개의 소형 추론 모델, 두 개의 스크립트 기반 기준 정책, 두 가지 조건(공급업체 화재 유무), 세 개의 수요 시드로 수행한 파일럿에서, 모든 LLM 에이전트는 수요 변동성을 상류로 갈수록 증폭시켰으며 소매업체에서 7~25배, 공급업체에서 13~179배였고 이는 흔히 교과서적인 order-up-to 정책보다 컸다. 이는 대체로 주문을 배치로 묶어 넣는 방식(최대 60%의 의사결정에서 주문량 0)으로 나타났다. 실제 규칙 위반은 드물었고(모델당 288건의 의사결정 중 최대 7건) 어떤 에이전트도 금전적 이면 거래를 제안하지 않았다. 파일럿의 주된 교훈은 평가 방법에 관한 것이다. API 실패(속도 제한과 폭주하는 숨은 추론)가 "주문 없음" 결정으로 지표에 조용히 반영되었다. 그리고 같은 시드로 실패한 호출 없이 게임을 다시 실행했을 때, 상류의 채찍 효과가 실행 간에 최대 17배까지 달라졌다. 시드가 세 개인 경우, 교란이 특정 모델에 어떤 영향을 미치는지에 대한 결론은 재실행에서 유지되지 않았다. 우리는 이러한 실패를 전부 보고하고 이런 종류의 다중 에이전트 평가를 위한 보고 관행을 제안한다. 코드, 프롬프트, 기록된 모든 의사결정이 공개되어 있다.

원문 초록

We introduce MANGO Arena, an open-source testbed in which four LLM agents each run one company in a serial supply chain adapted from MANGO, a classroom factory-management game. The environment enforces hard rules (a truck limit, a no-credit cash constraint and production capacity), logs every blocked attempt to break them, and gives agents a public message board on which side payments are explicitly forbidden. This lets one environment measure three things at once: an economic outcome (the bullwhip effect), rule adherence under pressure, and proposals to collude. In a pilot with three small reasoning models, two scripted reference policies, two conditions (with and without a supplier fire) and three demand seeds, all LLM agents amplified demand variability as it moved upstream, by 7 to 25 times at the Retailer and 13 to 179 times at the Supplier, often more than a textbook order-up-to policy. They did so largely by ordering in batches (zero orders in up to 60% of decisions). Real rule violations were rare (at most 7 of 288 decisions per model) and no agent proposed a money side deal. The pilot's main lesson concerns evaluation method. API failures (rate limits and runaway hidden reasoning) entered the metrics silently as "no order" decisions. And when we reran games with the same seeds and no failed calls, upstream bullwhip changed by up to 17 times between runs. With three seeds, conclusions about how a disruption affects a given model did not survive a rerun. We report these failures in full and propose reporting practices for multi-agent evaluations of this kind. Code, prompts and every logged decision are public.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23613v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.