arXiv:2606.05363v3 cs.GT

무지한 학습과 담합 가격 책정

Oblivious Learning and Collusive Pricing

Yuhang Wu, Assaf Zeevi

제출 2026-06-03

저자 비고

arXiv Comments

EC 2026

한국어 초록

다수의 판매자가 존재하는 플랫폼에서 가격 책정 알고리즘은 수요를 학습할 때 경쟁자의 가격을 명시적으로 모델링해야 할까요? 고전적 논의에 따르면 경쟁자를 무시하는 것은 모델 오지정(model misspecification)과 비효율성을 초래하지만, 알고리즘 담합(algorithmic collusion)에 관한 최근 연구 결과들은 경쟁자 가격을 무시하는 것이 놀랍게도 담합 결과를 촉진하고 이윤을 개선할 수 있음을 시사합니다. 본 연구에서는 잡음이 섞인 미지의 수요가 존재하는 경쟁 시장에서 판매자들이 수요 모델(model)을 학습할 때 경쟁자 가격을 반영하거나(informed) 이를 무시하는(oblivious) 방식으로 가격을 반복해서 책정하는 문제를 다룹니다. 우리는 독점 기업과 비교할 때, 경쟁 시장의 무지한(oblivious) 판매자가 동적 경쟁자 정보의 손실(loss)을 보상하기 위해 더 공격적인 가격 탐험(exploration)을 수행해야 함을 보입니다. 모든 판매자가 무지한 경우, 지속적인 탐험 하에서는 가격이 경쟁적 결과로 수렴하지만 탐험이 "불충분"할 때는 연속적인 유사 균형(pseudo-equilibria) 집합이 나타납니다. 무지한 판매자와 정보를 반영하는 판매자가 혼재된 시장에서는 정보를 반영하는 판매자가 무지한 판매자보다 엄격하게 더 높은 수익을 올립니다. 게임 이론적 관점에서 유일한 내시 균형(Nash equilibrium)은 모든 판매자가 정보를 반영하는 시장이며, 이 경우 가격은 효율적으로 경쟁적 결과에 수렴하고 무지한 모델링이 견고하게 담합 패턴으로 이어지지는 않습니다.

원문 초록

On a platform with many sellers, should a pricing algorithm explicitly model competitors' prices when learning demand? Classical arguments suggest that ignoring competitors induces model misspecification and inefficiency, yet findings from algorithmic collusion suggest that ignoring competitor prices may, surprisingly, facilitate collusive outcomes and improve profits. We study this problem in a competitive market with unknown noisy demand, in which sellers repeatedly set prices, either incorporating competitor prices in learning their demand models (informed), or ignoring them (oblivious). We show that, relative to a monopolist, an oblivious seller in a competitive market must conduct more aggressive price exploration to compensate for the loss of dynamic competitor information. When all sellers are oblivious, prices converge to the competitive outcome under persistent exploration, while a continuum of pseudo-equilibria arises when exploration is "insufficient." In markets with a mix of oblivious and informed sellers, the informed strictly out-earn the oblivious. In game-theoretic terms, the unique Nash equilibrium is the all-informed market, in which prices converge to the competitive outcome efficiently, and oblivious modeling does not robustly lead to collusive patterns.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.05363v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39076v2cs.AI공통 태그 Multi-Armed Bandits, Multi-agent Reinforcement Learning

스택켈버그 게임을 통한 다중 대규모 언어 모델(Multi-LLM) 협력적 정렬

Multi-LLM Collaborative Alignment via Stackelberg Games

언어 모델 풀은 서로의 응답으로부터 학습함으로써 협력하고 집단적으로 향상될 수 있습니다. 이러한 상호작용은 학습(training) 중에 사용되는 인스트럭션에 따라 달라집니다. 기존 방법들은 대개 인스트럭션을 균일하게 샘플링하지만, 모델(model)이 발전함에 따라 그 유용성은 변화할 수 있습니다. 즉, 한때 모델들의 응답 품질이 달랐던 인스트럭션이 나중에는 모두 동일하게 잘 답변될 수 있는 반면, 이전에는 어려웠던 인스트럭션이 유용한 학습 신호를 제공하기 시작할 수도 있습니다. 본 논문에서는 인스트럭션 선택을 적응형 커리큘럼으로 전환하는 게임 이론 기반의 리더-팔로워 프레임워크인 스택켈버그 정렬(Stackelberg Alignment)을 제안합니다. EXP3 밴딧이 리더 역할을 수행하여 인스트럭션 전반에 고정된 샘플링 예산을 할당하고, 인스트럭션 난이도와 응답 변별력을 결합한 보상(reward)을 사용하여 샘플링 분포를 업데이트합니다. 언어 모델들은 팔로워 역할을 하여 선택된 인스트럭션에 응답하고, 서로의 응답을 평가하며, 그 결과로 도출된 선호도 신호로부터 DPO 또는 GRPO를 통해 학습합니다. 이 프레임워크는 신뢰할 수 있고 경쟁적인 모델 상호작용을 지원하기 위해 Elo 스타일의 평판 가중치 피어 평가와 평판 기반 상대 매칭을 사용합니다. 과학적 발견, 추론(inference), 코드, 인스트럭션 준수, 지식을 아우르는 12개 벤치마크와 3개의 이종 모델 풀에 걸친 실험 결과, Stackelberg Alignment는 세 가지 다양한 모델 풀 전반에서 가장 높은 매크로 평균을 달성하여 가장 강력한 학습 시간 기준선(baseline)을 최대 7.4%, 최고의 정적 추론 기준선을 12~25% 능가함을 보여줍니다. 분석을 통해 적응형 리더가 가장 유익한 인스트럭션에 대결을 집중시킴을 확인하였으며, 소거 연구를 통해 평판 가중 평가와 평판 기반 매칭 모두 다중 LLM 진화의 효과를 향상시킨다는 점을 보여줍니다.

arXiv:2610.00619v1q-fin.TR공통 태그 Multi-agent Reinforcement Learning, algorithmic collusion

초과 경쟁적 결과를 넘어서: 최적 집행 게임을 위한 심층 강화학습에서의 담합 행위

Beyond Supra-Competitive Outcomes: Collusive Behaviour in Deep Reinforcement Learning for Optimal Execution Games

본 논문에서는 이탈을 억제하고 담합의 행동적 증거를 제공하는 학습된 징벌 메커니즘을 규명함으로써, 최적 집행(optimal-execution) 게임에서 나타나는 초과 경쟁적 결과(supra-competitive outcomes)에 대한 기존 연구 결과를 확장합니다. 저자들은 2인 유한 시간 지평 Almgren-Chriss 청산 게임에서 이 메커니즘을 조사합니다. 에피소드 내 가격 및 행동 이력에 접근할 수 있는 독립적인 근접 정책 최적화(PPO) 에이전트들은 내시(Nash) 벤치마크보다 낮은 비용을 달성합니다. 학습된 평균 청산 일정에 대항해 학습(training)시킴으로써 수익성 있는 이탈을 식별한 뒤, 원래 에이전트 중 하나에 이탈의 첫 거래를 강제합니다. 이에 상대방은 청산을 가속화하는 방식으로 대응합니다. 이러한 대응은 모든 실행과 두 플레이어 역할 모두에서 이탈자의 이득을 상쇄하고도 남으며, 동일한 이탈 하에서 처벌하지 않았을 때와 비교해 처벌자의 평균 보수는 실질적으로 변하지 않은 채 유지됩니다. 처벌자는 더 수익성이 높고 징벌성이 덜한 청산 계획을 선택할 수 있음에도 불구하고, 자신의 평균 보수를 보존하면서 이탈자에게 더 큰 손실(loss)을 부과합니다. 이에 상응하는 이탈과 그에 따른 추가 매도는 학습 과정에서 증가했다가 이후 감소하지만, 최종 정책은 효과적인 징벌적 대응을 유지합니다. 저자들은 처벌이 이탈로 인한 이득을 능가하는지 여부, 그리고 거래 행동의 변화가 부과된 손실을 설명할 만큼 충분히 큰지 여부라는 두 가지 검증 기준을 정식화합니다. 테스트된 이탈에 대해 두 검증 기준 모두 충족됩니다. 종합하면, 이러한 발견들은 학습된 초과 경쟁적 결과가 담합이라는 해석을 뒷받침하는 행동적 및 경제적 증거를 제공합니다.

arXiv:2606.14130v2cs.LG공통 태그 Multi-Armed Bandits, Multi-agent Reinforcement Learning

Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning

다중 에이전트 강화학습에서 어떤 에이전트도 단독으로 전역 안전성을 보장할 수 없을 때 안전한 조율 문제가 발생한다. 즉, 한 에이전트의 행동 허용 여부가 다른 에이전트들의 동역학에 따라 달라질 수 있다. 분산형 실드(shield)는 런타임에 안전성을 강제할 수 있지만, 순수하게 인수분해된 권한은 조율을 통해서만 안전한 최적 팀 행동을 종종 배제한다. 본 연구에서는 분산 실행 환경에서 학습되고 배포되는 에이전트에 대한 결정론적 안전성 보장을 탐구하며, 중앙 집중식 런타임 제어 없이 팀 최적 안전 행동을 복원한다. 에이전트들은 선형 시제 논리(Linear Temporal Logic)의 안전성 부분($\mathsf{LTL}_{\mathsf{safe}}$)에서 공유 전역 명세 $\varphi$를 가지며, 그 결합이 전역 명세 $\varphi$를 함의하는 지역 $\mathsf{LTL}_{\mathsf{safe}}$ 의무들의 튜플 중에서 선택한다. 전체 계약 튜플이 동시에 인증되고 지역 행동 마스크로 투영될 수 있으므로, 각 에이전트는 다른 에이전트들의 지역 의무를 가정으로 활용할 수 있다. 학습 시에는 비정상(non-stationary) 다중 팔 밴딧(multi-armed bandit)이 지역 $\mathsf{LTL}_{\mathsf{safe}}$ 의무 라이브러리 중에서 종단 간 안전성을 포기하지 않으면서 팀 보상을 최적화하는 튜플을 선택한다. 본 접근법을 6개의 환경과 15개의 알고리즘 변형에 걸쳐 평가한다.

arXiv:2606.06744v1cs.LG공통 태그 Multi-Armed Bandits, Multi-agent Reinforcement Learning

매칭 학습: 시간적으로 확장된 피드백을 갖는 양면 매칭

Learn to Match: Two-Sided Matching with Temporally Extended Feedback

양면 매칭 시장은 종종 면접, 반복적인 상호작용, 학습, 그리고 분리를 통해 시간의 흐름에 따라 드러나는 정보를 포함합니다. 기존 매칭 모델은 일반적으로 이 과정을 고정된 선호도에 대한 즉각적인 sub-Gaussian 피드백으로 단순화하여, 보상과 관련된 정보가 점진적으로 드러나고 미래의 매칭 결정을 변경하는 상황을 간과합니다. 본 논문에서는 시간적으로 확장된 피드백을 포함하는 프레임워크를 소개하며, 이는 비용이 수반되는 매칭 전 스크리닝(screening), 잡음이 섞인 매칭 후 관찰, 변화하는 잠재적 프로필(latent profile), 그리고 내생적인 지속 또는 해체를 특징으로 하는 부분적으로 관측 가능한 마르코프 게임(partially observable Markov game)으로 양면 매칭을 공식화합니다. 우리는 이 프레임워크를 동적 매칭 시장을 위한 다중 에이전트 강화학습(multi-agent reinforcement learning) 벤치마크인 Learn2Match로 구체화합니다. Learn2Match는 누구와 면접을 하고, 누구와 매칭할지, 그리고 언제 매칭을 해지할지에 대한 분산 의사결정을 지원하며, 후회(regret), 사회적 후생(social welfare), 그리고 잠재적 선호도의 불완전한 드러남으로 인해 발생하는 후생 격차를 측정하는 정보 마찰 손실(information-friction loss)을 사용하여 정책을 평가합니다. 우리는 시간적으로 확장된 피드백 환경에서 독립적인 PPO가 밴디트 스타일의 CA-ETC 기준선(baseline)보다 더 높은 누적 사회적 후생과 더 낮은 누적 후회(regret)를 달성함을 확인하였으며, 이는 동적 매칭 시장에서 다중 에이전트 강화학습(MARL)의 잠재력을 보여줍니다. 그러나 PPO는 여전히 더 높은 정보 마찰 손실을 겪으며, 이는 엔드투엔드(end-to-end) 다중 에이전트 강화학습이 아직 매칭 밴디트(matching-bandit) 방법들이 가진 조정된 탐험(exploration) 구조를 제공하지 못함을 시사합니다. 이러한 결과들은 Learn2Match가 차세대 매칭 시장 알고리즘, 즉 강화학습 에이전트처럼 적응적이고, 밴디트 알고리즘처럼 통계적으로 엄격하며, 안정 매칭(stable-matching) 메커니즘처럼 구조를 인식하는 방법들을 개발하기 위한 벤치마크로 자리매김합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.