A3M: 반복 경매에서 전략적 입찰을 위한 적응형·적대적·다목적 학습
A3M: Adaptive, Adversarial and Multi-Objective Learning for Strategic Bidding in Repeated Auctions
밴딧 피드백이 있는 반복 다단위 경매에서 입찰 전략을 학습하는 것은 근본적인 도전 과제입니다. 기존 방법들은 흔히 고정된 탐험-후-활용(explore-then-exploit) 스케줄에 의존하고, 정상적(stationary) 적대자를 가정하며, 입찰자 효용만을 최적화함으로써 적응성과 전략적 견고성을 제한합니다. 이러한 한계를 해결하기 위해, 우리는 온라인 경매 전략 최적화를 위해 적응형 심층 강화학습(DRL), 명시적 적대적 추론, 원칙에 기반한 다목적 보상 설계를 통합한 A3M 프레임워크를 제안합니다. A3M은 탐험과 활용을 동적으로 균형 잡는 액터-크리틱 DRL 백본, 비정상(non-stationary) 적대자에 대한 허구적 플레이(fictitious play)를 위한 상대방 모델, 그리고 효용·경매자 수익·공정성을 공동으로 최대화하기 위한 복합 보상 함수를 활용합니다. 우리는 차별 가격(discriminatory price) 경매와 균일 가격(uniform price) 경매 모두에서 기존 베이스라인 대비 이 통합 접근법에 대한 최초의 종합적 실증 평가를 제공합니다. 결과에 따르면, A3M은 표준 설정에서 최종 후회(regret)를 30--40\% 감소시키고, 적대적 전략 변화에 대해 견고한 성능을 유지하며, 단위 수 $K$에 따라 유리하게 스케일링되고, 조정 가능한 다목적 트레이드오프를 가능하게 합니다. 광범위한 절제 연구(ablation study)를 통해 각 핵심 구성 요소의 필요성이 확인됩니다. 본 연구는 A3M을 복잡한 경매 환경에서의 학습을 위한 강력하고 유연한 프레임워크로 정립합니다.