FairTest: 다중 에이전트 강화학습 시스템을 위한 탐색 기반 공정성 테스트
FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems
다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.