블랙박스를 조종할 수 있는가? 협력 에이전트 기반 추천 시스템의 제어 가능성 중심 평가
Can We Steer the Black-Box? Towards Controllability-Centric Evaluation of Recommender Systems with Collaborative Agents
추천 시스템은 블랙박스로 동작하여, 사용자와 규제 당국이 출력을 특정 의도에 맞게 조종하거나 그 동작을 감사할 수 없게 한다. 명시적 지시에 응답하는 시스템의 능력으로 정의되는 이러한 제어 가능성(controllability)의 부재는 기존 평가 패러다임에서 아직 다루지 않은 차원으로 남아 있다. 이 공백을 메우기 위해, 우리는 제어 가능성의 체계적 평가를 위한 협력 다중 에이전트 프레임워크인 CtrlBench-Rec를 제안한다. 우리는 대상 콘텐츠 탐색, 관심 프로필 형성, 인기 바이어스(bias) 완화라는 세 가지 핵심 과제를 형식화하며, 이들은 함께 명시적 명령에서 암묵적 표현 조종에 이르고 최종적으로 알고리즘 바이어스를 극복하는 조종 가능성(steerability)을 측정한다. 실제 데이터셋과 여러 추천 모델에 대한 광범위한 실험은 우리 프레임워크가 제어 가능성을 효과적으로 정량화하고, 특히 롱테일(long tail) 콘텐츠 유도에 대한 지속적 저항을 포함한 핵심 시스템 병목을 드러냄을 보여준다. CtrlBench-Rec는 제어 가능한 추천 연구, 알고리즘 감사, 사용자 권한 강화를 위한 최초의 표준화된 툴킷을 제공한다. 코드는 https://github.com/caskcsg/CtrlBenchRec 에서 공개된다.