배팅 메커니즘을 통한 LLM 예측의 분산 집계
Decentralized Aggregation of LLM Predictions via Wagering Mechanisms
도메인 전문성 또는 비공개 도구 및 데이터에 접근 가능한 여러 대규모 언어 모델(LLM)의 예측을 집계하여 집단적 예측 성능을 향상시키는 방식이 점점 보편화되고 있다. 분산 환경에서는 모델의 비공개 정보에 접근하지 않고도 집계 가중치를 결정해야 하며, 전략적 보고에 대해 견고성을 유지해야 한다. 우리는 LLM 집계를 위한 이점 정렬 배팅 메커니즘(WALLA) 계열을 제안한다. 이 방식에서 각 모델은 예측값과 학습된 배팅값을 보고하며, 예측은 배팅값을 가중치로 사용하여 집계된다. WALLA는 순 지급 함수에 리브-원-아웃(leave-one-out) 기준선을 도입하여 세 가지 바람직한 속성을 이끌어낸다: (1) 임의의 신념 구조 하에서 예측에 대한 지배 전략 유인 호환성, (2) 최적 배팅값이 모델의 기대 점수 이점에 비례하는 이점-배팅 정렬, (3) 최적 예측 없이도 배팅 정책의 분산 학습을 가능하게 하는 예측 독립적 배팅 최적화. 나아가 정규성과 무차익거래를 절충하면서 메커니즘의 최악 손실을 유계로 유지하는 두 가지 메커니즘 변형을 구체화한다. 이질적인 모델과 비공개 정보 환경에 걸친 질의응답 및 예측 벤치마크 실험에서 WALLA는 중앙집중식 집계 방법과 동등한 예측 성능을 보이면서, 동시에 분산 학습, 이점 정렬 집계 가중치, 불확실성 인식, 유인 호환적 예측을 달성함을 보인다.