PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26913v1cs.CL

COMED: 다중 LLM 추론에서 라우팅과 협업 사이의 빠진 중간 영역

COMED: The Missing Middle Between Routing and Collaboration in Multi-LLM Inference

어떤 단일 대규모 언어 모델(LLM)도 모든 질의에 대해 일관되게 신뢰할 수는 없으며, 이는 모델 간 라우팅을 수행하거나 모델들의 출력을 결합하는 다중 모델 추론(inference) 시스템의 필요성을 이끌어냈습니다. 그러나 라우팅은 초기 모델을 선택한 후 멈추는 반면, 밀집 협업(dense collaboration)은 모든 질의마다 동료 모델(peers)을 호출합니다. 본 연구에서는 협업이 비단조적(non-monotonic)임을 보여줍니다. 동료 모델은 어떤 모델도 단독으로 해결하지 못한 실패를 복구할 수도 있지만, 초기에 정답이었던 답변을 손상시킬 수도 있습니다. 이에 따라 선택적 교차 모델 협업을 위한 앵커 사후 컨트롤러인 COMED(Controlled Model Escalation for Multi-LLM Deliberation)를 제안합니다. COMED는 앵커 자체 일관성(self-consistency), 라우터 마진(margin), 그리고 경량 동료 프로브(probe)를 활용하여 확신도가 높은 답변은 수용하고, 모호한 경우는 검증하며, 협업이 유익할 가능성이 높을 때만 에스컬레이션합니다. 본 논문에서는 협업으로 유발되는 피해보다 복구된 오류가 더 많을 때 선택적 협업이 성능을 향상시킨다는 점을 구제-피해 분해(rescue-harm decomposition)를 통해 정식화합니다. 의학, 과학 및 일반 추론 벤치마크 전반에 걸쳐 COMED는 밀집 협업보다 더 적은 수의 모델을 호출하고 더 적은 디코딩 토큰(token)을 사용하면서도, 16개의 모든 오픈 가중치(weight) 설정에서 고정 및 라우팅된 앵커를 개선하였으며 MedQA에서는 최대 +10.7%p의 향상을 달성했습니다. 프론티어 모델을 활용한 HLE에서 COMED는 GPT-5.5의 성능을 23.1%에서 28.1%로 끌어올려 밀집 협업을 능가하고 최고 성능을 기록했습니다.