PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27150v1cs.AI

복잡한 위상 제어가 필요한가? 개별 피어 무작위 라우팅을 통한 희소 다중 에이전트 토론의 비용 효율성 향상

Do We Need Complex Topology Control? Distinct-Peer Random Routing Improves Cost-Efficiency in Sparse Multi-Agent Debate

다중 에이전트(agent) 토론(Multi-agent debate, MAD)은 반복적인 피어 간 상호작용을 통해 대규모 언어 모델(LLM)의 추론(inference) 정확도를 향상시키는 유망한 패러다임으로 부상했습니다. 통신 위상(communication topology)은 이 과정에서 핵심적인 역할을 하며, 정확도나 추론 신뢰성을 높이기 위해 에이전트 상호작용을 학습, 적응 또는 동적으로 재구성하는 점점 더 정교한 메커니즘 개발로 이어졌습니다. 한편, 이전 연구들은 훨씬 단순한 희소(sparse) 통신만으로도 상당히 낮은 비용에 경쟁력 있는 성능을 이미 달성할 수 있음을 시사합니다. 본 연구에서는 희소 MAD를 면밀히 살펴보고, 집합 통신 추론 능력을 개선하는 데 복잡한 위상 제어가 실제로 필요한지 질문을 던집니다. 그 결과, 각 라운드마다 각 에이전트가 새롭게 샘플링된 서로 다른 두 피어와 토론하도록 하는 단순한 비복원 무작위 라우팅 정책이 놀라울 정도로 강력한 기준선(baseline)을 제공하며, 희소 MAD의 정확도-비용 간 절충(trade-off)을 일관되게 개선한다는 점을 발견했습니다. 이러한 관찰을 바탕으로 심의 중단(deliberation stopping) 기법을 추가로 연구하여, 경량화된 중단 방식이 경쟁력 있는 정확도를 유지하면서도 추론 비용을 대폭 절감할 수 있음을 보입니다. 본 결과는 학습 기반 위상 적응과 같은 정교한 위상 제어 기법이 그에 따르는 추가적인 복잡성을 정당화하기 전에, 단순하지만 강력한 라우팅 및 중단 기준선과 비교 평가되어야 함을 시사합니다.

arXiv:2606.19036v1cs.LG

희소 혼합 전문가 내 불연속성의 기하학적 및 확률적 분석

Geometric and Stochastic Analysis of Discontinuities in Sparse Mixture-of-Experts

Top-k 전문가 선택으로 인한 희소 혼합 전문가(SMoE) 매핑의 불연속성을 차수별로 분류하고, 측도론·확산 과정 분석을 통해 저차 불연속성이 지배적이며 최초 충돌이 1차 불연속에서 거의 확실히 발생함을 보인다. 이에 기반해 기존 SMoE에 적용 가능한 국소 평활화 메커니즘을 제안했고, 언어·비전 실험에서 추가 계산 부담을 작게 유지하면서 연속성을 확보하고 성능도 향상시켰다.