PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02005v1cs.AI

움직임을 세고 목소리의 무게를 달다: 지속적 적대자가 존재하는 환경에서 보정된 다중 LLM 협의회를 위한 베이지안 변증법적 논증

Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries

다중 대규모 언어 모델(multi-LLM) 협의회(council)는 여러 LLM이 질문에 대해 심의하고 신뢰도 추정치와 함께 답변을 반환하도록 합니다. 이러한 시스템이 추론에 점차 더 널리 사용됨에 따라, 해당 신뢰도는 보정된(calibrated) '정답일 확률'을 나타내야 하며, 일부 에이전트가 지속적으로 신뢰할 수 없는 경우에도 결정은 강건성을 유지해야 합니다. 기존의 협의회 집계(council aggregation) 방식은 두 가지 측면 모두에서 한계를 보입니다. 이들의 신뢰도 추정치는 정확성보다는 결단력을 측정하며, 지속적으로 신뢰할 수 없는 에이전트를 식별하거나 할인(discount)하지 못합니다. 본 논문에서는 협의회의 유형화된(typed) 움직임(누가 어떤 답변을 제안, 반박, 또는 양보했는지)을 에이전트별 신뢰도를 갖춘 고전적 주석자 모델의 관측값으로 취급하는 베이지안 변증법적 논증(Bayesian Dialectical Argumentation, BDA)을 소개합니다. 이러한 공식화는 다중 에이전트 심의를 신뢰도 추정 문제로 재구성하여, 지속적인 적대적 행동 하에서 심의 추적(deliberation trace)을 활용해 에이전트 신뢰도를 추론합니다. 추론된 에이전트 신뢰도에 따라 증거에 가중치를 부여함으로써, BDA는 후보 답변에 대해 보정된 사후 확률을 산출하는 동시에 지속적으로 신뢰할 수 없는 에이전트를 단순히 다수결로 배제하는 대신 반전(invert)할 수 있도록 합니다. 이진 및 다중 클래스 벤치마크 전반에서 BDA는 추가적인 LLM 호출 없이도 무비용(zero-cost) 협의회 집계 방식 중 최고의 보정 성능을 달성하며, 오염되지 않은 환경에서 경쟁력을 유지하면서도 지속적인 적대적 연합(coalition) 하에서 강건성을 향상시킵니다.

arXiv:2606.29654v1cs.AI

Budgeted Act-or-Defer Multi-Agent LLM Deliberation with Local Reliability Bounds

Multi-agent deliberation among LLMs can improve reasoning, but deployment requires deciding when the current answer is reliable enough to act on and when it should be escalated to human review. We formulate this as budgeted act-or-defer decision making. At each round, the system maps the debate prefix to a low-dimensional state, computes a $k$-nearest-neighbor lower confidence bound on state-conditional correctness using calibration data, and acts only when the bound exceeds a user-specified reliability threshold. The certificate controls wrong actions through the decomposition $β= δ+ α+ \varepsilon_{\mathrm{act}}$, separating calibration failure, residual action risk, and representation gap. The guarantee is conditional, not distribution-free: it relies on a valid local bias envelope and an action-region representation-gap bound, and each assumption is paired with falsification-style diagnostics. Because the same absolute wrong-action budget has different meanings across tasks of different difficulty, we set budgets relative to each task's final-round error using training data only, and evaluate safety by normalized budget usage $\mathrm{WA}/β$. On six benchmarks against nine baselines, the method uses 9--12% of the pre-declared budget on activated datasets, reaching up to 84% automation and 96% acted-on accuracy; on stress-test datasets, it defers rather than forcing unreliable automation. Rather than relying on per-task post-hoc threshold search, the method prospectively converts a user-declared wrong-action budget into an auditable act-or-defer operating point before deployment, under explicitly stated assumptions.

arXiv:2606.19494v1cs.AI

멀티 에이전트 LLM 심의의 숨겨진 앵커

Hidden Anchors in Multi-Agent LLM Deliberation

에이전트들이 여러 라운드에 걸쳐 답변을 교환하고 수정하는 멀티 에이전트 LLM 심의는 추론과 정확도를 향상시키기 위해 점점 더 많이 사용되고 있지만, 그 작동 원리와 이유는 거의 모델링되지 않았습니다. 이러한 심의는 인간이 의사결정을 내리는 방식을 반영합니다. 사회적 동물로서 우리는 DeGroot 및 Friedkin--Johnsen과 같은 고전적인 의견 역학 모델이 포착하는 군집 효과인 집단에 의해, 그리고 그 모델들이 포착하지 못하는 우리 자신의 내부 신념에 의해 동시에 끌립니다. 우리는 각 에이전트가 이웃에 상관없이 지속적으로 자신의 의견을 끌어당기는 숨겨진 내부 신념, 즉 앵커를 가지고 있는 폐루프 동적 시스템으로 멀티 에이전트 심의를 모델링합니다. 우리는 이 앵커가 심의 과정만으로 복원될 수 있음을 보여주며, 이것이 고전적인 합의 규칙에서 금지하는 행동, 즉 에이전트의 정답에 대한 확신이 어떤 에이전트가 시작했던 지점을 넘어서 상승하여 초기 신념으로 형성된 공간(convex hull)을 벗어나는 현상을 설명함을 보여줍니다. 복원된 앵커가 검증용 실행(held-out runs)도 예측하는지(일반화하는지) 확인하는 것은 모델이 실제로 그러한 앵커에 의해 주도되는지를 판단하는 간단한 테스트가 됩니다. 세 가지 오픈 가중치 모델 계열에 걸쳐 이것은 전부 아니면 전무가 아니라 스펙트럼입니다. 모든 앵커의 영향력은 대략 동일하게 강하지만, 앵커가 위치하는 곳에서 차이가 발생하며, 앵커가 초기 의견에서 멀리 떨어져 있을 때만 심의가 껍질을 벗어나 완전한 폐루프 모델을 필요로 합니다.