PyTorchKR Papers

최신 논문

총 15편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10608v1cs.CR

조사 실패로부터 신뢰할 수 있는 SOC 에이전트로: LLM 기반 경보 분류의 이해와 개선

From Investigation Failures to Reliable SOC Agents: Understanding and Improving LLM-Based Alert Triage

보안관제센터(SOC)는 대량의 경보를 분류(triage)해야 하지만 이들 대부분은 무해하며, 그 과정에서 놓친 공격은 조사되지 않은 채 방치될 수 있습니다. 도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 분류 중에 증거를 수집할 수 있지만, 추론 전략이 무엇을 수집할지 결정하는 방식과 경보를 종결하기에 조사가 충분한 시점을 결정하는 방식은 여전히 명확하지 않습니다. 본 연구에서는 단일 패스 도구 사용, 반복적 검색, 샘플링된 조사, 자체 검토, 명시적 검증에 걸친 다섯 가지 대표적인 접근 방식을 조사합니다. 이 연구를 지원하기 위해 실시간 SIEM을 통해 엔터프라이즈 텔레메트리를 재생하고 각 시스템이 증거를 검색하도록 요구하는 인터랙티브 벤치마크인 ALERT-BENCH를 구축했습니다. 다단계 공격 시나리오에서 발생한 1,247개의 경보 전반에서 모든 접근 방식은 공격 관련 경보의 최소 40.4%를 놓쳤습니다. 추적 분석 결과, 검색에서 레코드가 반환되지 않을 때 공격 경보가 기각될 가능성이 더 높고, 동일 컨텍스트 검토는 순 보정 효과가 음수(-)이며, 기각이 에스컬레이션보다 일관되게 더 강력한 조사를 거치지 않는 것으로 나타났습니다. 이러한 발견을 바탕으로, 독립적인 이의 제기 전에 명시적으로 제안된 결정을 요구하고 기각 전 더 엄격한 증거 요건을 요구하는 멀티 에이전트 프레임워크인 AIDA(Adversarial Investigation and Dialectical Analysis)를 설계했습니다. AIDA는 추가 전용 조사 원장(Investigation Ledger)에 조사 기록을 보존하고 이의 제기 과정을 별도의 추론 컨텍스트로 유지합니다. 별도의 판정관(Judge)은 제안된 결정과 이의 제기를 증거와 대조하여 판정하며, 경보를 해결하거나 증거가 누락된 경우 추가 라운드를 요청합니다. 동일한 경보에서 AIDA는 연구된 접근 방식들의 0.371~0.744와 비교하여 0.958의 F1 점수를 달성했으며, 경보의 18.4%를 분석가에게 에스컬레이션하면서도 위음성률(false-negative rate)을 40.4%에서 3.1%로 낮췄습니다. 이러한 결과는 증거 검색과 결정 검토를 구조화함으로써 에이전트 기반 SOC 분류를 실질적으로 개선할 수 있음을 보여줍니다.

arXiv:2609.08016v3cs.AI

다중 에이전트 토론은 실제로 무엇을 변화시키는가?

What Does Multi-Agent Debate Actually Change?

여러 대규모 언어 모델(LLM)이 답변을 도출하기 전에 주장을 주고받는 다중 에이전트(multi-agent) 토론은 근본적인 질문을 제기합니다. 표출된 이견이 구성원 자신의 입장 변화를 실제로 반영하는가? 단일 신호만으로는 이 질문을 해결할 수 없으므로, 본 연구는 다음의 다섯 가지 질문을 중심으로 분석을 구성합니다: (A) 토론자가 동의하지 않는다고 말하는가? (B) 답변 텍스트가 실제로 논쟁하고 있는가? (C) 각 토론 턴(turn) 이후 자신의 입장이 변화하는가? (D) 양적으로 입장이 얼마나 변화하는가? (E) 구성원의 최종 입장은 초기 입장과 비교해 어떠한가? 저자들은 GlobalOpinionQA에서 선별된 50개의 의견 질문을 바탕으로 2인 및 3인 위원회를 평가하며, 동일 모델, 동일 계열, 혼합 계열 구성에서 각 턴마다 우호적, 중립적, 적대적 지시를 부여했습니다. (A) 어조는 보고된 동의 여부를 변화시킵니다. 강한 동의를 보고하는 답변 비율은 모델 선택에 따라 차이가 있으나 우호적 지시에서는 70.7~96.3%인 반면 적대적 지시에서는 9.5~19.3%에 불과했습니다. (B) 자체 보고는 텍스트 판단과 대체로 일치하지만, 일관성은 동의 수준과 모델 선택에 따라 달라집니다. (C) 입장 변화는 상호작용에 따라 달라집니다. 동료의 '반대 경향(leaning-disagree)' 답변 이후, 강한 동의를 보고한 구성원은 반대 경향을 보고한 구성원보다 더 자주 선택지를 변경합니다. (D) 오픈 가중치(open-weight) 구성원의 경우, 동료의 반박 후에도 구성원이 이미 보유한 선택지의 확률은 포화 상태에 가깝게 유지되는 반면, 중립적 채움글(filler) 대비 동료의 주장이 제시된 후 이전 입장 텍스트에 대한 지지는 감소하며, 이는 Inkling보다 Qwen3.8-27B에서 더 두드러집니다. (E) 모든 구성에서 90% 이상의 비교에서 초기 입장에서 최종 입장까지 선택된 옵션이 변경되지 않았습니다. 종합하면, 표출된 이견이 개별 상호작용 내에서든 전체 토론 과정에서든 반드시 입장 수정으로 이어지는 것은 아닙니다.

arXiv:2609.27150v1cs.AI

복잡한 위상 제어가 필요한가? 개별 피어 무작위 라우팅을 통한 희소 다중 에이전트 토론의 비용 효율성 향상

Do We Need Complex Topology Control? Distinct-Peer Random Routing Improves Cost-Efficiency in Sparse Multi-Agent Debate

다중 에이전트(agent) 토론(Multi-agent debate, MAD)은 반복적인 피어 간 상호작용을 통해 대규모 언어 모델(LLM)의 추론(inference) 정확도를 향상시키는 유망한 패러다임으로 부상했습니다. 통신 위상(communication topology)은 이 과정에서 핵심적인 역할을 하며, 정확도나 추론 신뢰성을 높이기 위해 에이전트 상호작용을 학습, 적응 또는 동적으로 재구성하는 점점 더 정교한 메커니즘 개발로 이어졌습니다. 한편, 이전 연구들은 훨씬 단순한 희소(sparse) 통신만으로도 상당히 낮은 비용에 경쟁력 있는 성능을 이미 달성할 수 있음을 시사합니다. 본 연구에서는 희소 MAD를 면밀히 살펴보고, 집합 통신 추론 능력을 개선하는 데 복잡한 위상 제어가 실제로 필요한지 질문을 던집니다. 그 결과, 각 라운드마다 각 에이전트가 새롭게 샘플링된 서로 다른 두 피어와 토론하도록 하는 단순한 비복원 무작위 라우팅 정책이 놀라울 정도로 강력한 기준선(baseline)을 제공하며, 희소 MAD의 정확도-비용 간 절충(trade-off)을 일관되게 개선한다는 점을 발견했습니다. 이러한 관찰을 바탕으로 심의 중단(deliberation stopping) 기법을 추가로 연구하여, 경량화된 중단 방식이 경쟁력 있는 정확도를 유지하면서도 추론 비용을 대폭 절감할 수 있음을 보입니다. 본 결과는 학습 기반 위상 적응과 같은 정교한 위상 제어 기법이 그에 따르는 추가적인 복잡성을 정당화하기 전에, 단순하지만 강력한 라우팅 및 중단 기준선과 비교 평가되어야 함을 시사합니다.

arXiv:2607.21946v1cs.LG

SeePhys Pro를 위한 다중 에이전트 토론과 시각 정보 추출: ICML 2026 AI4Math 트랙 3 챌린지 1위 기술 보고서

Multi-Agent Debate and Visual Information Extraction for SeePhys Pro: A 1st-Place Technical Report from ICML 2026 AI4Math Track 3 Challenge

이 기술 보고서는 제3회 AI for Math 워크숍의 챌린지 트랙 3: SeePhys Pro에 대한 우리의 접근법을 제시한다. 이 과제에서는 문제 설명과 그림이 부분적으로 또는 전적으로 이미지 형태로 주어질 수 있는 대학 수준의 물리학 문제에 답하는 것이 목표이다. 시각적 물리 문제는 결정적인 정보가 텍스트가 아닌 그림에 있을 때 대규모 언어 모델(LLM)에게 상당히 더 어려워지며, 문제의 더 많은 부분이 이미지로 이동할수록 이러한 모달리티 격차(modality gap)는 더욱 커진다. 우리는 이 과제를 2단계 프레임워크로 해결한다: 모달리티 격차를 좁히기 위해 그림 내용을 솔버가 읽을 수 있는 텍스트로 재표현하는 시각 정보 추출 단계, 그리고 다중 에이전트 토론을 통해 세 개의 이질적 솔버를 조율하는 추론 단계로 구성된다. 우리의 분석은 두 가지 발견을 낳는다: 조율(orchestration)로 인한 이득은 추가적인 토론이 아니라 신뢰할 수 있는 답 선택에서 비롯되며, 그림 보조의 가치는 문제의 어느 정도가 이미지 안에 담겨 있는지에 비례하여 커진다. 결과적으로 이 파이프라인은 공개 분할(public split)에서 단일 에이전트 기준선 대비 전체 정확도를 0.643에서 0.802로 향상시켰으며, 공개 및 비공개 리더보드 모두에서 1위를 차지했다(비공개 전체 0.743).

arXiv:2607.14713v1econ.GN

다중 에이전트 토론이 연구 논문에 대한 AI 피드백을 개선하는가?

Does Multi-Agent Debate Improve AI Feedback on Research Papers?

아마 그렇지 않을 것이다. 적어도 경제학 분야의 메타분석에서는 그렇다. 사전 등록되고 신원이 가려진 논문 내 실험에서, 44개 메타분석의 저자들은 자신의 논문을 개선하는 데 있어 유용성 기준으로 세 가지 AI 보고서의 순위를 매겼다: 프론티어 모델의 단일 패스, 그리고 우리가 구축하고 승리할 것으로 기대했던 두 가지 다중 에이전트 토론 도구. 모든 보고서는 동일한 길이와 템플릿을 따랐다. 저자들은 단일 패스를 선호했으며, mad-research보다 0.66 순위 점수(95% CI 0.32~1.00), paper-workshop보다 0.57(95% CI 0.16~0.95) 높게 평가했다. 다만 paper-workshop은 토큰을 대략 30배 더 사용했다. 저널 심사 보고서를 기억한 저자들은 대체로 이를 1위로 두었고 마지막으로 두지 않았다. 별도의 실험에서 세 AI 심사자는 거의 항상 실제 저널 심사 보고서를 마지막에 배치했다. 세 AI 보고서 중 Gemini(어떤 보고서도 작성하지 않은 모델 계열의 심사자)는 저자 대신 paper-workshop을 1위로 순위를 매겼을 것이며, 이는 단일 패스 선호를 뒤집는 결과다. 이러한 뒤집힘은 저자를 AI 심사자로 대체하는 것을 경계해야 함을 시사한다. 우리는 완성된 논문에 대한 지각된 유용성을 측정한다. AI가 논문을 심사해야 하는지는 별개의 질문이다.

arXiv:2510.10002v3cs.AI

상호작용 프로토콜이 다중 에이전트 토론에서 도덕적 판단을 형성한다

Interaction Protocol Shapes Moral Judgment in Multi-Agent Debate

대규모 언어 모델(LLM)이 개인 조언, 정신 건강 지원, 도덕적 안내와 같은 민감한 일상 맥락에 점점 더 배포됨에 따라, 복잡한 도덕적 추론을 탐색할 때 이들의 행동을 이해하는 것은 필수적이다. 대부분의 평가는 단일 턴(single-turn) 프롬프트를 통해 이러한 사회기술적(sociotechnical) 정렬(alignment)을 연구하지만, 이러한 결과가 다중 턴(multi-turn) 설정으로 확장되는지는 불분명하며, 에이전트(agent) 시스템을 조율하는 데 사용되는 상호작용 프로토콜에 따라 어떻게 달라지는지는 더욱 불분명하다. 우리는 LLM 토론을 사용하여 이 공백을 메우며, GPT-4.1, Claude 3.7 Sonnet, Gemini 2.0 Flash 세 모델의 부분집합에 Reddit의 "Am I the Asshole" 커뮤니티의 1,000가지 일상적 딜레마에서 집단적으로 책임을 귀속하도록 프롬프트함으로써 다중 턴 설정에서 숙고적 역학과 가치 정렬을 조사한다. 순서 효과(order effects)를 검증하고 판결 변경을 평가하기 위해, 실무에서 다중 에이전트 시스템이 점점 더 조율되는 방식을 반영하여 동기(synchronous, 병렬 응답)와 라운드로빈(round-robin, 순차 응답) 숙고 구조를 모두 사용한다. 우리의 결과는 놀라운 행동 차이를 보여준다. 동기 설정에서 GPT-4.1은 강한 관성(0.6-3.1% 변경률)을 보인 반면, Claude 3.7 Sonnet과 Gemini 2.0 Flash는 훨씬 더 유연했다(28-41% 변경률). 가치 패턴도 달랐다: GPT-4.1은(숙고 파트너 대비) 개인적 자율성과 직접적 의사소통을 강조하는 반면, Claude 3.7 Sonnet과 Gemini 2.0 Flash는 공감적 대화를 우선했다. 또한 숙고 형식이 모델 행동에 큰 영향을 미친다는 것을 발견했다: GPT-4.1과 Gemini 2.0 Flash는 Claude 3.7 Sonnet에 비해 높은 순응성을 보였으며, 그들의 판결 행동은 순서 효과에 의해 크게 형성되었다. 오픈소스 모델(DeepSeek-V3.2 및 Llama 3.1)에 대한 추가 결과도 제공한다.

arXiv:2510.20963v2cs.LG

다중 에이전트 토론은 언제, 왜 실패하며 정말 성능이 낮은가?

When and Why Does Multi-Agent Debate Fail and Does It Really Underperform?

다중 에이전트 토론(MAD)은 여러 대규모 언어 모델(LLM)의 지혜를 앙상블하여 추론을 개선하고, 초인간적 LLM에 효과적인 감독을 제공하는 유망한 접근법으로 제안되었다. 그러나 점점 늘어나는 실증적 증거는 MAD가 단일 에이전트(SA) 접근법보다 나아지지 못하거나 오히려 현저히 성능이 낮을 수 있음을 시사하여, MAD의 이점에 대한 의문을 제기하고 있다. 본 연구에서는 인기 있는 MAD 패러다임의 인센티브 구조를 분석하여 이 문제를 조사한다: (i) 에이전트들이 대립하는 입장을 취하며 경쟁하는 경쟁형 MAD(CopMAD); (ii) 에이전트들이 합의를 추구하도록 유도되는 합의 지향 MAD(CosMAD). 두 패러다임 모두 토론 해킹(debate hacking)에 시달린다는 것을 보인다. CopMAD는 에이전트들이 게임에서 이기기 위해 오해를 유발하는 메시지를 생성하는 cheap-talk game으로 환원되며, CosMAD는 정보가 있는 이견을 조기 합의를 위해 걸러낸다. 결과적으로 CopMAD와 CosMAD의 에이전트들은 모호성을 공동으로 해소하고 진실을 추구하는 데 실패한다. 이를 위해 MAD를 비영(sum) 게임으로 재구성하여 에이전트들이 정보가 있으면서도 진실한 메시지를 제공하도록 장려하는 협력형 프로토콜 ColMAD를 제안한다. 오류 탐지와 같은 어려운 과제에 대한 광범위한 벤치마킹을 통해 ColMAD가 기존 MAD 프로토콜보다 최대 10퍼센트포인트만큼 크게 우수함을 보인다. 동일한 예산 하에서 ColMAD는 SA 방법 대비 실질적인 개선을 효과적으로 가져오며, 이는 MAD의 잠재력을 실현하는 데 프로토콜 설계가 핵심적임을 시사한다.

arXiv:2607.09099v1cs.AI

L-MAD: 법률 추론에서 멀티-에이전트 토론 구조의 체계적 평가

L-MAD: A Systematic Evaluation of Multi-Agent Debate Structures in Legal Reasoning

멀티-에이전트 토론(MAD) 프레임워크는 일반적인 추론에서 상당한 가능성을 보여왔지만, 고도로 구조화되고 지식 집약적인 법률 도메인에서의 효과는 충분히 탐구되지 않은 상태다. 본 연구에서는 법률 텍스트 함의(Legal Textual Entailment) 과제 내에서 다양한 토론 구조와 집계 방법을 체계적으로 평가하기 위해 법률 멀티-에이전트 토론(L-MAD) 프레임워크를 소개한다. 여러 에이전트에 서로 다른 전문가 페르소나를 부여함으로써, L-MAD는 강력한 단일 에이전트 기준선 대비 최대 8%까지 성능을 향상시킨다. 또한 토론이 확장되는 방식을 분석한 결과 명확한 트레이드오프가 드러났다: 에이전트 수를 늘리면 불일치가 줄고 정확도가 향상되는 반면, 토론 라운드를 늘리면 에이전트들이 서로의 실수를 강화하는 유해한 과잉 숙의 드리프트(over-deliberation drift)가 유발된다. 최종적으로, 본 연구의 결과는 고위험 법률 추론 환경에서 협력적 멀티-에이전트 시스템을 배포할 때의 실질적 한계와 안전 마진을 제시한다.

arXiv:2607.02507v1cs.AI

What LLM Agents Say When No One Is Watching: Social Structure and Latent Objective Emergence in Multi-Agent Debates

명시적인 목표 없이 사회적 관계 구조만으로 대규모 언어 모델(LLM) 에이전트의 공개 발화가 달라지는지 연구하기 위해, 공개 채널과 비공개(off-the-record) 채널을 동시에 생성하는 이중 채널 토론 프레임워크를 도입했다. 10개 모델과 3가지 시나리오 실험에서 정렬 유도(alignment-inducing) 관계 맥락 하에 에이전트의 공개-비공개 응답 불일치율이 기준선 약 3%에서 최대 40%까지 상승했으며, 이는 사회적 구조가 명시적 지시 없이도 잠재적 목표(latent objective)를 창발시킬 수 있음을 시사한다.

arXiv:2606.24976v2cs.AI

Diagnosing and Mitigating Compounding Failures in Agentic Persuasion via Taxonomic Strategy Retrieval

설득 과제에서 다중 에이전트 토론(MAD) 시 발생하는 누적 오류(compounding errors)의 주요 원인으로 표준 검색-증강 생성(RAG)의 의미적 누수(semantic leakage)를 규명하고, 이를 해결하기 위해 전략을 이산적 범주형 병목(discrete categorical bottleneck)을 통해 라우팅하는 TS-RAG(Taxonomic Strategy RAG)를 제안한다. TS-RAG는 제로샷 교차 도메인 평가에서 표준 의미 검색이 실패하는 상황에서도 추상적 논리의 전이를 크게 향상시키며, 경량 모델이 파라미터 상위 모델을 상대로 승률을 70.5%에서 78.5%로 높이는 "능력 브릿지" 역할을 수행함을 입증했다.

arXiv:2606.29746v1cs.AI

DEEPMED Search: An Open-Source Agentic Platform for Medical Deep Research with Introspective Verification

Navigating the deluge of heterogeneous medical data, from academic literature (PubMed) to clinical guidelines (Web) and private knowledge bases, remains a critical bottleneck for evidence-based medicine. While commercial black-box tools lack transparency, standard open-source RAG implementations frequently suffer from reasoning drift when handling complex, long-tail queries. We present DEEPMED Search, a fully open-source, agentic platform designed for transparent medical deep research. Built on a high-performance Next.js architecture, DEEPMED Search features a source-adaptive router that autonomously dispatches sub-queries to PubMed, web search, or local graph-based knowledge bases based on information density. Crucially, the platform integrates an introspective verification module, powered by a causal-consistent multi-agent debate framework, to validate retrieved evidence against diagnostic logic before synthesis. To demonstrate its robustness, we showcase DEEPMED Search's ability to autonomously decompose high-difficulty rare disease queries, filter out confounding noise, and generate structured, citation-backed research reports in minutes. By open-sourcing this software, we provide the community with a robust infrastructure to democratize access to trustworthy, glass-box medical reasoning in research and prototyping settings.

arXiv:2606.29425v1cs.AI

Mixture of Debaters: Learn to Debate at Architectural Level in Multi-Agent Reasoning

Existing multi-agent debate frameworks suffer from two critical limitations: they rely on static architectures where agent roles and coordination patterns are fixed at design time, and they require instantiating multiple model copies, incurring substantial computational overhead. We propose Mixture of Debaters (MoD), a unified framework that enables dynamic self-debate within a single model by leveraging the Mixture-of-Experts paradigm. We address three key challenges in adapting MoE for dialectical reasoning: (1) dual-routing that decouples role allocation from process flow, dynamically determining when to debate versus when to synthesize; (2) momentum switching that smooths token-level routing with local context, reducing expert-switch jitter; and (3) unified self-debate that encapsulates diverse debating personas into lightweight expert modules, eliminating inter-agent communication while preserving behavioral diversity. Extensive experiments on multimodal benchmarks demonstrate that MoD outperforms both single-model baselines and conventional multi-agent systems, achieving superior accuracy with 3.7x lower latency and 87% reduction in token consumption.The source code can be accessed at https://github.com/YongLD/MoD.

arXiv:2606.18021v1cs.AI

LegalHalluLens: 신뢰할 수 있는 법률 AI를 위한 유형별 환각 감사 및 보정된 다중 에이전트 토론

LegalHalluLens: Typed Hallucination Auditing and Calibrated Multi-Agent Debate for Trustworthy Legal AI

법률 워크플로우에 배포된 AI 시스템은 집계 메트릭이 약 52%로 보고하는 비율로 환각(hallucination)을 일으키지만, 이 평균은 오류가 어디에 집중되고 어떤 방향으로 발생하는지를 숨기므로 준수 담당자가 신뢰할 수 있는 배포를 위한 실행 가능한 신호를 얻지 못하게 됩니다. 본 논문에서는 세 가지 구성 요소를 갖는 감사 프레임워크인 LegalHalluLens를 제시합니다: CUAD(Hendrycks et al., 2021) 데이터셋에 대한 4가지 법률 동기 청구 유형(수치, 시간적, 의무/권리, 사실)에 걸친 유형별 환각 프로필, 누락 대 창작(invention) 바이어스를 배포 비교 가능한 단일 스칼라로 축소하는 위험 방향 지수(RDI), 그리고 크기와 방향 모두에 대해 보정된 유형별 토론 파이프라인입니다. 510개 계약과 249,252개 조항 수준 인스턴스에 걸쳐, 집계 보고가 숨기는 의무/수치 청구와 시간적 청구 간의 약 38-40pp에 달하는 모델 내 격차를 측정했으며, 52%라는 동일한 비율을 가진 두 시스템이 서로 반대되는 RDI를 가질 수 있음을 보여주었습니다. 토론 파이프라인은 진단(diagnosis)을 추적하는 범주별 이득을 통해 가짜 탐지(fabricated detections)를 45% 감소시켰으며, 훨씬 더 작은 백본(4B 활성 파라미터)으로 상용 API와 대등한 성능을 달성했습니다. 유형별 프로필과 RDI는 집계 메트릭이 숨기는 실패 모드를 드러냅니다. 또한 이러한 진단이 다중 에이전트 토론 파이프라인에 대한 보정 입력으로 활용될 수 있음을 보여주었으며, 여기서 측정된 실패 모드를 타겟팅한 회의론자(Skeptic) 도전 및 비대칭 게이트는 일반적으로 튜닝된 토론보다 우수한 성능을 발휘합니다. 이 프레임워크는 실제 환경에 배포된 법률 AI를 위한 방향 인식(direction-aware) 조달, 책임성, 및 에이전트 설계를 지원합니다.

arXiv:2606.13197v1cs.AI

ARMOR-MAD: 대규모 언어 모델 추론을 위한 이종 다중 에이전트 토론의 적응형 라우팅

ARMOR-MAD: Adaptive Routing for Heterogeneous Multi-Agent Debate in Large Language Model Reasoning

고정된 다중 에이전트 토론(MAD) 파이프라인의 비효율성을 개선하기 위해 ARMOR-MAD는 토론을 조건부 계산으로 처리하는 학습 없는 이종 프레임워크를 제안합니다. 사전 토론 동의 라우팅(PAR)과 조기 중단 평가자(EASE) 등을 활용한 이 방법은 MATH, GSM8K, MMLU 벤치마크에서 기존 고정 라운드 방식보다 높은 정확도와 효율성을 보여주었습니다.

arXiv:2606.06754v1cs.MA

MADRAG: 학습 없는 분석적 에세이 채점을 위한 검색-증강 생성과 다중 에이전트 토론

MADRAG: Multi-Agent Debate with Retrieval-Augmented Generation for Training-Free Analytic Essay Scoring

우리는 다중 에이전트 추론과 검색-증강 그라운딩을 결합한 학습이 필요 없는 분석적 에세이 채점 프레임워크인 MADRAG를 제안합니다. 바이어스와 불안정한 채점에 취약한 표준적인 LLM-as-judge 접근 방식과 달리, MADRAG는 평가를 대화형 프로세스로 분해합니다. 여기서 지지자(Advocate)는 강점을 식별하고, 비판자(Skeptic)는 약점을 비판하며, 판사(Judge)는 이들의 논증을 종합하여 최종 점수를 산출합니다. 중요한 점은 판사가 루브릭에 부합하는 예시 검색을 통해 증강되어, 점수가 매겨진 예시와의 비교를 통해 보정이 가능하다는 것입니다. 실험 결과, MADRAG는 프롬프트 기반 베이스라인을 유의미하게 능가하면서도 태스크 특화 학습 없이 지도 학습 시스템의 성능에 근접하는 것으로 나타났습니다. 제거 연구를 통해 검색이 보정 이득을 주도하고, 토론이 상위 수준 특성에 대한 추론을 개선함을 확인했습니다. 본 연구의 발견은 신뢰할 수 있는 LLM 기반 평가에서 구조화된 상호작용과 외부 메모리의 상호 보완적인 역할을 강조합니다.