MADRAG: 학습 없는 분석적 에세이 채점을 위한 검색-증강 생성과 다중 에이전트 토론
MADRAG: Multi-Agent Debate with Retrieval-Augmented Generation for Training-Free Analytic Essay Scoring
한국어 초록
우리는 다중 에이전트 추론과 검색-증강 그라운딩을 결합한 학습이 필요 없는 분석적 에세이 채점 프레임워크인 MADRAG를 제안합니다. 바이어스와 불안정한 채점에 취약한 표준적인 LLM-as-judge 접근 방식과 달리, MADRAG는 평가를 대화형 프로세스로 분해합니다. 여기서 지지자(Advocate)는 강점을 식별하고, 비판자(Skeptic)는 약점을 비판하며, 판사(Judge)는 이들의 논증을 종합하여 최종 점수를 산출합니다. 중요한 점은 판사가 루브릭에 부합하는 예시 검색을 통해 증강되어, 점수가 매겨진 예시와의 비교를 통해 보정이 가능하다는 것입니다. 실험 결과, MADRAG는 프롬프트 기반 베이스라인을 유의미하게 능가하면서도 태스크 특화 학습 없이 지도 학습 시스템의 성능에 근접하는 것으로 나타났습니다. 제거 연구를 통해 검색이 보정 이득을 주도하고, 토론이 상위 수준 특성에 대한 추론을 개선함을 확인했습니다. 본 연구의 발견은 신뢰할 수 있는 LLM 기반 평가에서 구조화된 상호작용과 외부 메모리의 상호 보완적인 역할을 강조합니다.
원문 초록
We present MADRAG, a training-free framework for analytic essay scoring that combines multi-agent reasoning with retrieval-augmented grounding. Unlike standard LLM-as-judge approaches, which are prone to bias and unstable scoring, MADRAG decomposes evaluation into an interactive process: an Advocate identifies strengths, a Skeptic critiques weaknesses, and a Judge aggregates their arguments into a final score. Crucially, the Judge is augmented with rubric-aligned exemplar retrieval, enabling calibration through comparison with scored examples. Our results show that MADRAG significantly outperforms prompt-based baselines while approaching the performance of supervised systems without requiring task-specific training. Ablation studies demonstrate that retrieval drives calibration gains, while debate improves reasoning on higher-level traits. Our findings highlight the complementary roles of structured interaction and external memory in reliable LLM-based evaluation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.06754v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
경영학 교육을 위한 온프레미스 다중 강좌 RAG 튜터링: 캠퍼스 AI 튜터의 하드웨어-소프트웨어 트레이드오프
On-Premises Multi-Course RAG Tutoring for Business Education: Hardware-Software Trade-offs in a Campus AI Tutor
검색-증강 생성(RAG) 기반 캠퍼스 AI 튜터는 교재와 학생 대화를 기관 인프라 내에 유지하면서 지정된 강의 자료를 바탕으로 답변을 그라운딩(grounding)해야 합니다. 본 논문에서는 캠퍼스 웹 게이트웨이 뒤에 배포되고 Moodle에 임베드되어 사용되도록 설계된 학부 경영학 교육용 온프레미스 다중 강좌 RAG 튜터인 CourseChat을 소개합니다. 고유한 강좌 참조 번호(CRN)로 구분되는 6개의 격리된 강좌가 FastAPI 서비스, 로컬 벡터 데이터베이스, Ollama로 서빙되는 로컬 대규모 언어 모델(LLM)을 실행하는 트윈 엣지 AI 호스트를 공유합니다. 본 연구는 두 차례의 생성 모델 평가 라운드, 별도의 고정 근거 기반 소스 충실도 비교, 대화 및 퀴즈 감사를 보고합니다. 몇몇 더 큰 모델들은 강의실 속도 기준을 통과하지 못했으나, 12B 모델과 7B 대안 모델은 통과했습니다. 별도의 전문가 혼합(MoE) 후보 모델은 일부 수정을 개선했으나 새로운 사실적 오류 및 연속성 오류를 야기했습니다. 따라서 8B 모델이 보편적으로 최적이라고 주장하기보다는 전반적인 개선이 입증될 때까지 기존 8B 프로덕션 모델을 유지합니다. 소프트웨어 변경을 통해 강좌 범위를 보존하면서 후속 주제 해결을 개선했으며, 65개 모듈에 걸친 435개의 사전 구축된 질문을 통해 실시간 생성과 연습 문제를 분리했습니다. 이 결과는 모델 선택, 근거 선택, 서빙 호환성, 제품 설계를 통합적인 엔지니어링 의사결정으로 다루어야 함을 뒷받침합니다. 다만 학습 효과가 입증된 것은 아니며, 교수진 평가, 피크 부하 용량, 완전한 퍼블릭 게이트웨이 수용성은 여전히 별도의 평가 과제로 남아 있습니다.
OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합
OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.
역사는 반복된다: 선형 어텐션에서 롱컨텍스트 능력 발현하기
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.
빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선
Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning
개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.
MoPrO-SD: 입장 탐지를 위한 모듈형 프롬프트 최적화
MoPrO-SD: Modular Prompt Optimization for Stance Detection
입장 탐지(stance detection)는 암묵적인 의견, 반어법, 맥락 의존적인 입장 표현으로 인해 대규모 언어 모델(LLM)에 여전히 어려운 과제로 남아 있습니다. 자동 프롬프트 최적화는 모델 가중치를 업데이트하지 않고도 미세조정의 대안을 제공하지만, 기존의 구조화된 접근 방식들은 입장 레이블의 의미론과 클래스별 모호성에 맞추어 특별히 설계되지 않았습니다. 본 연구에서는 프롬프트를 기능적 의미 모듈로 분해하고 LLM 기반 피드백을 사용하여 순차적으로 정제하는 입장 특화 프롬프트 최적화 프레임워크인 MoPrO-SD를 소개합니다. 저자들은 입장 레이블 정제를 위해 클래스 조건부 오류를 활용하는 세 가지 정제 전략인 지시문 전용 최적화(I), 추론을 포함한 지시문(I+R), 예시별 추론을 포함한 지시문(I+R+E)을 연구합니다. 또한 백신 입장 탐지를 위해 사람이 직접 주석을 단 새로운 벤치마크인 VaccineStance를 소개합니다. 4개 데이터셋과 5개 공개 가중치 LLM에 걸친 실험 결과, MoPrO-SD는 많은 환경에서 사람이 작성한 기본(Base) 프롬프트보다 성능을 향상시키는 것으로 나타났습니다. SemEval-2016에서 클래스 조건부 피드백은 5개 백본 중 4개에서 풀링된(pooled) 피드백보다 더 높은 평균 Macro-F1을 달성했습니다. 추론 기반 전략인 I+R과 I+R+E는 모두 강력한 성능을 달성했으며, 모델 및 데이터셋에 따라 상대적인 효과는 달랐으나 최근의 프롬프트 최적화 기법들과 비교하여 경쟁력을 유지했습니다. MoPrO-SD 코드와 VaccineStance 데이터셋은 GitHub에서 이용할 수 있습니다.
Web$hell: 에이전틱 웹 접근을 위한 통합 인터페이스
Web$hell: A Unified Interface for Agentic Web Access
대규모 언어 모델(LLM) 에이전트가 오픈 웹의 직접적인 사용자가 되어가고 있습니다. 에이전트가 점점 더 복잡하고 정보 집약적인 작업을 수행함에 따라, 효과적인 웹 접근은 에이전틱(agentic) 문제 해결을 위한 핵심 역량이 되고 있습니다. 기존 접근법들은 검색-증강 에이전트, 브라우저 기반 에이전트, 그리고 최근의 파일시스템 기반 에이전트 등 다양한 접근 모델을 통해 에이전틱 웹 접근을 발전시켜 왔습니다. 그럼에도 불구하고, 사용자들이 에이전트에게 장기적인(long-horizon) 엔드투엔드 작업 완수를 기대함에 따라 단일 경로(trajectory) 내에서 광범위한 정보 수집을 수행하고, 브라우저 작업을 실행하며, 획득한 근거를 다시 검토해야 할 필요성이 점점 커지고 있습니다. 그러나 본 논문의 예비 분석 결과, 기존 접근 모델들은 이러한 요구를 충족하는 데 어려움을 겪는 것으로 나타났습니다. 기존 모델들은 주로 정보 수집이나 브라우저 상호작용 중 한 가지만 지원하며, 이 두 가지 역량을 결합할 경우 상당한 비용이나 성능 트레이드오프가 발생할 수 있습니다. 이를 위해 본 연구에서는 단일 접근 모델 하에서 웹 접근을 통합하는 인터페이스인 Web$hell을 제안합니다. WebContract가 정의한 공통 스키마를 사용하여, WebCompiler는 실시간 웹페이지를 주소 지정 가능한 정보 및 행동 객체로 컴파일합니다. 이러한 객체들은 WebCache에서 유지 관리되고 공유 연산 집합을 통해 처리되어 에이전트에 일관되고, 조작 가능하며, 영속적인 웹 접근을 제공합니다. 웹 검색, 웹 내비게이션, 딥 리서치 벤치마크에 걸친 광범위한 실험을 통해, Web$hell이 더 낮은 비용으로 뛰어난 작업 성능을 달성함을 입증합니다. 또한 본 연구 결과는 효과적인 웹 접근을 위한 인터페이스 설계의 중요성을 시사하며, Web$hell이 웹상에서 더 유능하고 효율적인 LLM 에이전트를 구축하기 위한 새로운 가능성을 열어줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.