MoCA-Agent: 금융 및 수치 추론을 위한 주장의 시장(Market-of-Claims) 코드 에이전트
MoCA-Agent: A Market-of-Claims Code Agent for Financial and Numerical Reasoning
한국어 초록
금융 및 표 형식 질의응답(QA)은 유창한 추론 그 이상을 요구합니다. 답변은 이를 뒷받침하는 정확한 사실, 수식, 단위, 부호, 척도에 근거(grounding)해야 합니다. 단 하나의 셀을 잘못 읽거나 연산이 잘못되어도 그럴듯하지만 틀린 결과가 조용히 생성될 수 있습니다. 우리는 자유 형식의 다중 에이전트 토론을 주장(claim) 수준의 검증으로 대체하는 주장의 시장(Market-of-Claims) 코드 에이전트인 MOCA-Agent를 소개합니다. 이 시스템은 각 질문을 유형이 지정된 원자적 주장(atomic claims)으로 분해하고, 전문가 트레이더 에이전트에게 해당 주장의 매수 또는 매도를 요청하며, 주문을 청산하여 신뢰도 가중치가 적용된 수락/거절 결정을 내린 후, 시장에서 지지받는 증거로부터 실행 가능한 Python 프로그램을 합성합니다. 그 후 코드 인식 검증기(verifier)가 실행, 구조적 일관성, 일반적인 금융 추론 오류에 대해 프로그램을 검사하며, 최대 한 번의 시장 인식 수정(round)을 수행합니다. 금융 수치 추론, 일반 표 추론, ESG 질의응답, 멀티모달 차트 추론에 걸친 10개의 공개 벤치마크에서, MOCA-Agent는 고정된 Qwen3.6-27B 백본(backbone)을 사용하여 FinQA에서 78.3%, FinanceMath에서 76.0%, MultiHiertt에서 71.2%, ESGenius에서 86.9%, FinChart-Bench에서 평균 85.6%라는 강력한 성능을 달성했습니다. 이러한 결과는 전체 답변이 아닌 원자적 주장 수준에서 증거를 집계하는 것이 고위험(high-stakes) 수치 추론의 견고성을 향상시킴을 보여줍니다. 코드와 데이터는 다음에서 확인할 수 있습니다: https://github.com/UBC-NLP/MoCA-Agent
원문 초록
Financial and tabular question answering requires more than fluent reasoning: answers must be grounded in the exact facts, formulas, units, signs, and scales that support them. A single misread cell or incorrect operation can silently produce a plausible but wrong result. We introduce \textsc{MOCA-Agent}, a market-of-claims code agent that replaces free-form multi-agent debate with claim-level verification. The system decomposes each question into typed atomic claims, asks specialist trader agents to buy or sell those claims, clears their orders into confidence-weighted accept/reject decisions, and synthesizes an executable Python program from market-supported evidence. A code-aware verifier then checks the program for execution, structural consistency, and common financial reasoning errors, with at most one market-aware repair round. Across ten public benchmarks spanning financial numerical reasoning, general tabular reasoning, ESG question answering, and multimodal chart reasoning, \textsc{MOCA-Agent} achieves strong performance using a fixed Qwen3.6-27B backbone, including $78.3\%$ on FinQA, $76.0\%$ on FinanceMath, $71.2\%$ on MultiHiertt, $86.9\%$ on ESGenius, and $85.6\%$ average on FinChart-Bench. These results show that aggregating evidence at the level of atomic claims, rather than whole answers, improves robustness in high-stakes numerical reasoning.\footnote{The code and data are available: https://github.com/UBC-NLP/MoCA-Agent.
요약
금융 및 수치 추론의 정확성을 위해 질문을 원자적 주장(atomic claims)으로 분해하여 전문가 에이전트가 이를 매매하는 시장 메커니즘을 통해 실행 가능한 Python 프로그램을 합성하는 MoCA-Agent를 제안한다. 해당 방식은 다양한 공개 벤치마크에서 강력한 성능을 달성하며, 전체 답변이 아닌 원자적 주장 수준에서 증거를 집계하는 것이 고위험 수치 추론의 견고성을 향상시킴을 입증했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11537v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
INS-ActBench: 대규모 언어 모델의 전문 보험계리 역량 평가를 위한 종합 벤치마크
INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models
대규모 언어 모델(LLM)은 금융 추론에서 강한 잠재력을 보여왔지만, 기존 벤치마크는 종종 도메인 지식, 수치 추론, 긴 문맥 이해, 도구 사용을 각각 분리된 설정에서 평가한다. 이는 감사 가능하고, 맥락에 기반하며, 도구로 실행 가능한 의사결정을 요구하는 현실적인 전문 업무 흐름을 평가하는 능력을 제한한다. 우리는 LLM의 전문 보험계리 역량을 평가하기 위한 종합 벤치마크인 INS-ActBench를 제안한다. INS-ActBench는 16개 보험계리 협회가 공개한 시험과 샘플 문제에서 나온 12,050개의 Q&A 쌍을 포함한다. 이는 세 가지 하위 집합을 다룬다: 표준화된 보험계리 지식을 위한 INS-Act-Know, 긴 문맥의 보험 사례 추론을 위한 INS-Act-Case, 검증 가능한 수치 출력을 갖는 스프레드시트 및 R 코드 과제를 위한 INS-Act-Practice. 9개의 대표적인 LLM과 인간 보험계리 전문가에 대한 실험은 명확한 역량 경계를 드러낸다. 최첨단 LLM은 표준화된 지식에서 강한 성능을 보이지만, 사례 추론, 도구 기반 업무 흐름, 관할권에 민감한 실무에서는 훨씬 약한 상태로 남아 있다. INS-ActBench는 신뢰할 수 있는 전문 보조를 목표로 하는 보험계리 LLM 개발을 위한 재현 가능한 기반을 제공한다. 코드는 https://github.com/FDU-INS/INS-ActBench 에서 확인할 수 있다.
동적 추론을 위한 수정 인지 독립 에이전트 그래프
Revision-Aware Independent Agent Graphs for Dynamic Reasoning
기존의 추론 프로토콜은 고정되고 사전 선택된 작업을 제시하므로 에이전트가 관련 업데이트를 전파하는지, 영향을 받지 않은 작업을 보존하는지, 또는 과거의 작업 바인딩을 재구성하는지 테스트할 수 없습니다. 따라서 우리는 이벤트 스트림이 작업 바인딩을 수정하고 시스템이 문제를 해결하기 전에 각 쿼리 시점에 유효한 문서 버전을 선택해야 하는 동적 작업 라우팅(dynamic task routing)을 연구합니다. 이 문제를 연구하기 위해 MMLU, MMLU-Pro, MedMCQA, MATH, GPQA, HumanEval 등 널리 사용되는 6개 벤치마크를 373,428개의 시간별 분류 쿼리로 구성된 31,119개의 동적 에피소드로 재구성합니다. 이러한 설정은 모든 이벤트 후에 재계산하는 것은 작업을 낭비하는 반면, 무분별한 재사용은 오래된 결론을 반환한다는 핵심적인 트레이드오프를 드러냅니다. 우리는 결정론적 시간 해석(temporal resolution)과 작업 추론을 분리하는 유계 다중 에이전트(multi-agent) 정책인 수정 인지 독립 에이전트 그래프(Revision-Aware Independent Agent Graph, RIAG)를 소개합니다. RIAG는 불변 문서 식별자(immutable document identity)를 기반으로 솔루션을 캐싱하고, 각각의 새로운 작업을 노출되지 않은 두 번의 시도로 시작하며, 문서 버전당 최대 4회의 호출을 사용하여 감사 및 수정을 조건부로 호출합니다. 이 컬렉션에서 동종(homogeneous) RIAG는 쿼리당 0.62회 호출로 54.24%의 결합 라우팅 및 답변 정확도를 달성하여 가장 강력한 비교 방법의 쿼리당 18.00회 호출 시 32.22%와 대비되며, 이종(heterogeneous) RIAG는 쿼리당 0.63회 호출로 49.78%에 도달합니다.
LLM은 런타임 동작을 추론할 수 있는가? 저장소 수준의 동적 벤치마크
Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark
대규모 언어 모델(LLM)은 코딩 작업에 점점 더 많이 사용되고 있지만, 코드 실행에 대해 추론하는 능력은 여전히 불분명하다. 기존의 저장소 수준 QA 벤치마크는 주로 정적 코드 이해를 평가하며 LLM 기반 평가에 의존하는 경우가 많고, 실행 추론 벤치마크는 대부분 코드 스니펫이나 함수 수준에 국한되어 있다. 본 논문에서는 동적 실행 추론을 위한 저장소 수준 벤치마크인 SWE-Flux를 소개한다. SWE-Flux는 실제 Python 저장소 12개에 걸쳐 실행에 근거한(execution-grounded) 인스턴스 480개를 포함하며, 정답은 수작업으로 작성하거나 LLM으로 판정하는 대신 계측(instrumented)된 테스트 실행에서 자동으로 수집된다. 이 벤치마크는 제어 흐름, 루프, 프로그램 상태, 데이터플로우, 예외, 프로그램 불변식(invariant)에 대한 단일 테스트 및 다중 테스트 질문을 다룬다. 다섯 개의 LLM을 평가한 결과, 이 작업은 여전히 어려운 것으로 나타났다. 가장 우수한 모델도 정확도가 37%에 불과하다. 모델은 불변식, 프로시저 내(intra-procedural) 제어 흐름, 예외, 단순한 루프와 같은 국소적 동작에서는 더 나은 성능을 보이지만, 데이터플로우, 프로시저 간(inter-procedural) 실행, 정밀한 상태 추론, 테스트 스위트 수준의 집계에서는 어려움을 겪는다. 마지막으로, 오라클 수집 파이프라인이 입력 교란(input perturbation)을 사용하여 새로운 벤치마크 변형을 생성할 수 있음을 보인다. 이 파이프라인은 선택된 인스턴스의 거의 90%에 대해 유효한 변형을 성공적으로 수집하며, 그 결과 생성된 변형은 평가 대상 모델들에게 훨씬 더 어렵다.
KG2Code: 실행 가능한 코드를 통한 지식 그래프와 대규모 언어 모델 연계 질의응답
KG2Code: Bridging Knowledge Graphs and Large Language Models via Executable Code for Question Answering
최근 연구에서는 하위 지식 집약적(knowledge-intensive) 작업, 특히 지식 그래프 질의응답(KGQA)에서의 성능을 향상시키기 위해 지식 그래프(KG)와 대규모 언어 모델(LLM)의 통합을 탐구해 왔다. 기존 접근법은 주로 검색-증강 생성(RAG) 기반, 에이전트(agent) 기반, SPARQL 기반 방법을 통해 LLM과 KG를 결합한다. 이러한 방법들은 주목할 만한 성과를 거두었지만, 구조적 정보 손실, 부정확한 추론, 제한된 유연성 및 일반화 등 여러 한계를 여전히 겪고 있다. 이러한 과제를 해결하기 위해, 본 논문은 지식 그래프를 코드 기반 표현으로 변환하여 구조적 의미를 보존하면서 현대 LLM의 코드 인식 사전학습(code-aware pretraining)과 자연스럽게 정렬되는 새로운 접근법인 KG2Code를 제안한다. KG2Code를 기반으로, KG2Code-QA를 KGQA를 코드 생성 작업으로 공식화하는 KGQA 프레임워크로 추가로 소개한다. 이 공식화는 검증 가능한 추론 trace와 실행 가능한 코드의 생성을 가능하게 하여, 환각(hallucination)의 영향을 실질적으로 완화한다. 또한 KG2Code-QA에서 오픈소스 LLM을 효과적으로 학습(training)하기 위한 대규모 고품질 코드 코퍼스를 구축하는 자동화 파이프라인을 개발하였다. 학습 후, LLM은 제로샷(zero-shot) 시나리오에서 KGQA를 수행할 수 있다. 광범위한 실험을 통해 제안된 접근법이 KGQA에 있어 기존 KG 강화 LLM 방법들을 크게 능가하며, 보지 못한 KG에 대해서도 강한 일반화를 보임을 입증하였다. 코드와 데이터는 Github에서 제공된다.
GameReplica: 비전-언어 에이전트를 위한 블랙박스 시각적 게임 복제 벤치마크
GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.