CaDO: 인과 데이터셋 수리 및 생성을 위한 형식 검증 기반 멀티 에이전트 프레임워크
CaDO: Formal Verification-Guided Multi-Agent Framework for Causal Dataset Repair and Generation
한국어 초록
신뢰할 수 있는 인과 이해 능력을 갖춘 모델을 개발하려면, 특히 전문 분야에서 고품질 인과 추론 데이터셋이 필수적이다. 그러나 기존 데이터셋은 잘못된 주석과 구조적 불균형을 자주 포함하며, 이는 편향된 예측과 제한된 일반화로 이어질 수 있다. 이 문제를 해결하기 위해 본 논문은 인과 추론 데이터셋의 자동 진단 및 수리를 위한 멀티 에이전트 프레임워크인 CaDO(Causal-Engine-Guided Multi-Agent Data Optimization)를 제안한다. 본 프레임워크는 형식적 인과 추론, 다단계 진단, 자동 데이터 수리 및 생성이라는 세 가지 핵심 단계로 구성된다. 첫째, Formalizer Agent가 자연어 질문을 형식적 인과 질의로 변환하여 의미적 편차를 최소화하고 검색과 검증을 더 명시적이고 다루기 쉽게 만든다. 둘째, 이중 수준 진단 메커니즘은 독립적인 Critic Agent를 사용하여 샘플 수준의 오류를 식별하는 한편, 질의 유형 포괄 범위와 레이블 분포를 분석하여 데이터셋 수준의 구조적 불균형을 탐지한다. 마지막으로 본 프레임워크는 형식적 인과 의미론에 기반한 재사용 가능한 수리 연산자를 사용하여 오류 샘플을 교정하고, Explorer Agent와 Expander Agent가 협력하여 다양하면서도 의미적으로 일관된 새로운 샘플을 생성한다. 실험 결과, CaDO는 18개 실험 설정 중 16개에서 다섯 가지 데이터 정제 베이스라인 중 가장 강력한 방법을 유의미하게 능가했으며, 하위 모델의 정확도를 최대 9.1% 향상시켰다. 또한 CaDO가 표시한 샘플의 최소 95%가 실제로 결함이 있었고, CLadder에서 CaDO는 LLM 기반 판정기보다 올바른 레이블을 잘못 수정한 비율이 92.2% 적었으며, 이는 CaDO의 효과성과 신뢰성을 보여 준다. 코드와 데이터는 https://github.com/thisissyu/cado 에서 공개되어 있다.
원문 초록
High-quality causal reasoning datasets are essential for developing models with reliable causal understanding, particularly in specialized domains. However, existing datasets frequently suffer from incorrect annotations and structural imbalances, which can lead to biased predictions and limited generalization. To address this issue, we propose CaDO (Causal-Engine-Guided Multi-Agent Data Optimization), a multi-agent framework for automated diagnosis and repair of causal reasoning datasets. Our framework consists of three key stages: formal causal reasoning, multi-level diagnosis, and automated data repair and generation. First, a Formalizer Agent translates natural language questions into formal causal queries to minimize semantic deviations and make retrieval and verification more explicit and tractable. Second, a dual-level diagnosis mechanism employs independent Critic Agents to identify sample-level errors while analyzing query-type coverage and label distributions to detect dataset-level structural imbalances. Finally, the framework employs reusable repair operators grounded in formal causal semantics to correct erroneous samples, while Explorer and Expander Agent collaboratively produce diverse and semantically consistent new samples. Experimental results show that CaDO significantly outperforms the strongest of five data cleaning baselines in 16 out of 18 experimental settings, improving downstream model accuracy by up to 9.1%. Moreover, at least 95% of the samples flagged by CaDO are defective, and on CLadder, CaDO incorrectly modifies 92.2% fewer correct labels than an LLM-based judge, demonstrating its effectiveness and reliability. Our code and data are publicly available at https://github.com/thisissyu/cado.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24406v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.