점점 더 복잡해지는 인과 시뮬레이터를 통한 인과 추론의 확장
Scaling Causal Reasoning with Increasingly Complex Causal Simulators
한국어 초록
대규모 언어 모델(LLM)은 수학, 코딩 및 기타 지식 집약적 과제에서 인간의 성능을 능가했음에도 인과 추론에서는 여전히 어려움을 겪는다. 핵심 장애물은 대상 데이터 자체이다. 인과 시스템은 복잡하고 실행 불가능한 형태로 표현되는 경우가 많은 반면, 인과 질의에 대한 정답은 본질적으로 부족하다. 우리는 인과 추론을 레이블이 부족한 문제에서 확장 가능한 지도 학습 문제로 바꾸는 프레임워크인 CauSim을 소개한다. CauSim은 점점 더 복잡한 인과 시뮬레이터, 즉 LLM이 점진적으로 구축하는 실행 가능한 구조적 인과 모델(SCM)을 구성하며, 이는 전역적으로 복잡한 시스템으로 확장되면서도 인과 질의에 대해 검증 가능한 답을 유지한다. CauSim은 실행 불가능한 인과 지식을 코드로 형식화하여 데이터 증강을 가능하게 하고, 실행 가능한 SCM을 자연어로 변환하여 이전에는 지도하기 어려웠던 표현에서의 지도를 가능하게 함으로써 여러 표현에 걸쳐 작동한다. 연구는 두 부분으로 구성된다. (1) 점점 더 복잡한 인과 시뮬레이터를 구성하는 방법, (2) CauSim이 가능하게 하는 것에 대한 체계적 연구로서, 표현 간 일반화, 커리큘럼 확장과 데이터 양에 따른 일관된 향상, 자체 생성 시뮬레이터를 통한 LLM의 자기 개선, 기존 도메인 지식의 형식화를 통한 데이터 증강을 보인다.
원문 초록
Despite surpassing human performance across mathematics, coding, and other knowledge-intensive tasks, large language models (LLMs) continue to struggle with causal reasoning. A core obstacle is the target data itself: causal systems are complex and often expressed in non-executable forms, while ground-truth answers to causal queries are inherently scarce. We introduce CauSim, a framework that turns causal reasoning from a scarce-label problem into a scalable supervised one. CauSim constructs increasingly complex causal simulators: executable structural causal models (SCMs), incrementally built by LLMs, that scale to globally complex systems while maintaining verifiable answers to causal queries. CauSim operates across representations by formalizing non-executable causal knowledge into code, enabling data augmentation, and translating executable SCMs into natural language, enabling supervision in previously difficult-to-supervise representations. We structure our research into two parts: (1) how to construct increasingly complex causal simulators, and (2) a systematic study of what CauSim enables, demonstrating generalization across representations, consistent gains from curriculum scaling and data volume, LLM self-improvement through self-generated simulators, and data augmentation via formalization of existing domain knowledge.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.09079v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.