Thought-Like-Pro: 자기 부트스트랩 프롤로그 기반 사고의 연쇄를 통한 대규모 언어 모델의 추론 능력 향상
Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Bootstrapped Prolog-based Chain-of-Thought
한국어 초록
대규모 언어 모델(LLM)은 범용 어시스턴트로서 뛰어난 역량을 입증하며 광범위한 추론 작업에서 탁월한 성과를 보이고 일상적인 웹 사용의 다양한 측면을 지원하고 있습니다. 이러한 성과는 인공 일반 지능(AGI) 달성을 향한 중요한 진전을 의미합니다. 이러한 발전에도 불구하고 대규모 언어 모델의 유효성은 사용되는 특정 프롬프트 전략에 좌우되는 경우가 많으며, 다양한 추론 작업 전반에서 학습과 일반화를 촉진하는 강력한 프레임워크는 여전히 부족한 실정입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 새로운 학습 프레임워크인 Thought-Like-Pro를 소개합니다. 이 프레임워크에서는 기호형 프롤로그(Prolog) 논리 엔진이 생성한 추론 궤적을 검증 및 변환한 사고의 연쇄(Chain-of-Thought) 과정을 모방하기 위해 모방 학습을 활용합니다. 이 프레임워크는 프롬프트 기반이지만 자기 부트스트랩 방식으로 진행되며, 이를 통해 대규모 언어 모델은 주어진 지시사항으로부터 규칙과 진술을 공식화하고 기호형 Prolog 엔진을 활용하여 결과를 도출할 수 있습니다. 그 후, 대규모 언어 모델은 Prolog에서 파생된 연속적인 추론 궤적을 모방 학습을 위한 자연어 사고의 연쇄로 변환합니다. 실증적 결과는 제안하는 접근 방식이 대규모 언어 모델의 추론 능력을 대폭 향상함을 보여줍니다. 모델 평균화 기법을 적용함으로써, 본 방법은 분포 외 외삽(distributional extrapolation) 작업에서 성능 저하가 미미하게 나타나 강력한 일반화 역량을 입증합니다. 본 연구는 기호형 추론과 언어 모델링을 통합하는 기술적 접근법을 제시하며, 인지적 영감을 받은 시스템으로서 대규모 언어 모델의 발전을 지원할 잠재력을 지니고 있습니다. 연구에 사용된 데이터셋의 일부는 오픈소스로 공개되었습니다.
원문 초록
Large language models have demonstrated remarkable capabilities as general-purpose assistants, excelling in a wide range of reasoning tasks and supporting various aspects of daily web usage. This achievement represents a significant step toward achieving artificial general intelligence. Despite these advancements, the effectiveness of large language models often hinges on the specific prompting strategies employed, and there remains a lack of a robust framework to facilitate learning and generalization across diverse reasoning tasks. To address these challenges, we introduce a novel learning framework, Thought-Like-Pro. In this framework, we utilize imitation learning to imitate the Chain-of-Thought process which is verified and translated from reasoning trajectories generated by a symbolic Prolog logic engine. This framework proceeds in a prompt-guided but self-bootstrapped manner, that enables large language models to formulate rules and statements from given instructions and leverage the symbolic Prolog engine to derive results. Subsequently, large language models convert Prolog-derived successive reasoning trajectories into natural language chain-of-thought for imitation learning. The empirical findings indicate that our proposed approach greatly improves the reasoning capacity of large language models. By employing model averaging techniques, our method exhibits only a marginal decline in performance for distributional extrapolation tasks, showing robust generalization capabilities. We present a technical approach that integrates symbolic reasoning with language modeling, with the potential to support the development of large language models as cognitively inspired systems. The part of the dataset we used has been open-sourced.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LeAct: 전문가 행동으로부터 추론 학습
LeAct: Learning to Reason from Expert Actions
현대 추론 모델은 추론 데이터에 의존하며, 오늘날 이는 인간 주석이나 더 강한 LLM으로부터 증류되어 공급된다. 그러나 풍부하고 아직 거의 활용되지 않은 감독 신호의 원천은 전문가 시스템(expert systems)(예: 게임 엔진, 고전적 플래너, 정리 증명기)에 있으며, 이들은 다양한 도메인에서 거의 최적에 가까운 행동을 일관되게 생성한다. 하지만 이러한 전문가들은 침묵한다. 그들은 행동 뒤에 있는 사고의 연쇄(CoT)를 적어두지 않은 채 행동을 선택한다. 해당 CoT를 자연어 추론으로 복원하면 전문가 지식을 시연된 행동을 넘어 일반화하는 학생 모델로 증류할 수 있다. 우리는 이를 잠재 변수(latent variable)로 취급하고 행동만으로 이를 복원하는 방법을 연구한다. 우리의 접근법 LeAct(Learning to reason from Actions)는 이 잠재 변수를 최적화한다. 학생 모델은 각 전문가 행동에 대한 후보 CoT를 샘플링하고, 행동을 복원할 자신의 확률을 측정 가능하게 향상시키는 것만을 유지한다. 여러 규모의 불완전 정보 게임과 시뮬레이션 로봇 벤치마크에서 LeAct는 작고 열거 가능한 게임에서 솔버의 수치적 하한(numerical floor)에 도달한다. 더 큰 규모에서는 가장 강력한 전문가 반복(expert-iteration) 기준선보다 솔버에 $5\times$ 더 가깝다. Flop Hold'em($\sim 10^9$ infosets)에서 LeAct는 일대일 대결에서 $+60$ mbb/g로 승리하며, 로봇 프로브에서는 직접 모방(direct imitation)을 개선하는 유일한 학습 방법이다. 우리는 원칙적인 프레임워크와 결과를 제시한다. 전문가 시스템이 기초 모델(foundation models)을 위한 범주적으로 새로운 추론 교사의 원천이 된다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.
Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해
Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.
AI 기반 그리드 엣지 협조를 위한 유한 표본 확률적 안전성 인증
Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
15 pages, including appendices. Accepted for publication in IEEE Transactions on Cognitive and Developmental Systems (TCDS)