Generation of Explanations for Logic Reasoning
원문 초록
This thesis delves into a fortiori arguments in deductive reasoning, underscoring their relevance in various domains such as law, philosophy, and artificial intelligence. The research is centred on employing GPT-3.5-turbo to automate the analysis of these arguments, with a focus on understanding intricate reasoning processes, generating clear and coherent explanations, and creating novel arguments. The methodology encompasses a series of tasks including detailed reasoning, interpretation, and the augmentation of a fortiori arguments. It involves meticulously identifying these arguments in diverse contexts, differentiating comparative elements, and categorizing them based on their logical structure. Extensive experiments reveals the challenges encountered by GPT-3.5-turbo in accurately detecting and classifying a fortiori arguments. Nevertheless, the model demonstrates a performance that rivals specialized models, particularly in extracting key components and interpreting underlying properties. The integration of external information into the model's processing significantly elevates the quality of the generated explanations. Additionally, the model exhibits a noteworthy capability in augmenting arguments, thus contributing to the enrichment of the data set. Despite facing certain limitations, this thesis makes significant contributions to the fields of artificial intelligence and logical reasoning. It introduces novel methodologies, establishes a rigorous evaluation framework, and provides deep insights that set the stage for future advancements in automated logical reasoning. The findings and methodologies presented herein not only underscore the potential of AI in complex reasoning tasks but also highlight areas for future research and development.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
콜롬비아 70년 철학의 지도화: Ideas y Valores의 동적 토픽 모델링
Mapping Seven Decades of Philosophy in Colombia: Dynamic Topic Modelling of Ideas y Valores
데이터 기반 접근법은 철학 분야의 역사를 연구하는 유용한 도구로 부상하였다. 그러나 이 영역의 대부분의 연구는 특정 지역과 하위 분야의 제한된 수의 학술지에 초점을 맞추어 왔다. 우리는 동적 토픽 모델링 기법을 적용하여 콜롬비아와 라틴아메리카의 철학사를 탐구함으로써 이 연구의 범위를 확장한다. 본 연구는 1951년에 창간되어 현재 이 지역에서 가장 영향력 있는 철학 학술지 중 하나인 콜롬비아 철학 학술지 Ideas y Valores를 검토한다. 학술지의 역사 전반에 걸친 토픽의 변화를 분석함으로써, 콜롬비아 및 라틴아메리카 맥락의 철학 담론에서 나타나는 다양한 경향과 특정한 역학을 식별한다. 연구 결과, 가장 두드러진 토픽은 (윤리학, 정치철학, 미학을 포함하는) 가치론, 인식론, 과학철학임이 드러난다. 또한 새로운 입장을 제시하기보다 특정 철학자의 저작을 해석하는 데 초점을 둔 논문의 변화를 추적하며, 학술지 존속 기간 전반에 걸쳐 여러 토픽에서 칸트, 후설, 헤겔과 같은 독일 철학자들이 두드러지게 강조됨을 확인한다. 보다 독창적이고 주석 중심이 아닌 철학을 지향한 학술지의 창간 취지를 고려하여, 주석적 토픽이 시간이 지나면서 상대적으로 덜 두드러지게 되었는지를 조사한다. 우리의 분석은 그러한 토픽의 유의미한 감소가 없음을 시사한다. 마지막으로, 이 연구를 다른 라틴아메리카 학술지로 확장하기 위한 아이디어를 제안하고 비영어권 언어의 자연어 처리 워크플로 개선 방안을 제시한다.
LLINBO: 신뢰할 수 있는 LLM 인 더 루프 베이지안 최적화
LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization
베이지안 최적화(BO)는 비용이 많이 드는 블랙박스 함수를 최적화하는 데 널리 사용되는 순차적 의사결정 도구이다. 최근 대규모 언어 모델(LLM)은 데이터가 적은 환경에서 뛰어난 적응력을 보였으며, 맥락 지식을 활용해 고품질의 질의 지점을 제안함으로써 블랙박스 최적화에 유망한 도구가 되고 있다. 그러나 LLM은 명시적인 대리 모델링과 보정된 불확실성이 없고 내부 메커니즘도 불투명하다. 이러한 구조적 불투명성은 불필요한 실험을 초래할 수 있으며, 이는 BO에서 비용이 크고 탐색이 최적해에 접근하는 것을 방해할 수 있다. 이를 해결하기 위해 우리는 기존 LLM 기반 BO 접근법을 감싸서 그 제안을 언제 어떻게 따를지, 그리고 언제 고전적 BO로 되돌아갈지를 결정하는 일반 프레임워크인 LLINBO(LLM-in-the-Loop BO)를 제안한다. 우리는 이러한 상호작용을 위한 세 가지 메커니즘을 도입하며, 각각은 LLM에 대한 성능 가정 없이도 일반적인 커널에 대해 준선형 누적 후회를 보장하는 무해(no-harm) 이론적 보장을 갖는다. 이러한 이론적 보장 외에도, 시뮬레이션 연구를 통해 LLINBO가 기존 LLM 기반 BO를 더 신뢰할 수 있게 만들면서도 LLM의 퓨샷 학습 능력을 활용하여 고전적 BO보다 우수한 성능을 낸다는 것을 보인다. 또한 실제의 비용이 많이 드는 3D 프린팅 실험에서의 실용적 활용을 추가로 시연한다. 코드는 https://github.com/UMDataScienceLab/LLM-in-the-Loop-BO 에서 확인할 수 있다.
Streaming 4D Visual Geometry Transformer
Simple is what you need for efficient and accurate medical image segmentation
SoundMind: RL-Incentivized Logic Reasoning for Audio-Language Models
Time Series Forecasting as Reasoning: A Slow-Thinking Approach with Reinforced LLMs
시간 시계열 예측(Time Series Forecasting, TSF)을 발전시키기 위해, 예측 정확도를 향상시키기 위한 다양한 방법이 제안되었으며, 이는 통계 기법에서 데이터 기반의 심층 학습 아키텍처로 발전해왔습니다. 이러한 방법들이 효과적임에도 불구하고, 대부분의 기존 방법은 여전히 빠른 사고 패러다임에 의존하고 있으며, 이는 역사적 패턴을 추출하고 이를 미래 값에 매핑하는 것을 핵심 모델링 철학으로 삼고 있어 중간 시간 시계열 추론을 포함한 명시적인 사고 과정을 결여하고 있습니다. 한편, 새로운 느린 사고 대규모 언어 모델(LLM)들(예: OpenAI-o1)은 놀라운 다단계 추론 능력을 보여주며, 이러한 문제를 극복할 수 있는 대안을 제공합니다. 그러나 프롬프트 엔지니어링만으로는 높은 계산 비용, 개인 정보 위험, 그리고 심층 도메인 특화된 시간 시계열 추론에 대한 제한된 능력 등 여러 가지 한계가 존재합니다. 이러한 한계를 해결하기 위해, LLM이 느린 사고 능력을 개발하고 강력한 시간 시계열 추론 기술을 습득하도록 훈련하는 것이 더 유망한 접근 방식입니다. 이를 위해, 우리는 시간 시계열 예측을 위한 LLM의 다단계 추론 능력을 향상시키기 위해 설계된 두 단계 강화 파인튜닝 프레임워크인 Time-R1을 제안합니다. 구체적으로, 첫 번째 단계에서는 워밍업 적응을 위한 감독된 파인튜닝을 수행하고, 두 번째 단계에서는 모델의 일반화 능력을 향상시키기 위해 강화 학습을 적용합니다. 특히, 우리는 시간 시계열 예측을 위해 특별히 설계된 세분화된 다목적 보상을 설계하고, 비균일 샘플링을 활용하여 모델의 효과적인 추론 경로 탐색을 더욱 장려하고 최적화하는 GRIP(정책 최적화를 위한 그룹 기반 상대 중요도)를 도입합니다. 실험 결과, Time-R1은 다양한 데이터셋에서 예측 성능을 크게 향상시키는 것으로 나타났습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.