Do Large Language Models Understand Logic or Just Mimick Context?
원문 초록
Over the past few years, the abilities of large language models (LLMs) have received extensive attention, which have performed exceptionally well in complicated scenarios such as logical reasoning and symbolic inference. A significant factor contributing to this progress is the benefit of in-context learning and few-shot prompting. However, the reasons behind the success of such models using contextual reasoning have not been fully explored. Do LLMs have understand logical rules to draw inferences, or do they ``guess'' the answers by learning a type of probabilistic mapping through context? This paper investigates the reasoning capabilities of LLMs on two logical reasoning datasets by using counterfactual methods to replace context text and modify logical concepts. Based on our analysis, it is found that LLMs do not truly understand logical rules; rather, in-context learning has simply enhanced the likelihood of these models arriving at the correct answers. If one alters certain words in the context text or changes the concepts of logical terms, the outputs of LLMs can be significantly disrupted, leading to counter-intuitive responses. This work provides critical insights into the limitations of LLMs, underscoring the need for more robust mechanisms to ensure reliable logical reasoning in LLMs.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SymStep: 논리적 추론을 위한 기호적 단계 검증
SymStep: Symbolic Step Verification for Logical Reasoning
사고의 연쇄(CoT) 프롬프팅은 제약이 밀집한 논리적 추론 작업에서 심각하게 실패할 수 있으며, 이때 검증되지 않은 오류가 단계마다 조용히 누적된다. 본 논문은 SymStep을 제안한다. LLM이 한 번에 하나의 원자적 주장을 생성하고(DEDUCE: Alice, pet, Cat), 이어서 경량 제약 전파기(constraint propagator)가 해당 주장이 이전에 수용된 추론과 일관되는지 검사하고, 모순을 거부하며, 함의된 사실을 자동으로 연쇄 전파한다. SymStep+G는 추가로 각 수용된 단계 이후 MRV(minimum remaining values) 안내를 제공하여 LLM을 가장 제약이 많은 미해결 변수 쪽으로 이끈다. 1,000개의 아인슈타인식 논리 퍼즐 벤치마크인 ZebraLogicBench의 35개 퍼즐 보존 부분집합에서 Direct와 CoT는 모두 0%를 달성한 반면 SymStep+G는 97%에 도달한다. AR-LSAT 분석적 추론 문제에서 SymStep은 100%를 달성하며 CoT의 87%를 상회한다. LGP-14에서 SymStep+G는 100%를 달성하고, 비교 대상인 가장 강력한 기존 기호+LLM 기준선인 Logic-LM과 CoT의 0%를 상회한다. Ablation 연구는 MRV 안내가 방향 없는 순환을 줄이는 핵심 메커니즘이며, 일관성 검사가 명시적 모순에 대한 안전망을 제공함을 보여준다. 5개 작업 도메인에 걸친 6개 벤치마크 전반에서 SymStep 변형들은 제약이 밀집한 작업과 산술 작업에서 모든 기준선과 동등하거나 그 이상의 성능을 보인다. AQUA-RAT 대수 실험은 이러한 이점이 제약 밀도에 특화되어 있음을 확인한다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.
Forethought: 신경기호 프리미티브 프로그래밍을 통한 검증 가능한 추론
Forethought: Verifiable Reasoning from Neurosymbolic Primitive Programming
현대의 에이전트 워크플로는 사용자 요청을 올바르게 해석된 매개변수를 갖는 일련의 도구 호출로 분해하고, 그 결과를 언어 모델의 컨텍스트 창 안에서 추론 흔적을 통해 처리한다. 이러한 추론을 개선하는 지배적인 방법은 긴 사고 사슬을 탐색하도록 모델을 학습시키는 테스트 시점 스케일링이지만, 그 결과로 얻어지는 능력은 모델 가중치에 얽혀 있어 단계별로 검증할 수 없고 추론 비용도 크다. 본 논문은 타입이 지정된 도메인 특화 언어를 통해 조합되는 기호적 및 신경망 기본 요소 라이브러리로 구성된 신경기호 추론 시스템 Forethought를 제시한다. 그 결과물은 추론 프로그램, 즉 모델의 작업을 구체적으로 표현한 것으로, 모든 단계가 설계 시점에 검사되고 실행 시점에 강제되는 출력 계약을 갖는다. 기호적 단계는 구성상 성립하며, 학습된 단계는 계약 검사와 경험적 검증을 거쳐, 보장되는 것과 측정되는 것 사이의 명시적 경계를 제공한다. 도구 호출 실행 커널로 구현하여 네 가지 표준 도구 호출 벤치마크 모음에서 평가한 결과, Forethought는 동일한 기반 모델을 직접 프롬프팅한 경우에 비해 종단 간 정확도를 중앙값 기준 32% 상대적으로 향상시켰으며, 평가한 구성 중 가장 높은 종합 정확도에 도달하였다. 다만 프런티어 모델과의 차이는 단일 실행 잡음 범위 내이다. 소형 오픈 모델과 Forethought의 고정된 소형 모델 계층을 결합한 시스템은 해당 프런티어 모델과 대등한 성능을 보이며, 비추론 응답기를 사용하는 파이프라인은 추론 기반 대응 파이프라인보다 우수하면서도 단 한 번의 미세조정 단계만 요구한다. 계약 및 제어 계층을 제거하면 이러한 이득의 대부분이 사라지며, 이는 분해만이 아니라 검사된 구조가 향상을 이끈다는 것을 보여준다. 본 결과는 더 정확하고 신뢰할 수 있으며 감사 가능한 언어 모델 에이전트를 구축하는 데 풍부한 기호적 오케스트레이터가 가진 잠재력을 보여준다.
LittleLearner: 교육학적으로 제어된 지식 노출 환경에서의 언어 모델
LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure
현대 언어 모델은 이종의 웹 규모 텍스트 말뭉치로 학습됩니다. 결과적으로 관련 콘텐츠에 대한 사전 노출을 명확히 규정하기 어렵기 때문에, 지식 및 기술 습득을 연구하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 미국 초등학교 교육 자료에 맞추어 5학년을 초과하는 학년에서 가르치는 개념, 사실 및 어휘를 명시적으로 제외하고 구축한 880억(88B) 토큰 규모의 사전학습 말뭉치인 LittleCurriculum을 소개합니다. LittleCurriculum을 기반으로 50억(5B) 매개변수 대규모 언어 모델(LLM)을 처음부터 학습(scratch)시켜, 개방형 평가를 수행하기에 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 부합하는 명확한 지식 및 능력 경계를 지닌 모델인 LittleLearner를 도출했습니다. 잘 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고, 표현하며, 활용하는지 연구할 수 있도록 발달적으로 제한된 샌드박스로 LittleCurriculum과 LittleLearner를 공개합니다. 또한 사후 학습(post-training)과 문맥 내 학습(ICL)을 통해 새로운 지식을 주입하는 첫 번째 일련의 실험을 통해 이 샌드박스의 유용성을 입증합니다. 이러한 방식은 LittleLearner가 기존 지식을 더 잘 활용할 수 있도록 돕지만, 범위를 벗어난 능력을 향상시키지는 못합니다. 본 연구 결과는 향후 연구를 위한 이러한 통제된 환경의 가치를 강조합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.