IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs
동일한 논리 구조를 공유하되 서로 다른 도메인 지식을 요구하는 동형(isomorphic) 문제 쌍으로 구성된 벤치마크 IsoSci를 제안하여, 대규모 언어 모델(LLM)의 추론 능력과 지식 검색 능력을 분리 평가한다. 실험 결과, 추론 모드에서 얻은 성능 향상의 91.3%가 구조 불변적이 아닌 지식 의존적임을 밝히며, 사고의 연쇄(Chain-of-Thought) 추론이 단기 절차적 과학 문제 해결 능력 자체를 개선한다는 기존 가정에 의문을 제기한다.