ThinkProbe: 정확도를 넘어서 -- 비생성적 사고 그래프를 통한 개방형 LLM 추론 트레이스의 구조적 프로파일링
ThinkProbe: Beyond Accuracy -- Structural Profiling of Open-Ended LLM Reasoning Traces via Non-Generative Thought Graphs
우리는 대규모 언어 모델(LLM) 추론 트레이스의 구조 분석을 위한 프레임워크인 ThinkProbe를 제시한다. ThinkProbe는 각 트레이스를 사고 그래프(Thought Graph)—순환을 포함하는 유향 그래프로, 8가지 노드 유형과 6가지 에지 유형으로 구성됨—로 변환하고, 규칙 기반 분절과 판별적 의미 연결을 결합한 완전 비생성적 파이프라인을 통해 19개 지표로 이루어진 5차원 인지 프로파일(5D-CP: 폭, 깊이, 구조, 메타인지, 효율성)을 도출한다. 200개의 개방형 질문과 10개의 인지 영역에 걸쳐 7개의 네이티브 추론 모델로부터 수집한 4,200개의 트레이스에 ThinkProbe를 적용한 결과, 추론 구조가 안정적인 모델 수준의 속성임이 드러났다. 5개 인지 차원 중 4개에서 모델 간 분산이 영역 간 분산을 최대 4배까지 초과하였으며, 구조(Structure) 차원은 질문 영역에 대한 실질적인 민감도를 보여, 정확도 기반 평가로는 드러나지 않는 질적으로 구별되는 인지 프로파일을 노출하였다.