PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.24661v4cs.AI

대규모 언어 모델의 추론 품질 측정: 다차원 행동 기반 프레임워크

Measuring Reasoning Quality in LLMs: A Multi-Dimensional Behavioral Framework

대규모 언어 모델(LLM)의 추론 품질을 최종 답변 정확도 하나로만 평가하는 한계를 극복하고자, 인지과학에 기반한 정확성(CQ), 일관성(CS), 강건성(RS), 국소 논리적 일관성(LS), 효율성(ES), 안정성(SS) 등 6가지 차원의 통합 행동 평가 프레임워크를 제안한다. 7개 LLM과 4개 벤치마크 실험에서 단일 지표 평가로는 드러나지 않는 배포 맥락별 모델 순위 역전 현상과 차원 간 독립성을 실증적으로 확인하였다.

arXiv:2604.11996v5cs.CL

필터링된 추론 점수: 모델의 가장 확신 높은 추론 경로에서 추론 품질 평가

Filtered Reasoning Score: Evaluating Reasoning Quality on a Model's Most-Confident Traces

높은 정확도를 보이는 대규모 언어 모델(LLM)을 신뢰해도 될까? LLM은 추론 벤치마크에서 높은 정확도를 달성하지만, 정답 여부만으로는 그 답을 도출하는 데 사용된 추론의 품질을 알 수 없다. 이는 결과 기반 평가의 근본적인 한계를 드러낸다. 모델은 결함 있는 추론을 통해 정답에 도달할 수 있으며, 추론 능력이 상당히 다른 모델들도 암기나 과잉 최적화 등으로 인해 유사한 벤치마크 정확도를 보일 수 있다. 본 논문에서는 기존 벤치마크를 활용하여 결과 기반 평가를 넘어 추론 자체의 품질을 평가할 수 있는지를 탐구한다. 우리는 (1) 유사한 정확도를 가진 모델들을 변별하고, (2) 입력 프롬프트 및 생성 설정의 변화에 강건한 지표를 모색한다. 이를 위해 충실성, 일관성, 유용성, 사실성 등의 차원에서 추론 경로를 평가하는 추론 점수를 제안한다. 남은 문제는 다수의 샘플링된 경로에 걸쳐 이 점수를 어떻게 집계할 것인가이다. 단순 평균은 바람직하지 않은데, 특히 가능한 경로의 수가 급격히 증가하는 장기 수평(long-horizon) 설정에서는 신뢰도가 낮은 정답 경로가 우연에 의한 것일 가능성이 높기 때문이다. 이를 해결하기 위해 우리는 상위 K%의 가장 확신 높은 경로만을 사용하여 추론 품질을 산출하는 필터링된 추론 점수(FRS, Filtered Reasoning Score)를 제안한다. FRS로 평가하면, 표준 정확도 기준으로는 구별되지 않는 모델들이 추론 품질에서 유의미한 차이를 보인다. 또한 특정 벤치마크에서 FRS가 높은 모델은 정확도와 추론 품질 모두에서 다른 추론 벤치마크에서도 더 나은 성능을 보이는 경향이 있다. 이러한 결과들은 FRS가 모델의 전이 가능한 추론 능력을 포착함으로써 정확도를 보완함을 시사한다. 평가 코드베이스를 오픈소스로 공개한다: https://github.com/Manas2006/benchmark_reproducibility.

arXiv:2410.15135v5cs.CL

TrendFact: 자동 팩트체킹에서 핫스팟 인식을 위한 벤치마크

TrendFact: A Benchmark Towards Hotspot Perception in Automatic Fact-Checking

온라인 허위 정보의 급증과 함께, 자동 팩트체킹(AFC) 시스템으로서의 대규모 언어 모델(LLM)과 추론 대규모 언어 모델(RLM)이 신뢰할 수 있고 설명 가능한 검증을 위한 주요 패러다임으로 부상하고 있다. 그러나 본 연구의 실증적 분석에 따르면, 이 패러다임은 자원 제약 환경의 실세계 배포 시 심각한 위험 비대칭 문제에 직면한다. 사회적 영향력에 따라 추론 자원을 동적으로 배분하는 능력인 핫스팟 인식 능력(HPA, Hotspot Perception Ability)이 이 위험을 완화하는 데 필수적임에도 불구하고, 기존 벤치마크는 이러한 긴급한 평가 수요를 충족할 소셜 메타데이터와 평가 프레임워크를 갖추지 못해 AFC 시스템의 발전을 저해하고 있다. 이 격차를 해소하기 위해, HPA 및 세 가지 팩트체킹 태스크를 평가할 수 있는 최초의 벤치마크인 TrendFact를 제안한다. TrendFact는 트렌딩 플랫폼과 전문 데이터셋에서 수집한 7,643개의 엄선된 샘플과 366,634개의 항목으로 구성된 증거 라이브러리로 이루어진다. HPA 평가를 가능하게 하기 위해, 검증 추론의 신뢰성을 평가하는 설명 일관성 점수(ECS, Explanation Consistency Score)와 AFC 시스템의 전반적인 HPA를 정량화하는 핫스팟 주장 인식 지수(HCPI, Hotspot Claim Perception Index)라는 두 가지 새로운 지표를 제안한다. 광범위한 실험을 통해 기존 AFC 시스템이 TrendFact에서 제한적인 성능을 보임을 확인하였다. 나아가, 제안하는 FactISR 프레임워크는 RLM 기반 AFC 시스템의 HPA와 계산 효율성을 효과적으로 향상시킨다.

arXiv:2606.30987v1cs.CL

자연어 설명에서 판단 품질 측정: 예측 토너먼트의 증거

Measuring Judgment Quality in Natural-Language Explanations: Evidence from Forecasting Tournaments

LLM이 점수를 매기는 60개의 이론 기반 추론 패턴인 설명 품질 마커(EQM)를 도입해, 예측 토너먼트의 55,000개 이상 예측-근거 쌍에서 EQM 복합 점수가 기존 텍스트 분석 방법과 인간 평가보다 예측 정확도를 더 잘 예측함을 보였다. EQM은 우수한 예측자를 가려내는 것보다 저조한 예측자를 식별하는 데 더 신뢰성이 높으며, 독립 데이터셋에도 전이됨을 확인해 서면 설명에서 판단 품질을 대규모로 측정하는 확장 가능한 방법을 제공한다.

arXiv:2606.29876v1cs.CL

임상 추론 그래프: LLM 진단 추론의 구조적 평가를 통해 드러난 일관성 없는 역량

Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency

현대의 대규모 언어 모델(LLM)은 복잡한 임상 사례 벤치마크에서 60~70%의 진단 정확도에 도달하지만, 정확도만으로는 안정적인 임상 기반 추론과 패턴 매칭을 구별할 수 없다. 우리는 5가지 노드 유형과 7가지 엣지 유형을 갖는 도메인 기반 온톨로지를 사용하여 자유 형식의 LLM 진단 추적에서 추출한 구조적 그래프 표현인 임상 추론 그래프를 소개한다. 이 파이프라인을 50개의 New England Journal of Medicine 임상병리학 컨퍼런스 사례와 세 가지 프롬프트 조건에 걸쳐 다섯 개 모델에서 생성된 750개의 추적에 적용하고, 임상적으로 유사한 사례들에서 진단 추적이 안정적인 구조적 추론 패턴, 즉 진단 스키마를 보이는지 검증하였다. 이를 임상적으로 유사한 사례 쌍 간의 그래프 유사도가 임상적으로 유사하지 않은 사례 쌍보다 높은지로 조작적 정의하였다. 15개의 모델-조건 비교 전반에 걸쳐 클러스터 내 및 클러스터 간 복합 유사도는 거의 동등하였으며, 다중 검정 보정을 통과한 비교는 없었다. 구성 요소 수준 분석에서도 잔여 콘텐츠 신호는 스키마 수준에 크게 미치지 못하였다. 그래프 유사도는 두 모델이 모두 정답인 쌍(0.488)과 모두 오답인 쌍(0.484)에서도 거의 동일하여, 그래프 구조가 진단 정확도에 반영되지 않는 차원을 포착함을 시사한다. 구조적 반성 프롬프트는 추적 내 명시적 판별 특징 분석을 증가시켰으나(+33%), 사례 간 일관성은 높이지 못하였다. 이러한 결과는 스키마 수준의 추론 일관성 없이도 진단 역량이 존재함을 보여주며, 최종 답변 정확도가 프로세스 수준 평가로 보완되어야 함을 나타낸다. 우리는 LLM 임상 추론의 구조적 평가를 위한 자원으로서 온톨로지, 추출 파이프라인, 검증 프로토콜, 그리고 추출된 추론 그래프와 유사도 결과물을 공개한다.

arXiv:2606.27103v1cs.CL

리들 리들: 대규모 언어 모델과 인간의 유연한 추론 검증

The Riddle Riddle: Testing Flexible Reasoning in Large Language Models and Humans

리들 리들(riddle riddle) 패러다임은 수수께끼 형식이지만 문자 그대로 해석하면 되는 문제를 통해 LLM의 성능이 유연한 추론인지 학습 데이터 패턴 매칭인지를 검증한다. 최신 LLM 9개와 인간 100명 실험에서 LLM은 진짜 수수께끼에서 정확도가 높고 리들 리들에서 급락하는 반면 인간은 정반대 패턴을 보였으며, LLM 오류의 대부분은 형식에 반응해 불필요한 기발한 추론을 적용한 데서 비롯되었다.

arXiv:2606.21618v1cs.CL

CulMind: 중국 문화유산에서의 다중모달 이해 및 추론 벤치마킹

CulMind: Benchmarking Multimodal Understanding and Reasoning in Chinese Cultural Heritage

중국 문화유산(CCH)에서 다중모달 대규모 언어 모델(MLLM)을 평가하려면 시각적, 텍스트적, 양식적, 역사적 단서에 대한 세밀한 추론이 필요하다. 그러나 기존 CCH 벤치마크는 주로 최종 답변 정확도를 강조하는 반면, 추론 과정의 정확성과 완전성은 아직 충분히 탐구되지 않았다. 이 공백을 메우기 위해 우리는 CulMind와 CulMind-R을 제안한다: 100개 이상의 박물관 소장품에서 수집한 50개 과제를 다루는 다중모달 CCH용 고품질 벤치마크, 그리고 추론 과정 평가를 위해 과제별 차원을 적응적으로 정의하는 24개 과제 추론 부분집합이다. 추론 품질을 평가하기 위해 우리는 ReaScore를 제안한다. 이는 과제 관련 차원을 자동으로 가중하여 추론을 평가하는 과제 적응형 지표이다. 14개 주요 MLLM에 대한 실험 결과, 특히 어려운 과제에서 답변과 추론 사이에 상당한 격차가 드러났다. 추가 분석에 따르면, 과제 적응형 차원 선택 및 가중치 부여가 평가 결과를 전문가 판단과 더 잘 일치시킨다. 전반적으로, 우리의 벤치마크와 지표는 CCH 이해에 대한 보다 전문가 정렬에 가까운 평가를 지원하며, 문화유산에 대한 더 넓은 범위의 평가를 위한 전이 가능한 참고 자료를 제공한다. 재현 가능한 연구를 지원하기 위해 데이터, 코드, 평가 스크립트를 https://github.com/ZevTsao/CulMind 에서 공개한다.