LLM 기반 사실 검증은 벤치마크 판정 정확도는 높지만 인용 근거가 주장을 정당화하지 못하는 Supports를 내는 보증(warrant) 격차가 있다. 5W1H로 추출한 근거 구간을 전체 주장에 대해 재평가하는 SIFT와 NLI 기반 허용성 지표 WSP를 제안해 FEVER·SciFact·5PILS·DP에서 naive 분해로 최대 27.6%p 손실된 정확도를 회복하고, WSP는 인간 골드 근거 대비 AUC 0.92·정밀도 0.98로 보정된다.
RAG 귀속(attribution) 자동 평가 지표 8종을 세 가지 평가 구성과 다중 데이터셋에서 비교 감사한 결과, 생성 답변 귀속에서는 데이터셋마다 최적 지표 순위가 뒤집혀 어떤 자동 채점기도 교차 이전(transfer)하지 않고 AttributedQA 최고 NLI 채점기(AUROC 0.90)는 LFQA에서 0.53(우연)으로 붕괴한다. 평균 성능으로 평가기를 고르는 방식은 leave-one-dataset-out에서 실패하므로 지표 선택은 대상 데이터셋에서 검증해야 하며, 프롬프트 LLM 판정은 붕괴는 줄이지만 비용이 약 100배 높고 비결정적이다.
환각 위험이 주장마다 다른데도 기존 검증은 동일한 정책을 적용하는 한계를 FACTOR(FACTuality-Oriented Risk-aware Verification)가 주장 수준 불확실성에 따라 검증 강도를 조절하는 추론 시점 프레임워크로 해결한다. 불확실성 추정, 적응형 NLI 검증, 후보 재순위화를 결합해 FactScore 벤치마크에서 사실성을 높이면서 검증 비용을 줄였다.
기존 인용 그래프가 인용 역할을 단일 엣지로 축소하는 한계를 보완하기 위해, 각 인용을 동기화하는 주장 문장에 연결하고 NLI(natural language inference)로 검증한 SciTraj 주장 기반(claim-grounded) 유형화 인용 코퍼스를 제안한다. NLP·ML·Vision 32,559편과 573,126개 유형화 엣지, 길이 3 이상 2억 8,700만 개 궤적을 포함하며, 유형화 인용 흐름의 학문 분야별 사일로화와 Vision·LLM 관련 주제 출현 등 연구 진화 패턴을 분석하고 시간 분할 링크 예측 벤치마크를 제공한다.
임상 텍스트에서의 환각(hallucination) 탐지는 점점 설명가능성(explainability) 문제로 프레이밍되고 있다. 시스템은 단순히 신뢰할 수 없는 응답을 표시하는 것에 그치지 않고 문제가 되는 구간(span)을 가리켜야 한다. 지식 그래프(KG) 삼원조(triple) 분해를 중심으로 한 아키텍처는 바로 이러한 감사 가능성(auditability)을 위해 내세워지지만, 그들의 국소화(localization) 능력은 일반적으로 측정되기보다 가정되는 경우가 많다. 우리는 국소화 충실성(localization faithfulness)—탐지기의 최상위 순위 오류 단위가 실제로 오류 구간과 겹치는지 여부—에 대한 벤치마크 및 지표인 MedHal-Loc를 제안한다. 통제된 하위집합은 네 가지 국소화 가능 유형(개체 치환, 관계 오류, 기전 오귀속, 날조)에 걸쳐 단일 span 수준의 오류가 주입된 PubMedQA 유래 300개 진술로 구성되며, 구조적으로 gold span을 생성한다. 보완적인 자연 하위집합은 실제 환각이 span 국소화에 저항하는 확산적인 결론 뒤집기(conclusion-flip)에 지배됨을 보여준다(인간 전문가가 18개 후보 span 중 1개만 수용). 네 가지 세분화된 패러다임을 평가한 결과, 절별 NLI, 문장별 일관성, 그리고 전용 span 탐지기 FAVA는 모두 우연 수준을 훨씬 상회하는 국소화 성능을 보이는 반면, 정교한 KG-삼원조 파이프라인은 우연 수준과 통계적으로 유의미한 차이가 없을 정도(+3.3pp, n.s.)로만 국소화하며, 이는 경쟁력 있는 탐지 F1(0.609)에도 불구하고 ~59%의 개체 추출(entity-extraction) 커버리지에 병목을 받는다. 탐지 역량이 충실한 국소화를 의미하지는 않는다. 아키텍처적 설명가능성은 가정되어서는 안 되며 검증되어야 한다.
과학적 발견은 점점 더 가설을 생성하고 멀티모달 증거를 검토하며 대규모로 주장을 검증하는 자동화 시스템에 의존하고 있다. 그러나 과학적 주장 검증은 비전-언어 모델에게 직접적인 이진 판단을 요구하는 방식으로는 잘 해결되지 않는다. 주장은 종종 수치 결과, 비교, 범위 한정어, 설명적 맥락을 결합하는 반면, 증거는 표와 그림에 서로 다른 그라운딩 구조로 인코딩된다. 본 논문은 멀티모달 과학적 주장 검증을 위한 증거 조건화 원자적 함의 프레임워크인 SciLens를 제시한다. SciLens는 각 주장을 중심 경험적 원자와 배경 원자로 분해하고, 중심 원자를 모달리티별 증거 위트니스에 그라운딩하며, 원자 수준 함의 규칙으로 최종 레이블을 예측한다. 표의 경우 원자는 행, 열, 셀, 산술 관계, 표 범위에 그라운딩되고, 그림의 경우 패널, 축, 범례, 시각적 인코딩, 범주, 추세, 순위, 한정어 검사를 통해 그라운딩된다. 이를 통해 주장은 모든 중심 경험적 원자가 현재 증거에 의해 함의될 때만 지지되는 통합 검증 절차가 만들어진다. SciClaimEval 개발 세트에서 SciLens는 79.2% macro-F1과 63.1% pair accuracy를 달성하여, 구조화된 에이전틱 검증이 증거 민감도와 해석 가능성 모두를 향상시킴을 보여준다.
지식 집약적 도메인에서 논리적 추론을 위해 배포된 대규모 언어 모델(LLM)은 미묘하지만 치명적인 실패를 보인다. 정합성(coherence)은 체계적인 기권(abstention)을 통해 공허하게 달성될 수 있다. 함축(entailment)이나 반박(refutation) 중 어느 쪽에도 확정(commitment)하지 않는 모델은 부정 일관성(negation consistency)을 만족하면서도 어떠한 유용성도 제공하지 않는다. 우리는 일관성과 결단력(decisiveness)을 함께 측정하는 이중 쿼리 평가 패러다임인 Coherence Under Commitment(CUC)를 제안한다. CUC는 세 가지 혁신을 기여한다: (1) 결정적 결과에 할당된 확률 질량을 정량화하는 확정 점수 $c(\varphi) = p(\varphi) + p(\lnot\varphi)$; (2) 정규화된 YES/NO 로그 확률을 통한 결정적 유도(elicitation) 프로토콜로, 샘플링 분산을 제거; (3) 정합성-확정 트레이드오프를 지표로 운영화하는 3방향 결정 프레임워크(True/False/Uncertain). 204개 FOLIO 예제에 걸친 4개의 오픈 가중치 LLM(1B-3B)에 대한 실험은 날카로운 프론티어를 드러낸다. Qwen2.5-3B는 거의 0에 가까운 모순($\mathbb{E}[v_{\mathrm{neg}}]{=}0.025$)을 달성하지만 커버리지만 $7.4\%$이며, TinyLlama-1.1B는 모든 예제에서 위반이 있는 상태로 $79.4\%$ 커버리지에 도달한다. 정합성만 평가하면 기권하는 모델을 1위로 순위 매길 것이며, CUC는 이를 공허한 것으로 드러낸다. 이 프론티어는 LogiQA~v2($ρ{=}0.97$)로도 일반화된다. 우리는 평가가 정합성과 공허하지 않은 확정을 모두 보고해야 한다고 주장하며, 표준화된 평가를 위한 툴킷을 공개한다.
일상 환경에서 활동하는 로봇은 사람이 화면의 작은 영역만 차지하는 넓은 시야에서 미세한 인간 행동, 의도, 맥락적 단서를 이해해야 하며, 이는 현재 시스템들이 충족하지 못하는 능력이다. 개방어휘(open-vocabulary) 행동 인식 방법은 미리 정의된 레이블을 부여하는 데 그치는 한계가 있으며, 비전-언어 모델(VLM)은 출력에서 정보의 풍부함과 사실적 충실도 사이의 고유한 트레이드오프에 직면한다. 어느 접근법도 신뢰할 수 있는 인간-로봇 상호작용에 필요한 심층의 의미론적 해석을 달성하지 못한다. 우리는 미세 인간 행동 이해를 위해 경량 VLM에 자기 안내 다중모달 추론 능력을 부여하는 새로운 프레임워크인 Gold Points Sniper(GPS)를 제안한다. 우리 접근법은 세 가지 핵심 모듈로 구성된다: Gold Points Extractor는 VLM을 학습시켜 행동과 관련된 중요한 세부 사항을 식별하고, Selective Socratic Questioner는 선택적 자기 질문을 통해 이러한 세부 사항을 검증·정제하며, Semantic Entailment Evaluator는 의미적 함의(semantic entailment) 분류를 사용하여 사실적 일관성을 정량적으로 평가한다. CAP 벤치마크를 기반으로 구축한 우리가 정제한 인스트럭션 튜닝(instruction-tuning) 데이터셋에 대한 광범위한 실험 결과, GPS로 강화된 경량 VLM은 상당한 성능 향상을 달성하며, 일부 모델은 우월한 사실적 정확도를 유지하면서 독점 GPT-4o에 필적하는 성능에 도달한다. 우리 연구는 가정용 로봇공학에서 미세 행동 이해를 위한 신뢰할 수 있는 기반을 마련하며, 정보가 풍부하면서도 사실에 근거한 설명을 통해 로봇이 인간 행동을 안전하게 해석할 수 있게 한다. 소스 코드, 학습 구성, 주석 프롬프트, 데이터셋 세부 사항은 https://github.com/Haodi-Liu/GPS-Gold-Point-Sniper 에서 공개한다.
페르시아어 사전학습 언어 모델(PLM)은 대규모 고품질 사전학습 말뭉치의 부족과 표준 분류(classification) 및 개체명 인식(NER) 작업을 넘어선 평가의 부족으로 인해 여전히 제한적입니다. 본 논문에서는 Sepahr-Danesh 컬렉션의 45GB 큐레이션된 서브셋(약 70~80억 토큰)에서 RoBERTa-base 인코더(1.25억 파라미터)를 사용하여 처음부터 학습된 단일 언어 페르시아어 PLM인 IHUBERT를 제시합니다. 말뭉치 품질을 개선하고 중복성을 줄이기 위해, 정규화(normalization), 정확 및 근접 중복 제거, 익명화, 그리고 도메인 및 레지스터 전반의 분포 균형 제어를 위한 벡터 데이터베이스 기반 시맨틱 중복 제거를 포함하는 다단계 전처리 파이프라인을 사용합니다. 또한, 페르시아어 형태론과 표기법 변이를 더 잘 포착하기 위해 전체 사전학습 말뭉치에 대해 어휘 크기 139k의 BPE 토크나이저를 학습했습니다. IHUBERT는 개체명 인식(NER), 감성 분석(sentiment analysis), 주제 분류, 자연어 추론(NLI), 추출형 질의응답, 관계 추출을 포함하는 7개의 페르시아어 자연어 이해(NLU) 벤치마크에서 평가되었으며, 작업별 표준 지표(엔티티 수준 F1, Macro-F1, EM/F1)를 사용했습니다. IHUBERT는 추출형 질의응답에서 가장 강력한 성과를 보여 PQuAD (F1 88.3542)와 ParsiNLU-RC (F1 49.0987) 모두에서 1위를 차지했으며, FarsTail (Macro-F1 0.8350)에서도 최고의 결과를 달성했습니다. 개체명 인식(NER)과 주제 분류에서는 경쟁력 있는 성과를 보였으나(예: ParsTwiNER에서 F1 0.8308; DigiMag에서 Macro-F1 0.7953), 관계 추출은 여전히 주요한 개선이 필요한 부분으로 남아 있습니다(PERLEX에서 Macro-F1 0.6684). IHUBERT 사전학습 말뭉치에 대한 통제된 토크나이저 소거(ablation) 실험 결과, 동일한 어휘 크기에서 BPE가 WordPiece보다 서브워드 파편화가 약간 더 낮은 것으로 나타나 우리의 토큰화(tokenization) 설계를 뒷받침합니다. 전반적으로 IHUBERT는 의미적으로 큐레이션된 대규모 사전학습과 분류 및 이해 지향적 작업에 걸친 광범위한 평가를 통해 페르시아어 언어 모델링을 고도화했습니다.
자연어 처리(NLP)에서 트랜스포머 기반 모델의 획기적인 성공은 아키텍처 스케일링에서 비롯되었으나, 이는 많은 수의 파라미터를 초래하여 자원 제약 환경에서의 배포를 방해합니다. 구조적 가지치기(pruning)는 압축의 방법을 제공하지만, 기존 최신 방법들은 종종 그래디언트 기반 중요도 순위나 확률적 게이팅에 의존하여 불안정성, 구조적 퇴화, 그리고 광범위한 수동 하이퍼파라미터 튜닝의 필요성이라는 문제를 겪습니다. 본 논문에서는 헤드 선택을 전역 그래프 이론적 문제로 재정의하는 새로운 사후(post-hoc) 프레임워크인 CAHP(Complementary Attention Head Pruning)를 소개합니다. CAHP는 헤드를 개별적으로 평가하는 대신, 그래프 기반 클러스터링과 정보 이론적 거리 측정을 결합하여 위상적으로 다양한 상호 보완적 어텐션 헤드의 부분 집합을 식별하고 보존합니다. 미리 정의된 희소성(sparsity) 수준이나 가지치기 비율 없이도, 해당 프레임워크는 추가 헤드 가지치기가 선택된 다항식 차수에 따라 결정되는 성능의 급격한 저하로 이어지는 한계 성능 감소 곡선을 식별하여, 레이어 전체에서 선택된 어텐션 헤드의 수를 자동으로 결정합니다. 다양한 트랜스포머 모델 스케일에 걸친 SST-5 및 MNLI 벤치마크에 대한 광범위한 평가 결과, CAHP는 특히 고압축 영역에서 경쟁 베이스라인을 일관되게 능가함을 입증합니다. 또한, 구조적 분석을 통해 CAHP는 출력에 가까운 레이어의 헤드를 주로 보존하는 경향이 있는 그래디언트 기반 가지치기 방법의 '근접성 바이어스(proximity bias)'를 피하고, 대신 모델의 중간 레이어에서 기능적으로 중요한 어텐션 헤드 집합을 유지함을 보여줍니다.
도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 검색, API, 데이터베이스, 임상 기록, 처방집 도구 등 이질적인 증거 출처로부터 응답을 생성하기 위해 모델 컨텍스트 프로토콜(MCP)을 점점 더 많이 활용하고 있다. 표준 사실성 지표는 통합된 증거에 의해 답변이 뒷받침되는지만을 검사하는 경우가 많아, 출처에 민감한 실패 유형을 놓치게 된다. 즉, 어떤 주장이 특정 출처에서는 지지되더라도 잘못된 출처에 귀속될 수 있다. 우리는 이를 교차 출처 혼용(cross-source conflation)이라 부른다. 우리는 MCP 기반 답변을 위한 출처 인식 검증기인 ProvenanceGuard를 제안한다. ProvenanceGuard는 안정적인 도구 ID, 출처 ID, 원시 출력이 포함된 캡처된 MCP 트레이스를 입력으로 받아, 답변을 원자적 주장으로 분해하고, 각 주장을 출처별 증거로 라우팅하며, 자연어 추론(NLI)과 토큰 정렬 프록시를 통해 지지 여부를 검사하고, 명시된 귀속과 라우팅된 출처를 비교한 뒤, 주장별 판정과 답변 수준의 허용/차단 결정을 반환한다. 차단된 답변은 검색-증강 생성(RAG) 기반 답변 수정 및 재검증을 통해 복구될 수 있다. 우리는 의료 도메인 MCP 에이전트 트레이스 281개를 대상으로 평가를 수행하였다. 판정이 완료된 266개 트레이스 부분집합에서는 트레이스별로 분리된 2,325개의 LLM 보조 주장 레이블이 생성되었으며, 361개의 보류 레이블은 인간이 검증하였다. 40개 트레이스로 구성된 보류 분할에서 ProvenanceGuard는 출처 적격 주장 260개에 대해 차단 F1 0.802, 출처 정확도 0.858을 달성하며, 주장-출처 ID를 생성하지 않는 출처 비인식 기준선을 상회하였다. 더 어려운 다중 출처 벤치마크에서는 차단 F1 0.846에 도달하였으나, 출처-관계 복합 정확도는 0.229로 하락하여, 의미적으로 유사한 출처 간 정확한 출처 소유권 판별이 여전히 어려움을 보였다. 수정-재검증 과정은 전체 트레이스 집합에서 차단된 모든 답변을 해소하였으며, 종종 보수적 폴백(fallback)을 통해 이루어졌다. 50개의 통제된 임상 혼용 프로브 실험에서 ProvenanceGuard는 삽입된 모든 귀속 교체를 탐지하였으며 잘못된 귀속이 잔류하지 않았다. 이러한 결과는 출처 귀속이 MCP 기반 에이전트의 사실성 검증에서 독립적인 평가 축임을 보여준다.
과학적 추론 전반에 세 가지 전형적인 추론 형태가 반복된다: 연역, 귀납, 인과적 abduction. 과학적 맥락에서 대규모 언어 모델(LLM)의 이러한 능력을 신뢰성 있게 평가하는 것은 현재 불가능에 가깝다. 인간 주석에 기반한 과학 벤치마크는 비용이 크고 기계적 ground truth가 부족한 반면, 합성 논리적 추론 벤치마크는 실제 과학 문서와 닮지 않는다. 우리는 다중 패러다임 추론과 조절 가능한 과학적 렌더링을 결합하고, 세 가지 전형적인 과학 문제에 기반을 둔 벤치마크 SciR을 제안한다. 과제는 검증 가능한 답을 보장하기 위해 형식적 객체(연역 트리, 귀납 규칙 가설, 인과 그래프)에서 생성된 뒤, 트랙별 도메인 특화 장르를 통해 다문서 과학적 담화로 렌더링된다. 이 구성은 추론에 필요한 핵심 정보를 추출하는 난이도와 원칙에 기반한 추론 자체의 난이도라는 두 가지 난이도 축을 독립적으로 변화시킬 수 있게 한다. 우리는 여섯 개 모델을 테스트했다. 두 축 모두 모든 모델에 부정적 영향을 미치며, 그 효과는 누적된다. 렌더링은 추론을 검증된 솔버에 위임하는 신경기호(neurosymbolic) 파이프라인에조차 부정적 영향을 미친다. 두 축은 모델별 추출 대 추론 프로파일을 산출한다. 예를 들어 deepseek-r1과 같은 reasoning 모델은 추론 축에서 대체로 non-reasoning instruct 모델을 능가한다. 우리가 아는 한 SciR은 추출과 추론 난이도 모두에 대한 매개변수적 제어를 제공하는 최초의 다중 패러다임 과학적 추론 벤치마크이다.
금융 뉴스는 단기 주가 변동을 신뢰할 수 있게 예측할 수 있는가? 대규모 언어 모델(LLM)의 발전에도 불구하고, 이 질문은 여전히 해결되지 않았다. 우리는 제로샷 자연어 처리(NLP) 프레임워크를 사용하여 이 문제를 다시 살펴보며, 모델이 도메인 특화 학습 없이 금융 뉴스에서 실행 가능한 신호를 추출할 수 있는지 조사한다. 우리는 제로샷 자연어 추론(NLI)을 시간적 집계와 결합하는 구조화된 파이프라인을 설계하며, 기사 간 정보를 통합할 때 최신성과 이벤트 의존적 영향 범위를 명시적으로 모델링한다. 고위험 설정에서 투명성에 대한 요구를 해결하기 위해, 우리는 예측을 토큰 수준, 기사 수준 및 집계된 증거와 연결하고 그라운딩된 자연어 근거를 생성하는 다층 설명 가능성 프레임워크를 도입한다. 여러 모델과 예측 범위에 걸쳐, 우리는 제로샷 접근 방식이 간단한 기준선(baseline)을 일관되게 능가하지 못한다는 것을 발견했으며, 특히 부정적 변동에서 성능이 낮아 뉴스 감정을 단기 가격 역학으로 매핑하는 데 더 깊은 구조적 한계가 있음을 시사한다. 그러나 설명 가능성 신호는 신뢰할 수 있는 예측과 신뢰할 수 없는 예측을 신뢰할 수 있게 구별하며, 정확도가 제한적일 때도 실용적인 가치를 제공한다. 이러한 발견은 제로샷 금융 자연어 처리(NLP)의 한계를 강조하며, 투명성과 불확실성 인식을 우선시하는 의사결정 지원 시스템으로의 전환을 동기부여한다. 코드: https://github.com/alimert05/zero-shot-stock-xai
오디오 언어 모델(ALM)은 음성 기반 이해를 위해 점점 더 많이 사용되고 있으나, 전사, 텍스트-오디오 검색, 캡셔닝, 질의응답 정확도를 넘어선 의미론적 추론 능력은 아직 충분히 벤치마킹되지 않았습니다. 특히, 악센트 변이, 도메인 이동, 의미론적 과도 추론이 오디오 추론에 미치는 영향은 잘 이해되지 않고 있습니다. 본 연구에서는 5가지 의미론적 및 언어외적 추론 작업(함의, 일관성, 타당성, 악센트 드리프트, 악센트 제약)에 걸쳐 오디오 언어 모델을 평가합니다. 종합적으로 이러한 작업들은 구어 오디오를 주요 증거 원천으로 활용하여 추론하는 모델의 능력을 평가합니다. 여기에는 텍스트 가설이 오디오를 통해 추론 가능한지, 모순되는지, 아니면 미정 상태로 남는지, 진술이 구어 내용과 일치하는지 충돌하는지, 담화를 고려했을 때 주장이 타당한지, 그리고 악센트 변이에 따라 모델 예측이 안정적으로 유지되거나 적절하게 제약되는지 여부가 포함됩니다. 이러한 연구 결과는 현재 오디오 추론 평가의 중요한 한계를 강조하며, 더 견고하고 공정한 ALM 설계 및 평가를 위한 지침을 제공하는 것을 목표로 합니다.
생물의학적 연구 결과는 연구 간에 충돌하는 것처럼 보이는 경우가 많지만, 많은 차이점은 진정한 모순이라기보다는 문맥 의존적입니다. 코호트, 지리적 위치, 어세이 프로토콜, 질병 아형, 임상 환경의 차이는 두 주장 모두 각 문맥에서 타당하게 만들 수 있습니다. 기존 자연어 추론(NLI) 및 과학적 주장 검증 벤치마크는 이러한 사례를 함의(entailment), 모순(contradiction), 또는 중립(neutral)으로 단순화하여, 차이 이면의 문맥적 구조를 포착하지 못합니다. 이를 해결하기 위해 우리는 6개 클래스 갈등 분류 체계(taxonomy), 13개 축 차이 온톨로지(ontology), 그리고 주장 쌍당 4가지 구조화된 출력(갈등 유형, 차이 축, 주요 교란 변수(confounder), 조정 설명)을 갖춘 평가 프레임워크인 BioDivergence를 소개합니다. 우리는 5개 생물의학 도메인에 걸친 11,865개 주장 쌍으로 구성된 논문 분리(article-disjoint) 실버 벤치마크인 BioDivergence-Silver-v1.0을 비교를 위한 기존 중복 제거 변형(variant)과 함께 공개합니다. 결과는 두 변형 간에 현저한 순위 차이를 보여주며, 파인튜닝된 참조 모델은 논문 분리(article-disjoint) 설정에서 약 12포인트 하락한 반면, Mistral-7B-Instruct-v0.3은 842개 예제의 기본 테스트 세트에서 0.5523 정확도와 0.3894 문맥-F1(contextual-F1)을 달성했습니다. BioDivergence는 문맥적 차이와 직접 모순을 구별하고, 논문 수준의 암기와 진정한 과제 학습을 분리하는 더 충실한 방법을 제공합니다.
분산형 LLM 추론 환경에서 참조 없는 품질 증명(PoQ)을 위해, 쿼리-출력 쌍을 점수화하는 PoQ-Judge 프레임워크를 제안한다. TextCNN, MiniLM, DeBERTa를 포함한 다양한 아키텍처를 통해 학습된 이 모델들은 기존 참조 기반 평가 방식과 유사한 상관관계를 달성하면서도 캐스케이드 평가를 통해 비용을 72.7% 절감한다.
우리는 레이블이 없는 상황에서 분류 체계의 품질 평가를 위한 두 가지 참조 없는 지표를 소개합니다. 첫 번째 지표는 의미적 유사도와 분류 체계적 유사도 사이의 상관관계를 계산하여 견고성(robustness)을 평가하며, 기존 지표에서는 고려되지 않았던 오류 유형을 다룹니다. 두 번째 지표는 논리적 적절성을 평가하기 위해 자연어 추론(NLI)을 사용합니다. 두 지표 모두 5개의 분류 체계에서 테스트되었으며, 실제 분류 체계(ground truth)에 대한 F1 점수와 높은 상관관계를 보이는 것으로 나타났습니다. 또한 우리는 레이블 계층 구조와 함께 사용될 때, 제안하는 지표들이 계층적 분류(hierarchical classification)에서의 다운스트림 성능을 예측할 수 있음을 입증합니다.