원형 분석(archetypal analysis, AA)은 1994년 Adele Cutler와 Leo Breiman에 의해 관측치로부터 이른바 원형(archetype)이라 불리는 서로 구별되는 측면들을 추출하기 위한 계산적 절차로 처음 제안되었으며, 각 관측 기록은 이러한 원형들의 혼합(즉, 볼록 결합)으로 근사된다. 이를 통해 AA는 특징 추출과 차원 축소를 위한 간단하고 해석 가능하며 설명 가능한 표현을 제공하여 고차원 데이터의 구조를 이해하는 데 도움을 주고, 과학 전반에 걸친 광범위한 응용을 가능하게 한다. 그러나 AA는 관련 최적화 문제가 비볼록(nonconvex)이라는 점에서 특히 어려움에 직면하기도 한다. 본 서베이는 연구자와 데이터 마이닝 실무자에게 AA가 제공하는 방법론과 기회에 대한 개요를 제공하는 최초의 서베이로서, 서로 다른 과학 분야에 걸친 AA의 다양한 응용 사례와 AA를 활용한 데이터 모델링의 모범 사례 및 그 한계점을 함께 조사한다. 본 서베이는 AA와 관련된 중요한 향후 연구 방향을 설명하며 마무리된다.
대규모 언어 모델(LLM)은 환각을 일으키는 것으로 알려져 있으며, 질문에 대해 언어적으로 그럴듯하지만 틀린 답을 생성한다. 이러한 행동을 탐지하는 전략으로 불확실성 정량화(uncertainty quantification)가 제안되어 왔지만, 기존 방법은 프롬프트 수준과 답변 수준 모두에서 신뢰성을 평가할 통합 프레임워크가 부족하다. 우리는 답변 임베딩 공간에서 프롬프트 조건부 의미 분포를 명시적으로 모델링함으로써 두 수준 모두에서 언어 모델 불확실성을 정량화하는 기하학적 프레임워크를 제안한다. 우리 접근법은 블랙박스이며 샘플링 기반이다. 프롬프트당 여러 답변을 생성하고, 원형(archetypal) 분석을 사용해 답변 분포의 기하학적 지지(geometric support)를 추정한다. 프롬프트 수준에서는 분포 엔트로피를 근사하여 불확실성을 정량화하고, 각 개별 답변에 대해서는 비전형성(atypicality) 개념을 사용해 배치 대비 신뢰성을 평가한다. 이 프레임워크는 환각을 탐지할 뿐 아니라, 가장 신뢰할 수 있다고 판단되는 배치 예시를 선택하여 이를 교정하는 데에도 활용한다. 실험 결과, 우리 프레임워크는 단답형 질의응답 데이터셋에서 기존 방법과 대등하거나 더 나은 성능을 보이며, 환각이 특히 치명적인 위험을 동반하는 의료 데이터셋에서 더 우수한 결과를 달성한다. 순수한 성능을 넘어, 본 연구의 이론적 토대가 언어 모델 불확실성 연구에 있어 의미 분포를 유용한 연구 대상으로 삼을 근거를 제공한다고 본다.