The Hallucinations Leaderboard -- An Open Effort to Measure Hallucinations in Large Language Models
원문 초록
Large Language Models (LLMs) have transformed the Natural Language Processing (NLP) landscape with their remarkable ability to understand and generate human-like text. However, these models are prone to ``hallucinations'' -- outputs that do not align with factual reality or the input context. This paper introduces the Hallucinations Leaderboard, an open initiative to quantitatively measure and compare the tendency of each model to produce hallucinations. The leaderboard uses a comprehensive set of benchmarks focusing on different aspects of hallucinations, such as factuality and faithfulness, across various tasks, including question-answering, summarisation, and reading comprehension. Our analysis provides insights into the performance of different models, guiding researchers and practitioners in choosing the most reliable models for their applications.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론
PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
LLM 추론을 위한 긴 컨텍스트의 답변 정렬 메모리 임베딩 압축
Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference
대규모 언어 모델(LLM) 추론은 셀프 어텐션(self-attention)의 이차 스케일링과 KV 캐시의 선형 스케일링에 의해 제약되어, 컨텍스트 길이가 늘어날수록 지연 시간, 에너지 소비, GPU 메모리 요구가 증가한다. 기존 소프트 압축(soft-compression) 방법은 추론 시점에 쿼리 기반 메모리 선택이 없거나, 답변 대상 지도(answer-targeted supervision) 없이 학습하거나, 압축을 특정 디코더 아키텍처에 강하게 결합하는 한계가 있다. 본 연구는 Context-to-Answer-Aligned Memory Compression(CMC) 프레임워크를 제안한다. 이는 긴 입력 컨텍스트를 동결된(frozen) 디코더의 임베딩 공간에 정렬된 컴팩트한 Context Memory Embeddings(CMEs)로 압축하여 디코더 가중치를 수정하지 않고 추론 비용을 줄인다. CMC는 질문 기반 CME 선택과 지역 컨텍스트 윈도우(local context window)를 결합한 2단 KV 캐시를 도입하고, 동결된 LLM으로부터 답변 대상 지식 증류(distillation)로 압축기를 학습한다. 9가지 인코더-디코더 조합과 4개 QA 벤치마크에 걸친 실험에서 CMC는 기준선을 일관되게 능가하며, SQuAD에서 최대 7.3 EM 및 4.0 F1 포인트 향상을 달성하는 동시에, 생성 토큰 3,000개 기준 추론 시간과 에너지 소비를 최대 20% 줄이고 피크 예약 GPU 메모리를 최대 50% 줄였다. ablation 연구는 각 아키텍처 구성 요소와 학습 목표가 성능에 기여함을 확인했다.
사이렌의 노래: 근접한 배경 컨텍스트가 멀리 떨어진 증거를 가릴 때
The Sirens' Song: When Proximal Background Context Overshadows Distant Evidence
긴 컨텍스트(long-context) 대규모 언어 모델(LLM)은 방대한 컨텍스트에서 멀리 떨어진 증거를 검색하는 데 집중하지만, 기존 연구는 주로 거리 자체를 극복하는 데에만 초점을 맞추어 왔습니다. 본 연구에서는 멀리 떨어진 증거에 대한 불충분한 어텐션(attention)이 거리 자체보다는 태스크와 무관하게 넘쳐나는 근접 배경과의 누적된 경쟁에서 비롯되는 경우가 많다는 '근접성 함정(Proximity Trap)'을 규명합니다. 이러한 근접성 함정을 해결하기 위해, 인코딩된 상대적 위치 정보를 보존하면서도 컨텍스트 검색 분포를 재구성하여 태스크 관련 증거로 더 많은 어텐션 비중을 유도하는 t-분포 기반 방향성 매칭 메커니즘인 LYRA(Long-context heavY-tailed Relevance Alignment)를 제안합니다. LongBench-v2, RULER, LongBench에서의 광범위한 실험을 통해 다양한 컨텍스트 길이와 태스크 범주 전반에서 일관된 성능 향상을 입증합니다. 나아가 점증하는 근접 배경 간섭 하에서 원거리 증거 활용 능력을 평가하기 위한 다단계 세그레인드 벤치마크(benchmark)인 ProxBench를 소개합니다. 프로젝트 페이지: https://xiaoyuyoung.github.io/LYRA/
텍스트, 픽셀, 또는 둘 다? 멀티모달 문서 QA를 위한 입력 표현 평가
Text, Pixels, or Both? Evaluating Input Representations for Multimodal Document QA
모든 문서 QA 시스템은 그 자체로는 드물게 따로 연구되는 선택으로 시작한다. 즉, 모델에 페이지 이미지, 추출된 텍스트, 또는 둘 다를 입력할지 여부이다. 우리는 프롬프트, judge, 채점 파이프라인을 고정한 채 이 선택만 분리하여, 네 개의 상용 모델 엔드포인트, 두 코퍼스, 두 가지 컨텍스트 체제(골드 증거 페이지와 전체 문서)에 걸쳐 평가한다. 이미지 예산에 맞는 문서에서는 두 코퍼스 모두에서 모든 문서 길이에 걸쳐 페이지 이미지가 정확도에서 앞서지만, 이 이점은 커지는 지연과 비용 부담을 동반한다. 문서가 길어질수록 텍스트 지연은 대체로 평탄한 반면 이미지 지연은 꾸준히 증가한다. 텍스트와 이미지는 서로 다른 질문에서 실패하기도 하며, 보고된 셀 전체에서 항목의 19–25%에서 정확히 한 표현만 맞아, 어느 쪽도 다른 쪽을 포괄하지 않는다. 이러한 상보성을 활용하면, 질문 텍스트만 읽는 경량 TF-IDF 라우터가 문서 단위로 분리된 held-out 분할에서 항상 텍스트만 쓰는 방식 대비 2.6포인트를 얻고, 항상 비전만 쓰는 방식 대비 중앙값 지연을 30% 줄인다.
선형 컨텍스트를 넘어: 로컬 9B 언어 모델의 장편 소설 추론을 위한 그래프 안내 증거 탐색
Beyond Linear Context: Graph-Guided Evidence Navigation for Long-Novel Reasoning with a Local 9B Language Model
장문 맥락 모델은 소설을 사람이 인쇄물을 읽듯 읽는다. 서사 순서대로 토큰을 하나씩 처리하며, 전체 이력이 고정된 어텐션 예산을 두고 경쟁한다. 탐정은 그렇게 일하지 않는다. 무엇이 언제 일어났는지 정리하고, 누가 누구와 어떻게 연관되는지에 대한 지도를 유지하여, 1장의 단서가 책 끝에서 던진 질문과 만날 수 있게 한다. 우리는 고정(frozen) 지식 그래프가 소규모 로컬 모델에 그와 같은 자유를 줄 수 있는지 검증한다. 탐정 소설 30편과 객관식 문제 234개에 대해, 하나의 고정된 qwen3.5:9b 리더가 아홉 가지 조건에서 답한다. 다섯 가지 그래프 경로, 최근 윈도우 기준선, 전권 압축, 일반 벡터 검색, 문제만 제시하는 대조군이다. 가장 강한 그래프 경로는 53.85%(126/234)로, 최근 윈도우 46.15%, 압축 51.28%, 벡터 검색 51.71%, 문제만 40.17%를 각각 상회한다. 책 없이는 어떤 모델도 답할 수 없는 부분집합에서 그래프 경로는 42.86%에 이른다. 그래프-기준선 대비 15건 중 Holm 보정을 통과한 것은 없으므로, 결과는 설계에 대한 탐색적 증거로 제시한다. 두 가지 구조적 발견은 요약 수치보다 검증에 더 견딘다. 주석된 증거는 이러한 그래프의 위상학적 코어(topological core)에 집중되며(풀링 기준 2.35배 enrichment), 두 그래프 구축 파이프라인은 주석 커버리지(단서 단락의 16% 대 73%)에서 크게 달라, 풀링된 정확도만으로는 어떤 병목이 측정되는지 가려진다.
WILDTRACE: 장문 컨텍스트 추론에서 자연적 증거 흔적 벤치마킹
WildTrace: Benchmarking Natural Evidence Trails in Long-Context Reasoning
긴 문서에서 복잡한 질문에 답하려면, 원문 자체가 멀리 떨어진 구절들에 걸쳐 자연스럽게 분산시킨 증거를 통합해야 하는 경우가 많다. 사고 보고서에서는 재난을 공동으로 설명하는 운영 조건, 설계 결함, 누락된 안전 점검이 수십 개의 섹션에 걸쳐 분산되어 나타날 수 있으며, 소설에서는 등장인물의 진짜 동기가 그것이 연관성을 갖는 순간과는 거리가 먼 장면들을 통해서만 드러날 수 있다. 이러한 원문 내부 증거 통합은 실제 장문서 분석의 핵심이지만, 기존 벤치마크들은 대체로 이를 회피해왔다. 니들 프로브(needle probe), 삽입된 사실(planted facts), 역설계된 다중 홉 체인(multi-hop chain)은 분포, 배치, 또는 어조 면에서 호스트 텍스트와 다를 수 있는 증거를 내장하므로, 높은 성능이 진정한 원문 추론을 반영하는지 아니면 분포적 아티팩트를 반영하는지 불분명하다. 우리는 기술적 사고 보고서 및 잘 알려지지 않은 문학적 서사와 같은 214개의 자연 발생 장문 원문에 걸쳐 481개의 태스크로 구성된 벤치마크인 WILDTRACE를 소개한다. 이 벤치마크에서 모든 증거 흔적은 문서 자체의 인과적·시간적·서사적 논리에서 비롯된다. 펄(Pearl)의 인과 계층 구조와 기존의 다중 홉 추론 유형론을 바탕으로, 장문서에서 분석적 독해의 고유한 관계적 요구를 특징짓는 일곱 가지 원문 내부 증거 기하학(source-internal evidence geometry)을 정의한다. 원문 우선 구성 파이프라인은 질문을 작성하기 전에 문서 구조에서 후보 흔적을 채굴하며, 각 항목은 단서 필요성, 답변 근거성, 루브릭 충실도, 오염 저항성 및 답변 가능성을 다루는 다단계 검증(validation)을 거친다. 모델이 실제 고위험 분석 태스크에 점점 더 많이 활용됨에 따라, 정보 접근과 자연스럽게 분산된 증거에 대한 추론 사이의 이러한 격차가 장문 컨텍스트 연구의 다음 단계를 정의하는 핵심 과제로 부상하고 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.