SuperGPQA: Scaling LLM Evaluation across 285 Graduate Disciplines
원문 초록
Large language models (LLMs) have demonstrated remarkable proficiency in mainstream academic disciplines such as mathematics, physics, and computer science. However, human knowledge encompasses over 200 specialized disciplines, far exceeding the scope of existing benchmarks. The capabilities of LLMs in many of these specialized fields-particularly in light industry, agriculture, and service-oriented disciplines-remain inadequately evaluated. To address this gap, we present SuperGPQA, a comprehensive benchmark that evaluates graduate-level knowledge and reasoning capabilities across 285 disciplines. Our benchmark employs a novel Human-LLM collaborative filtering mechanism to eliminate trivial or ambiguous questions through iterative refinement based on both LLM responses and expert feedback. Our experimental results reveal significant room for improvement in the performance of current state-of-the-art LLMs across diverse knowledge domains (e.g., the reasoning-focused model DeepSeek-R1 achieved the highest accuracy of 61.82% on SuperGPQA), highlighting the considerable gap between current model capabilities and artificial general intelligence. Additionally, we present comprehensive insights from our management of a large-scale annotation process, involving over 80 expert annotators and an interactive Human-LLM collaborative system, offering valuable methodological guidance for future research initiatives of comparable scope.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM 기반 추천 모델에서 고차 상호작용 인식 향상
Enhancing High-order Interaction Awareness in LLM-based Recommender Model
대규모 언어 모델(LLM)은 추천 태스크를 텍스트 생성 태스크로 변환함으로써 추천 분야에서 뛰어난 추론 능력을 입증해 왔습니다. 그러나 기존 접근 방식들은 사용자-아이템 간의 고차 상호작용을 무시하거나 비효율적으로 모델링합니다. 이를 위해 본 논문에서는 향상된 LLM 기반 추천기인 ELMRec을 제시합니다. 본 연구는 그래프 사전학습(pre-training) 없이도 추천을 위한 그래프 기반 상호작용에 대한 LLM의 해석 능력을 대폭 개선하기 위해 온단어 임베딩(whole-word embedding)을 강화합니다. 이러한 발견은 온단어 임베딩을 통해 풍부한 지식 그래프를 LLM 기반 추천 모델에 통합하려는 연구에 영감을 줄 수 있습니다. 또한 LLM이 최근의 상호작용보다 사용자의 초기 상호작용에 기반하여 아이템을 추천하는 경향이 있음을 발견하고, 이에 대한 재순위화(reranking) 솔루션을 제시합니다. 제안된 ELMRec은 직접 추천 및 순차적 추천 모두에서 최신(SOTA) 방법들보다 우수한 성능을 보입니다.
평점 데이터를 위한 신뢰 가능한 추천 시스템을 향하여
Towards Reliable Recommender Systems for Rating Data
추천 시스템은 디지털 환경에서 사용자를 선호에 맞는 콘텐츠와 연결하는 데 널리 사용된다. 그러나 가짜 계정, 전략적 조작(strategic manipulation), 기타 기만적인 온라인 행동에 대한 우려가 커지면서 이러한 시스템의 신뢰성에 대한 압력이 점점 커지고 있다. 추천 시스템의 일반적인 통계적 접근법은 이른바 행렬 완성(matrix completion)으로, 관측된 평점의 패턴을 바탕으로 아직 소비하지 않은 항목에 대해 사용자가 어떻게 평가할지를 예측한다. 행렬 완성 방법을 현실적으로 적용하려면 간과된 여러 과제를 함께 다루어야 한다: (i) 이산 척도의 평점(예: 1–5별); (ii) 가짜 프로필을 통해 의도적으로 시스템을 자신에게 유리하게 조작하는 악의적 사용자의 존재; (iii) 사용자가 좋아할 것으로 기대하는 항목을 더 소비할 가능성이 높기 때문에 무작위가 아닌 방식으로 누락되는 평점; (iv) 투명성, 재현성, 안정성의 확보. 우리는 희소 평점 데이터의 핵심 특성을 포착하면서 조작 상황에서도 신뢰성을 유지하도록 설계된 새로운 방법 Robust Discrete Matrix Completion(RDMC)를 제안하여 이러한 과제들을 공동으로 해결한다. 우리는 두 가지 사례 연구와 정교하게 설계된 시뮬레이션 실험을 통해 RDMC를 평가한다. 이에 따라 본 연구는 현실적인 시나리오에서 추천 시스템을 평가하는 방법에 대한 향후 연구를 위한 통계적으로 타당한 청사진을 제공한다.
NLGCL: Naturally Existing Neighbor Layers Graph Contrastive Learning for Recommendation
From ID-based to ID-free: Rethinking ID Effectiveness in Multimodal Collaborative Filtering Recommendation
RAG-VisualRec: An Open Resource for Vision- and Text-Enhanced Retrieval-Augmented Generation in Recommendation
LLM2Rec: Large Language Models Are Powerful Embedding Models for Sequential Recommendation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.