Understanding in Artificial Intelligence
원문 초록
Current Artificial Intelligence (AI) methods, most based on deep learning, have facilitated progress in several fields, including computer vision and natural language understanding. The progress of these AI methods is measured using benchmarks designed to solve challenging tasks, such as visual question answering. A question remains of how much understanding is leveraged by these methods and how appropriate are the current benchmarks to measure understanding capabilities. To answer these questions, we have analysed existing benchmarks and their understanding capabilities, defined by a set of understanding capabilities, and current research streams. We show how progress has been made in benchmark development to measure understanding capabilities of AI methods and we review as well how current methods develop understanding capabilities.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LININ: Logic Integrated Neural Inference Network for Explanatory Visual Question Answering
Few-Shot Multimodal Explanation for Visual Question Answering
OVQA: A Clinically Generated Visual Question Answering Dataset
Focal Visual-Text Attention for Memex Question Answering
트리비아가 결코 사소하지 않을 때: 다국어 LLM의 일상 지식 실패
When Trivia Is Not Trivial: Everyday Knowledge Failures in Multilingual LLMs
퀴즈 룸, 트리비아 나이트, 퀴즈 쇼는 정통 사실부터 일상 문화에 이르기까지 폭넓은 주제에 걸쳐 인간의 지식을 시험한다. 본 논문에서는 대규모 언어 모델(LLM)이 이러한 환경에서 경쟁력 있는 성능을 보일 수 있는지 살펴보고자, 퀴즈 형식의 질문을 활용하여 일반적인 주제와 틈새 주제 모두에서 모델을 테스트한다. 우리는 288개 주제에 걸쳐 일상적이고 문화적으로 그라운딩된 롱테일 지식을 평가하도록 설계된 다국어 벤치마크인 TriviaRoomQA를 소개한다. 이 벤치마크는 6개 유럽 언어로 된 3,300개의 병렬 객관식 질문과, 보다 세밀한 사례 연구를 위한 5,340개의 프랑스어 전용 추가 질문을 포함한다. 우리는 7B에서 70B 매개변수에 이르는 유럽, 아시아, 북미 제공업체의 30개 오픈 가중치 LLM을 평가한다. 그 결과, 모델들은 역사, 지리, 수학과 같은 지식 집약적 주제에서는 강세를 보이지만, 유명인, 음악, 영화, 뉴스와 같은 일상 대중문화 주제에서는 상당히 취약하다는 점을 발견했다. 나아가 동일한 근본 질문에 대해서도 언어에 따라 모델 성능이 달라지며, 이는 사실적 지식에 대한 접근이 항상 언어에 독립적이지는 않음을 시사한다. 요약하자면, 우리의 데이터셋과 실험은 기존의 학술 기반 포화 벤치마크에서는 포착되지 않는 중요한 지식 격차를 보여준다.
SpeakerMem-R1: 다자간 대화를 위한 화자 중심 이중 트랙 메모리
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.