Mapping Brains with Language Models: A Survey
원문 초록
Over the years, many researchers have seemingly made the same observation: Brain and language model activations exhibit some structural similarities, enabling linear partial mappings between features extracted from neural recordings and computational language models. In an attempt to evaluate how much evidence has been accumulated for this observation, we survey over 30 studies spanning 10 datasets and 8 metrics. How much evidence has been accumulated, and what, if anything, is missing before we can draw conclusions? Our analysis of the evaluation methods used in the literature reveals that some of the metrics are less conservative. We also find that the accumulated evidence, for now, remains ambiguous, but correlations with model size and quality provide grounds for cautious optimism.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
영아의 구문 학습 연구를 위한 대규모 언어 모델(LLM) 활용에 대한 회고적 분석
A retrospective analysis on the use of LLMs to study infant syntax learning
대규모 언어 모델(LLM)은 아동이 초기 발달 단계에서 구문(syntax)을 어떻게 습득하는지 조사하는 데 점점 더 많이 사용되고 있습니다. 이는 발달상 현실적인 말뭉치(developmentally realistic corpora)로 학습(training)되면서 인간 수준의 구문적 성능을 달성하는 모델을 개발하려는 커뮤니티 전반의 노력인 BabyLM 챌린지의 핵심 과학적 목표이기도 합니다. 본 논문에서는 이러한 연구 프로그램의 여러 연구에 대한 인식론적 평가를 제공함으로써, 영아의 구문 학습 연구에서 LLM을 활용하는 방식에 대해 고찰합니다. 데이터셋(dataset)이 어떻게 구축되는지, 어떤 모델이 구현되는지, 그리고 이들이 어떻게 학습되고 구문론적으로 평가(evaluation)되는지를 논의합니다. 그 결과 BabyLM 및 관련 연구의 방법론에서 중대한 가정이 존재함을 확인하였으며, 이는 이들 연구의 이론적 적용 범위를 제한합니다. 아울러 발달상 현실적인 말뭉치를 사용하는 것이 널리 사용되는 벤치마크(benchmark)에서 모델 성능에 미치는 영향이 제한적임을 관찰하였는데, 이는 LLM과 영아 구문 학습자 간에 중요한 계산적 차이가 존재함을 시사합니다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
Customising General Large Language Models for Specialised Emotion Recognition Tasks
Boosting Zero-Shot Human-Object Interaction Detection with Vision-Language Transfer
토론
이 논문과 연결된 포럼 글이 아직 없습니다.