Customising General Large Language Models for Specialised Emotion Recognition Tasks
원문 초록
The advent of large language models (LLMs) has gained tremendous attention over the past year. Previous studies have shown the astonishing performance of LLMs not only in other tasks but also in emotion recognition in terms of accuracy, universality, explanation, robustness, few/zero-shot learning, and others. Leveraging the capability of LLMs inevitably becomes an essential solution for emotion recognition. To this end, we further comprehensively investigate how LLMs perform in linguistic emotion recognition if we concentrate on this specific task. Specifically, we exemplify a publicly available and widely used LLM -- Chat General Language Model, and customise it for our target by using two different modal adaptation techniques, i.e., deep prompt tuning and low-rank adaptation. The experimental results obtained on six widely used datasets present that the adapted LLM can easily outperform other state-of-the-art but specialised deep models. This indicates the strong transferability and feasibility of LLMs in the field of emotion recognition.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Customising General Large Language Models for Specialised Emotion Recognition Tasks
지식 그래프 기반 멀티태스크 사전학습을 통한 사전학습 언어 모델의 법률 추론 능력 향상
Enhancing Legal Reasoning in Pre-trained Language Models via Knowledge Graph-Guided Multi-Task Pre-training
법률 언어 이해는 반정형 규제 문서에 대한 추론을 요구하지만, 표준 사전학습(pre-training) 목표는 이러한 구조적 역량을 명시적으로 겨냥하지 않습니다. 현재의 법률 언어 모델은 마스크 언어 모델링에만 의존하기 때문에, 법령 텍스트를 단순한 평면 토큰(token) 시퀀스로 취급하고 그 이면에 있는 계층적 제약 조건을 무시합니다. 이러한 격차를 해소하기 위해 본 연구에서는 독일 도로교통법(StVO)을 대상으로 한 멀티태스크 사전학습 방식을 제시합니다. 우리의 접근법은 다음 문장 예측(NSP), 지식 그래프(KG) 기반 클러스터링(CLU), 그리고 지식 그래프 인식 단락 분류(CLS)라는 세 가지 상호보완적인 목표를 결합합니다. 이 접근법은 구조화된 법률 지식을 모델 가중치에 직접 명시적으로 인코딩합니다. 이러한 인코딩을 통해 추론(inference) 시점에 제로샷(zero-shot) 법률 추론이 가능해지며 이산적인 그래프 순회의 필요성을 없앱니다. 우리는 9개의 트랜스포머(Transformer) 기반 인코더와 324회의 실험적 실행을 통해 제안 방식을 평가합니다. 합성 StVO 질의응답에서 본 연구의 모델은 베이스라인 대비 10.3%에서 155.0% 사이의 일관된 상대적 성능 향상을 보여줍니다. 나아가 기존에 확립된 LexGLUE 베이스라인(Chalkidis et al., 2022)과 비교하여 7개 법률 벤치마크 중 4개에서 이전 결과를 개선합니다. 또한 오스트리아 운전 규정에 대해서도 3.4%에서 15.8% 사이의 일관된 제로샷 전이 이득을 달성합니다. 이러한 실험 결과는 우리의 학습(training) 방식이 초기 학습 법률 도메인을 넘어 성공적으로 일반화됨을 나타냅니다.
EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링
Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS
생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.
Uncheatable Eval: 압축 기반의 동적 언어 모델 평가
Uncheatable Eval: Dynamic Compression-Based Evaluation of Language Models
최신 대규모 언어 모델(LLM)은 방대한 데이터셋으로 사전학습되기 때문에, 벤치마크 데이터가 학습 세트에 포함되는 것을 막기 어렵고 이로 인해 평가 결과의 신뢰성이 훼손됩니다. 특히 베이스 모델은 인스트럭션 수행 능력이 제한적이어서 태스크 기반 평가가 복잡해지므로, 신뢰할 수 있는 평가가 더욱 어렵습니다. 본 논문에서는 새로 공개된 텍스트를 정기적으로 수집하여 베이스 언어 모델을 평가하고 데이터 오염(data contamination) 위험을 줄이는 동적 벤치마크인 Uncheatable Eval을 소개합니다. 모델의 예측 능력과 데이터를 무손실로 압축하는 능력 사이의 관계에 착안하여, 모델이 새로운 텍스트를 얼마나 잘 예측하는지를 압축률(compression rate)로 평가합니다. 14개 텍스트 카테고리에 걸쳐 80개 모델을 평가하고, 컨텍스트 길이에 따라 압축 성능이 어떻게 변하는지 분석하며, 압축률과 제로샷 MMLU 정확도 간의 상관관계를 살펴봅니다. 그 결과 세 가지 주요 발견을 얻었습니다. (1) 압축 성능은 모델 크기에 따라 일관된 스케일링 경향을 따릅니다. (2) 어텐션 기반 모델, 하이브리드 모델, 순환 모델은 더 많은 컨텍스트가 주어질 때 압축 성능이 변화하는 양상이 서로 다릅니다. (3) 압축률이 낮을수록 제로샷 MMLU 정확도가 높은 경향이 강하게 나타납니다. 코드는 https://github.com/Jellyfish042/uncheatable_eval 에서 확인할 수 있습니다.
Augustinian BabyLM: 시범적 정의가 소형 언어 모델에 가르칠 수 있는 것과 없는 것
Augustinian BabyLM: What Ostensive Definition Can and Cannot Teach a Small Language Model
언어 모델은 보통 무작위 단어 임베딩으로 학습을 시작한다. 'banana'가 무엇을 의미하는지는 반드시 학습 코퍼스에서 배워야 한다. 나는 성 아우구스티누스의 단어 학습 관—지시(ostension)를 통한 의미 부여—를 1천만 단어로 학습한 소형 마스크드 언어 모델(DeBERTa)에 구현한다. 학습 전에 시각적으로 그라운딩된 토큰은 자신이 라벨하는 이미지 영역에서 유도한 임베딩을 받고, 다른 토큰은 무작위로 시작한다. 시각적 초기화는 학습 종료 시점까지 지속되는 측정 가능한 흔적을 남긴다. 한편 추상적 문법 지식을 탐색하는 대부분의 BabyLM 벤치마크에서는 그 효과가 드러나지 않으며, 시각적 초기화는 그곳에서 성능에 영향을 주지 않는다. 유일한 제로샷 예외는 객체-속성 지식(COMPS)으로, 모든 구성에서 시딩(seeding)이 도움이 된다. 이 결과를 이어가기 위해, 색·재질·크기·형태 지식을 시험하고 항목별 학습 빈도와 시드 여부를 포함한 Visual-Property Swap 벤치마크의 코퍼스 맞춤 버전을 구축한다. 여기서 시각 시드(vision-seeded) 모델은 지속적이고 시드가 재현되는 이점을 보인다. 기능어와 추상 어휘도 강한 시각 시드를 받아 학습 내내 유지하며, 학습 목적 함수가 이를 활용한다. 모든 시드에서 이 단어들에 대한 홀드아웃 마스크 예측 손실이 감소한다. 그러나 내가 실행한 어떤 벤치마크도 이를 포착하지 못한다. 이를 잡아낼 평가가 무엇인지는 여전히 열린 질문이다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
토론
이 논문과 연결된 포럼 글이 아직 없습니다.