Understanding Deep Learning Performance through an Examination of Test Set Difficulty: A Psychometric Case Study
원문 초록
Interpreting the performance of deep learning models beyond test set accuracy is challenging. Characteristics of individual data points are often not considered during evaluation, and each data point is treated equally. We examine the impact of a test set question's difficulty to determine if there is a relationship between difficulty and performance. We model difficulty using well-studied psychometric methods on human response patterns. Experiments on Natural Language Inference (NLI) and Sentiment Analysis (SA) show that the likelihood of answering a question correctly is impacted by the question's difficulty. As DNNs are trained with more data, easy examples are learned more quickly than hard examples.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis
LLM은 CBT 기반 감정 추론에서 어디에 취약한가?
Where do LLMs Fall Short in CBT-Guided Affective Reasoning?
인지행동치료(CBT, Cognitive Behavioral Therapy)는 인지적·행동적 요인 간의 상호작용을 분석하여 사용자의 정신 상태를 이해하는 구조화된 프레임워크를 제공한다. 그러나 기본 상태의 대규모 언어 모델(LLM)은 유창하고 공감적으로 응답하면서도, 사용자의 실제 필요와 무관하게 검증 및 반영(Validation & Reflection) 패턴으로 수렴하는 경향이 있다. 이들은 이론적 CBT 지식을 갖추고 있어(면허 시험 문제에서 최대 96% 정확도를 기록) 있지만, 이를 효과적으로 적용하는 데는 실패한다. 본 연구는 CBT 대화를 통제된 감정 추론으로 다루는 지식 유도 프레임워크를 통해 이 격차를 탐구한다. 구체적으로, 사용자 서술을 Beck의 인지 개념화(Cognitive Conceptualization) 구조로 분해하고, 자연어 추론을 통해 검증된 임상 SNOMED CT 개념에 기반하며, 검증 및 반영, 소크라테스식 질문(Socratic Questioning), 대안적 관점(Alternative Perspectives) 중에서 전략을 선택하는 다중 사고의 연쇄(MCoT, Multiple Chain-of-Thought) 전략을 적용한다. 이러한 유도가 실제로 행동 변화를 일으키는지 측정하기 위해, 개입이 모델을 기본 응답에서 얼마나 멀리 이동시키는지를 포착하는 행동 수준 지표인 프로토콜 레버리지 포스(F, Protocol Leverage Force)를 도입한다. 세 가지 오픈 가중치 LLM과 RealCBT 기반의 14개 사례 연구를 대상으로, 인간 전문가 평가, 유의성-각성(valence-arousal) 궤적, 언어적 동조화(linguistic entrainment)를 통해 평가한 결과, 단일 사고의 연쇄 프롬프팅으로 프로토콜 정의를 도입하는 것만으로는 LLM 행동을 변화시키지 못하는 반면, 이러한 정의에 대한 MCoT는 전략 선택을 더 잘 유도하는 것으로 나타났다. 그럼에도 그 효과는 1% 이내(약 1.2–1.3%)에 머물렀으며, 모든 모델은 검증 및 반영에 대한 편향을 유지하였다. 이러한 결과는 CBT 지식만으로는 효과적인 적용이 보장되지 않음을 보여주며, 감성 컴퓨팅 커뮤니티에 LLM의 취약 지점을 측정하는 도구를 제공한다.
IHUBERT: 페르시아어 자원을 위한 벡터 기반 시맨틱 중복 제거 및 도메인 균형 사전학습
IHUBERT: Vector-Based Semantic Deduplication and Domain-Balanced Pretraining for Persian Resources
페르시아어 사전학습 언어 모델(PLM)은 대규모 고품질 사전학습 말뭉치의 부족과 표준 분류(classification) 및 개체명 인식(NER) 작업을 넘어선 평가의 부족으로 인해 여전히 제한적입니다. 본 논문에서는 Sepahr-Danesh 컬렉션의 45GB 큐레이션된 서브셋(약 70~80억 토큰)에서 RoBERTa-base 인코더(1.25억 파라미터)를 사용하여 처음부터 학습된 단일 언어 페르시아어 PLM인 IHUBERT를 제시합니다. 말뭉치 품질을 개선하고 중복성을 줄이기 위해, 정규화(normalization), 정확 및 근접 중복 제거, 익명화, 그리고 도메인 및 레지스터 전반의 분포 균형 제어를 위한 벡터 데이터베이스 기반 시맨틱 중복 제거를 포함하는 다단계 전처리 파이프라인을 사용합니다. 또한, 페르시아어 형태론과 표기법 변이를 더 잘 포착하기 위해 전체 사전학습 말뭉치에 대해 어휘 크기 139k의 BPE 토크나이저를 학습했습니다. IHUBERT는 개체명 인식(NER), 감성 분석(sentiment analysis), 주제 분류, 자연어 추론(NLI), 추출형 질의응답, 관계 추출을 포함하는 7개의 페르시아어 자연어 이해(NLU) 벤치마크에서 평가되었으며, 작업별 표준 지표(엔티티 수준 F1, Macro-F1, EM/F1)를 사용했습니다. IHUBERT는 추출형 질의응답에서 가장 강력한 성과를 보여 PQuAD (F1 88.3542)와 ParsiNLU-RC (F1 49.0987) 모두에서 1위를 차지했으며, FarsTail (Macro-F1 0.8350)에서도 최고의 결과를 달성했습니다. 개체명 인식(NER)과 주제 분류에서는 경쟁력 있는 성과를 보였으나(예: ParsTwiNER에서 F1 0.8308; DigiMag에서 Macro-F1 0.7953), 관계 추출은 여전히 주요한 개선이 필요한 부분으로 남아 있습니다(PERLEX에서 Macro-F1 0.6684). IHUBERT 사전학습 말뭉치에 대한 통제된 토크나이저 소거(ablation) 실험 결과, 동일한 어휘 크기에서 BPE가 WordPiece보다 서브워드 파편화가 약간 더 낮은 것으로 나타나 우리의 토큰화(tokenization) 설계를 뒷받침합니다. 전반적으로 IHUBERT는 의미적으로 큐레이션된 대규모 사전학습과 분류 및 이해 지향적 작업에 걸친 광범위한 평가를 통해 페르시아어 언어 모델링을 고도화했습니다.
뉴스가 시장을 예측할 수 있는가? 제로샷 금융 자연어 처리(NLP)의 한계와 설명 가능한 AI의 역할
Can News Predict the Market? Limits of Zero-Shot Financial NLP and the Role of Explainable AI
금융 뉴스는 단기 주가 변동을 신뢰할 수 있게 예측할 수 있는가? 대규모 언어 모델(LLM)의 발전에도 불구하고, 이 질문은 여전히 해결되지 않았다. 우리는 제로샷 자연어 처리(NLP) 프레임워크를 사용하여 이 문제를 다시 살펴보며, 모델이 도메인 특화 학습 없이 금융 뉴스에서 실행 가능한 신호를 추출할 수 있는지 조사한다. 우리는 제로샷 자연어 추론(NLI)을 시간적 집계와 결합하는 구조화된 파이프라인을 설계하며, 기사 간 정보를 통합할 때 최신성과 이벤트 의존적 영향 범위를 명시적으로 모델링한다. 고위험 설정에서 투명성에 대한 요구를 해결하기 위해, 우리는 예측을 토큰 수준, 기사 수준 및 집계된 증거와 연결하고 그라운딩된 자연어 근거를 생성하는 다층 설명 가능성 프레임워크를 도입한다. 여러 모델과 예측 범위에 걸쳐, 우리는 제로샷 접근 방식이 간단한 기준선(baseline)을 일관되게 능가하지 못한다는 것을 발견했으며, 특히 부정적 변동에서 성능이 낮아 뉴스 감정을 단기 가격 역학으로 매핑하는 데 더 깊은 구조적 한계가 있음을 시사한다. 그러나 설명 가능성 신호는 신뢰할 수 있는 예측과 신뢰할 수 없는 예측을 신뢰할 수 있게 구별하며, 정확도가 제한적일 때도 실용적인 가치를 제공한다. 이러한 발견은 제로샷 금융 자연어 처리(NLP)의 한계를 강조하며, 투명성과 불확실성 인식을 우선시하는 의사결정 지원 시스템으로의 전환을 동기부여한다. 코드: https://github.com/alimert05/zero-shot-stock-xai
DeFTX: Denoised Sparse Fine-Tuning for Zero-Shot Cross-Lingual Transfer
DIBERT: Dependency Injected Bidirectional Encoder Representations from Transformers
토론
이 논문과 연결된 포럼 글이 아직 없습니다.