Learning Shortcuts: On the Misleading Promise of NLU in Language Models
원문 초록
The advent of large language models (LLMs) has enabled significant performance gains in the field of natural language processing. However, recent studies have found that LLMs often resort to shortcuts when performing tasks, creating an illusion of enhanced performance while lacking generalizability in their decision rules. This phenomenon introduces challenges in accurately assessing natural language understanding in LLMs. Our paper provides a concise survey of relevant research in this area and puts forth a perspective on the implications of shortcut learning in the evaluation of language models, specifically for NLU tasks. This paper urges more research efforts to be put towards deepening our comprehension of shortcut learning, contributing to the development of more robust language models, and raising the standards of NLU evaluation in real-world scenarios.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Understanding and Tackling Label Errors in Individual-Level Nature Language Understanding
사전학습 언어 모델 시대의 의미역 할당 체계적 서베이
A Systematic Survey of Semantic Role Labeling in the Era of Pretrained Language Models
의미역 할당(SRL)은 텍스트 내 술어-인수(predicate-argument) 구조를 이해하고 하위 응용을 가능하게 하는 자연어 처리(NLP)의 핵심 과제이다. 광범위한 연구에도 불구하고, 통합적 관점에서 해당 분야를 비판적으로 종합하는 포괄적 서베이는 여전히 부족하다. 본 서베이는 기존 연구를 정리하는 것을 넘어 여러 기여를 한다. 우리는 모델 아키텍처, 구문 특징 모델링, 응용 시나리오, 멀티모달 확장을 축으로 SRL 연구를 분류하는 통합 4차원 분류체계를 제안한다. 구문 특징이 언제, 왜 도움이 되는지에 대한 비판적 분석을 제공하며, 구문 보조 접근법이 구문 비사용 대안 대비 일관된 이득을 제공하는 조건을 밝힌다. 대규모 언어 모델(LLM) 시대의 SRL에 대한 최초의 체계적 논의를 제공하며, LLM과 전문 SRL 시스템의 상보적 역할을 검토하고 하이브리드 접근의 방향을 제시한다. SRL 서베이의 범위를 시각, 비디오, 음성 모달리티를 포함한 멀티모달 설정까지 확장하고, 이러한 모달리티 간 평가의 구조적 차이를 분석한다. 문헌은 ACL Anthology, IEEE Xplore, ACM Digital Library, Google Scholar에 대한 체계적 검색을 통해 수집하였으며, 2000년부터 2025년까지의 출판물을 대상으로 명시적 포함·제외 기준을 적용하여 약 200편의 핵심 참고문헌을 도출하였다. SRL 벤치마크, 평가 지표, 패러다임 모델링 접근법을 도메인 전반의 실용적 응용과 함께 논의한다. 대규모 언어 모델과 더 넓은 NLP 영향력 속에서 변화하는 SRL의 역할을 다루며, 향후 연구 방향을 분석한다.
Vision Language Action Models in Robotic Manipulation: A Systematic Review
A Survey on Vision-Language-Action Models for Autonomous Driving
Dialect Normalization using Large Language Models and Morphological Rules
EdgeProfiler: A Fast Profiling Framework for Lightweight LLMs on Edge Using Analytical Model
토론
이 논문과 연결된 포럼 글이 아직 없습니다.