arXiv:2312.03721

Exploring the Robustness of Model-Graded Evaluations and Automated Interpretability

Simon Lermen, Ondřej Kvapil

제출 2023-11-26

원문 초록

There has been increasing interest in evaluations of language models for a variety of risks and characteristics. Evaluations relying on natural language understanding for grading can often be performed at scale by using other language models. We test the robustness of these model-graded evaluations to injections on different datasets including a new Deception Eval. These injections resemble direct communication between the testee and the evaluator to change their grading. We extrapolate that future, more intelligent models might manipulate or cooperate with their evaluation model. We find significant susceptibility to these injections in state-of-the-art commercial models on all examined evaluations. Furthermore, similar injections can be used on automated interpretability frameworks to produce misleading model-written explanations. The results inspire future work and should caution against unqualified trust in evaluations and automated interpretability.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2502.08660v4cs.CL공통 태그 Natural Language Understanding공식 코드 · Papers with Code

사전학습 언어 모델 시대의 의미역 할당 체계적 서베이

A Systematic Survey of Semantic Role Labeling in the Era of Pretrained Language Models

의미역 할당(SRL)은 텍스트 내 술어-인수(predicate-argument) 구조를 이해하고 하위 응용을 가능하게 하는 자연어 처리(NLP)의 핵심 과제이다. 광범위한 연구에도 불구하고, 통합적 관점에서 해당 분야를 비판적으로 종합하는 포괄적 서베이는 여전히 부족하다. 본 서베이는 기존 연구를 정리하는 것을 넘어 여러 기여를 한다. 우리는 모델 아키텍처, 구문 특징 모델링, 응용 시나리오, 멀티모달 확장을 축으로 SRL 연구를 분류하는 통합 4차원 분류체계를 제안한다. 구문 특징이 언제, 왜 도움이 되는지에 대한 비판적 분석을 제공하며, 구문 보조 접근법이 구문 비사용 대안 대비 일관된 이득을 제공하는 조건을 밝힌다. 대규모 언어 모델(LLM) 시대의 SRL에 대한 최초의 체계적 논의를 제공하며, LLM과 전문 SRL 시스템의 상보적 역할을 검토하고 하이브리드 접근의 방향을 제시한다. SRL 서베이의 범위를 시각, 비디오, 음성 모달리티를 포함한 멀티모달 설정까지 확장하고, 이러한 모달리티 간 평가의 구조적 차이를 분석한다. 문헌은 ACL Anthology, IEEE Xplore, ACM Digital Library, Google Scholar에 대한 체계적 검색을 통해 수집하였으며, 2000년부터 2025년까지의 출판물을 대상으로 명시적 포함·제외 기준을 적용하여 약 200편의 핵심 참고문헌을 도출하였다. SRL 벤치마크, 평가 지표, 패러다임 모델링 접근법을 도메인 전반의 실용적 응용과 함께 논의한다. 대규모 언어 모델과 더 넓은 NLP 영향력 속에서 변화하는 SRL의 역할을 다루며, 향후 연구 방향을 분석한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.