언어 모델의 등급화된 엔티티 친숙도 판독: 폴란드어 적응, 교차 언어 견고성 및 거절 조향
Graded Entity-Familiarity Readouts in Language Models: Polish Adaptation, Cross-Language Robustness, and Refusal Steering
언어 모델이 답을 생성하기 전에 특정 엔티티에 대한 자신의 친숙도를 추정할 수 있는가? 우리는 Bielik, PLLuM, Gemma-4, Qwen3 계열의 12개 인스트럭션 튜닝 모델에서 최종 프롬프트 토큰의 활성화를 연구한다. 네 개 도메인과 Wikipedia pageview 10분위에 걸친 1,440개의 폴란드어 엔티티로 구성된 새 데이터셋과 인위적 대조군을 사용한다. 친숙도 프로브 점수는 모든 계열에서 실제 엔티티와 인위적 엔티티를 구분한다. 폴란드어 적응 Bielik 및 PLLuM 계열에서는 추가로 엔티티 인기도와도 상관한다(모델 평균 Spearman $ρ$ 0.28–0.57, Gemma-4와 Qwen3에서는 최대 0.11). 이 패턴은 이 모델 표본에서 매개변수 수보다 폴란드어 적응과 더 강하게 연관된다. 두 계열에 대한 쌍 실험에서, 변경되지 않은 엔티티명 주위의 폴란드어 질문 줄기를 영어로 바꾸면 프로브는 동일 언어 내 AUROC의 96–101%를 유지하며, 이 설정에서 프롬프트 언어에 대한 견고성을 보여준다. 기본적으로 거절을 수행하는 유일한 모델인 Gemma-4-12B에서, 단일 층에서 1차원 친숙도 방향을 추가하면 거절률이 양방향으로 단조롭게 변화한다(잘 알려진 엔티티에서 0.24–1.00, 알려지지 않은 엔티티에서 0.73–0.00). 마지막으로, 보정된 친숙도 프로브는 생성 전 기권 게이트 가운데 경쟁력 있는 수준이지만, 생성 후 탐지기가 평균적으로 행동 오류를 더 잘 예측한다. 이 결과는 등급화된 생성 전 엔티티 친숙도 판독, 그리고 이를 기권으로 전환하는 정책과 표상 친숙도 사이의 분리를 뒷받침한다.