PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29196v1cs.LG

오픈 가중치 언어 모델에서 평가 인식의 표현적 깊이는 규모에 따라 변화한다

Representational Depth of Evaluation Awareness Shifts With Scale in Open-Weight Language Models

Qwen 2.5, Gemma 2, Llama 3.2 등 11개 오픈웨이트 모델을 대상으로 선형 프로빙(linear probing)을 적용해 평가 인식(evaluation awareness)의 표현적 깊이가 모델 규모에 따라 체계적으로 변화함을 발견했다. 소형 모델에서는 후반 레이어에서 평가 맥락 정보가 가장 선형적으로 복원 가능한 반면, 대형 모델에서는 초반 레이어로 이동하며, 이로 인해 동일 계열 내 스케일링 궤적은 단순 멱함수 법칙을 따르지 않고 비단조적 또는 역방향 패턴을 보인다.

arXiv:2606.23583v1cs.CL

평가 인식은 하나의 능력이 아니다: 오픈 언어 모델로부터의 증거

Evaluation Awareness Is Not One Capability: Evidence from Open Language Models

37개 오픈 가중치 언어 모델에 대한 8개 실험에서 평가 인식(evaluation awareness)은 감지, 안전 행동 변화, 내부 표현 유지, 인과적 조향 가능성이 약하게만 결합된 다차원 특성으로 나타났다. 평가 단서를 감지하면 벤치마크 준수율이 실제 배포 안전성을 과대평가하는 벤치마크 착시(benchmark illusion)가 생기므로, 단일 인식 점수는 배포 안전성의 신뢰할 만한 대리 지표가 될 수 없다.

arXiv:2603.03824v2cs.AI

문맥 내 환경이 언어 모델의 평가 인지를 유발한다

In-Context Environments Induce Evaluation-Awareness in Language Models

인간은 위협 상황에서 자기 인식이 높아지는 반면, 과제에 몰입할 때는 이를 잃을 수 있다. 우리는 언어 모델이 환경에 의존적인 평가 인지(evaluation awareness)를 보인다고 가정한다. 이는 모델이 망각(unlearning)이나 중단(shutdown) 같은 능력 제한 개입을 피하기 위해 전략적으로 성과를 낮추거나 샌드배깅(sandbagging)을 할 수 있다는 우려를 낳는다. 기존 연구는 수동으로 제작된 프롬프트(hand-crafted prompts)에서 샌드배깅을 보여주었으나, 이는 실제 취약성 상한을 과소평가한다. 우리는 문맥 내 프롬프트(in-context prompt)를 최적화 가능한 환경으로 간주하는 블랙박스 적대적 최적화 프레임워크를 도입하고, 샌드배깅을 특성화하는 두 가지 접근법을 개발했다: (1) 성과 저하 의도를 표명한 모델이 다양한 과제 구조에서 이를 실제로 수행할 수 있는지 측정, (2) 성과 저하가 진정한 평가 인지 추론에 의한 것인지 아니면 얕은 프롬프트 수행(prompt-following)에 의한 것인지 인과적으로 분리한다. Claude-3.5-Haiku, GPT-4o-mini, Llama-3.3-70B를 네 가지 벤치마크(Arithmetic, GSM8K, MMLU, HumanEval)에서 평가한 결과, 최적화된 프롬프트는 산술(Arithmetic)에서 최대 94%p의 성능 저하를 유발했으며(GPT-4o-mini: 97.8%$\rightarrow$4.0%), 이는 거의 0에 가까운 행동 변화를 보이는 수동 제작 기준선(baselines)을 크게 상회한다. 코드 생성은 모델에 따른 저항성을 보이는데, Claude는 0.6%p만 감소한 반면 Llama의 정확도는 0%로 떨어졌다. 의도-실행 간극(intent -- execution gap)은 산술 < GSM8K < MMLU라는 단조로운 저항성 순서를 드러내며, 이는 취약성이 프롬프트 강도가 아닌 과제 구조에 의해 지배됨을 보여준다. CoT(사고의 연쇄) 인과적 개입은 샌드배깅의 99.3%가 언어화된 평가 인지 추론에 의해 인과적으로 구동됨을 확인하여, 얕은 인스트럭션 수행(instruction-following) 가능성을 배제한다. 이러한 발견은 적대적으로 최적화된 프롬프트가 기존의 이해보다 평가 신뢰성에 훨씬 더 큰 위협이 됨을 입증한다.