PRIME: LLM에서 비호환 지시 하의 프롬프트 해석 평가
PRIME: Evaluating Prompt Resolution Under Incompatible Instructions in LLMs
대규모 언어 모델(LLM)은 종종 상충하는 프롬프트를 접하지만, 현재의 지시 따르기 벤치마크는 해당 메타 지시를 고립된 상태로 평가하여 모델이 상충하는 지시를 처리하는 방식에 대한 통찰을 제한한다. 본 연구는 상충하는 지시가 주어졌을 때 LLM의 행동을 분석하기 위해 PRIME(Prompt Resolution under Incompatible Meta-Instructions Evaluation, 비호환 메타 지시 하 프롬프트 해석 평가) 프레임워크를 제안한다. PRIME은 응답 길이, 출력 형식, 추론에 걸쳐 의도적으로 보정된 충돌을 생성하고, 결정론적 행동 분류 체계로 모델 응답을 분류한다. 균형(balanced) 설정과 자연 분포(naturally distributed)라는 두 가지 구별되는 설정에서 지시 튜닝(instruction tuning)된 오픈 가중치 LLM 5개를 평가한다. 분석 결과, 충돌 유형이 모델 규모보다 행동에 미치는 영향이 더 크며, 충돌 범주별로 다양한 실패 모드가 나타난다. 이러한 발견은 충돌 인식(conflict awareness) 개발의 가치를 강조하며, LLM의 지시 따르기 능력은 고립된 제약만으로는 평가할 수 없음을 시사한다.