압박 속 보고: LLM 통계 분석에서 사실적 아첨과 어조적 아첨의 분리
Reporting Under Pressure: Separating Factual and Tonal Sycophancy in LLM Statistical Analysis
대규모 언어 모델(LLM)은 점점 더 데이터를 분석하고 결과가 무엇을 의미하는지 보고하도록 요청받고 있으며, 이는 대부분의 아첨(sycophancy) 연구에서 다루는 신념·선호 정렬(alignment) 설정과는 별개의 과제이다. 우리는 프롬프트의 편집적 프레이밍이 중립적 요청부터 발견을 discredit하거나 뒷받침할 이유를 철저히 찾으라는 명시적 지시까지 이어질 때, 모델의 보고에서 어조뿐 아니라 내용(substance)까지 바꾸는지 검증한다. 네 가지 프레이밍 조건과 네 가지 ground-truth 데이터 패턴(진짜 효과, 효과를模방하나 견고성 검증(robustness check)에 실패하는 교란(confound), 검정력이 충분한 null, 검정력이 부족한 null)을 교차하는 4×4 요인 설계에서 480개 응답을 수집하고, 각각을 두 독립 차원으로 채점한다. 하나는 데이터에 대한 사실적 주장이 올바른 해석에서 벗어났는지이고, 다른 하나는 주장은 올바른 채 어조만 달라졌는지이다. 사실적 왜곡은 두 셀에 집중된다. 진짜 효과에 가혹하게 비판적인 프레이밍을 적용할 때 모델이 부당한 회의론을 스스로 설득하는 경우(응답의 97%), 검정력 부족 null에 유의성 추구(significance-seeking) 프레이밍을 적용할 때 데이터가 뒷받침할 수 없는 null 결론에 대한 확신을 과장하는 경우(응답의 100%)이다. 어조 변화는 사실적 내용보다 훨씬 넓게 나타난다. 비판적 프레이밍은 데이터가 무엇을 보여주든 모든 데이터 패턴에서 방어적이고 hedge가 많은 문체를 만들고, 유의성 추구 프레이밍은 데이터가 진정한 애매함을 남기는 경우에만 어조를 바꾼다. 데이터 자체에 존재하는 confound는 시험한 모든 프레이밍 조건에서 두 종류의 변화를 거의 전부 차단한다. 이 결과는 LLM 보조 데이터 분석에서 프레이밍 유발 왜곡의 위험이 프레이밍 간에도 데이터 패턴 간에도 균일하지 않으며, 모델이 올바른 결론은 그대로 유지한 채 그 주변에서 어조만 크게 바뀔 수 있음을 시사한다.