PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.06820v3cs.AI

공유 질문은 무엇을 더해주는가? 오정보에 대한 LLM 설문 점수 감사

What Does a Sharing Question Add? Auditing LLM Survey Scores for Misinformation

오정보(misinformation)를 평가하려면 독자가 콘텐츠를 믿는지와 이를 공유할 것인지를 구별해야 합니다. 대규모 언어 모델(LLM)에 두 질문을 모두 던지면 두 개의 점수가 나오지만, 공유에 대한 답변이 신뢰도 답변을 넘어선 추가적인 정보를 제공할까요? 본 연구에서는 317명의 참여자 식별자가 포함된 1,256개의 쌍체 설문 응답을 외적 타당도 기준으로 삼아, 290개의 합성 오정보 기사를 대상으로 8개 모델 버전을 감사(audit)합니다. 초기 역전 현상이 감사의 동기가 됩니다. 즉, 모든 모델의 원시 공유 점수가 신뢰도 점수보다 인간의 평균 공유를 덜 정확하게 예측합니다. 이러한 순서는 오프셋 보정 후 변경되므로 그 자체만으로는 누락된 정보를 진단하지 못합니다. 대신 본 연구에서는 점수 재구성 가능성, 도출 형식 전반에서의 지속성, 점진적 인간 타당도를 구분합니다. 신뢰도는 홀드아웃(held-out) 상수 기준선 대비 모델 공유 변량의 30.8~72.5%를 예측하며, 나머지 공유 차이는 질문 순서 및 개별 질문 조건 전반에서 0.61~0.75의 상관관계를 보입니다. 그러나 인간 및 모델 신뢰도에 모델 공유를 추가해도 고정 회귀에서 -0.25%에서 +0.69%의 오차 감소만 발생하며, 모든 탐색적 구간이 0을 포함합니다. 유연한 예측 및 형식 변경 역시 개선을 입증하지 못합니다. 따라서 공유 답변은 관찰된 신뢰도 점수를 넘어서는 구조화된 변량을 포함하고 있지만, 본 데이터에서는 인간 공유에 대한 점진적 타당도가 입증되지 않았습니다. 이러한 결과는 프롬프트 간 점수 차이나 일치도를 살펴보는 것을 넘어, 도출된 각 결과의 기여도를 검증해야 할 필요성을 시사합니다.