콘텐츠 검열 딜레마에 대한 추론에서 인간과 AI는 과제 난이도에 유사하게 반응한다
Humans and AI respond similarly to task difficulty when reasoning about content moderation dilemmas
한국어 초록
대규모 추론 모델(LRM)은 답을 내기 전에 중간 추론 단계를 생성하며, 해결책을 반복적으로 발전시켜 어려운 문제에서의 성능을 향상시킨다. LRM이 사람이 푸는 데 더 오래 걸리는 문제에 더 많은 노력을 들인다는 증거가 있으나, 이러한 관계가 검증 가능한 답이 없는 더 주관적인 과제에서도 성립하는지는 불분명하다. 본 연구는 두 선택지의 상대적 공격성을 달리하여 과제 난이도를 조작한 콘텐츠 검열 과제를 이용한 실험으로 이 문제를 다룬다. 여섯 개의 대규모 추론 모델과 1,854명의 인간 참가자를 비교한 결과, 모델은 사람이 판정하는 데 더 오래 걸리는 유형의 사례에서 사고의 연쇄(CoT) 길이로 측정한 추론 노력을 더 많이 들인다는 것을 확인하였다. 두 게시물의 공격성이 동일하게 유지될 때 사람은 31\% 더 오래 걸렸고, 모델은 51~306\% 더 긴 CoT를 생성하였다. 개별 판단에서는 상관이 비교적 낮지만($r = 0.15$--$0.19$), 공격적 언어의 유형별로 과제를 묶으면 평균 응답 시간과 평균 추론 노력이 밀접하게 상관된다($r = 0.85$--$0.93$). Gemini 2.5 Pro의 CoT 요약에 대한 질적 분석도 이러한 결과를 뒷받침하며, 공격성이 고정되었을 때 부차적 요인이 더 자주 언급됨을 보여 준다. 이 결과는 추론 흔적을 활용하여 어려운 사례의 우선순위를 정하고 해석 가능성을 높일 수 있음을 시사한다.
원문 초록
Large reasoning models (LRMs) generate intermediate reasoning steps before producing answers, improving performance on challenging problems by iteratively developing solutions. There is evidence that LRMs expend more effort on the problems that take people longer to solve, but it is unclear whether these relationships hold on more subjective tasks without verifiable answers. This study addresses this issue through an experiment using a content moderation task, where task difficulty is manipulated by varying the relative offensiveness of two different options. Comparing six large reasoning models with 1,854 human subjects, we find that models expend more reasoning effort, measured using the length of the chain-of-thought (CoT), on the kinds of cases that take people longer to adjudicate. People took 31\% longer and models produced 51 to 306\% longer CoTs when offensiveness was held constant across the two posts. The correlation is relatively low for individual decisions ($r = 0.15$--$0.19$), but average response times and average reasoning effort are closely correlated when tasks are grouped by the types of offensive language ($r = 0.85$--$0.93$). Qualitative analyses of the CoT summaries from Gemini 2.5 Pro corroborate these findings, showing that secondary factors were mentioned more often when offensiveness was fixed. The results point to the potential for using reasoning traces to prioritize difficult cases and enhance interpretability.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2508.20262v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.