PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00197v1cs.AI

코미디의 바보의 금: 대화형 유머에서의 보상 악용 및 대응책

Comedic Fool's Gold: Reward Exploits and Countermeasures in Conversational Humor

본 연구에서는 대화형 유머 분야에서 언어 모델을 학습시키기 위한 자동화된 보상을 조사하며, 보상 악용(reward exploit)과 그 대응책에 초점을 맞춥니다. 두 가지 접근 방식은 이해 가능한 놀라움(understandable surprise)과 예측된 청중의 즐거움을 포착하는 것을 목표로 합니다. 통제된 테스트 결과, 임베딩(embedding) 기반의 놀라움 보상은 재치 있는 답변뿐만 아니라 단어가 무작위로 섞인 답변도 동일하게 수용하는 것으로 나타났습니다. 유창성 필터는 단어가 섞인 경우를 탐지하지만, 결합된 보상은 일부 재치 있는 답변까지 거부하며 추가 검증에 실패합니다. 반면 청중 모델이 예측한 웃음은 두 화자 중 어느 쪽의 메시지에든 존재하는 웃음 단서에 취약합니다. 화자 전반에 걸쳐 이러한 단서를 정규화하면 다뤄진 공격을 차단할 수 있지만, 대응되지 않은 표현은 여전히 악용 가능한 상태로 남습니다. 연속적인 보상 수정을 거친 학습을 평가하기 위해 세 번의 강화학습(RL) 실험을 수행했습니다. 최종 실험에서는 결합 평가 점수가 0.0903 향상되고 점수가 0점인 세션이 40% 감소했으나, 유머에 특화된 개선은 사전 등록된 목표치에 미치지 못했습니다. 이러한 발견은 자동화된 보상 설계가 직면한 더 광범위한 과제를 보여줍니다. 즉, 대응책은 보상이 장려하고자 했던 본래의 행동을 보존하면서도 악용 가능한 지름길(shortcut)을 차단해야 한다는 점입니다.