PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00197v1cs.AI

코미디의 바보의 금: 대화형 유머에서의 보상 악용 및 대응책

Comedic Fool's Gold: Reward Exploits and Countermeasures in Conversational Humor

본 연구에서는 대화형 유머 분야에서 언어 모델을 학습시키기 위한 자동화된 보상을 조사하며, 보상 악용(reward exploit)과 그 대응책에 초점을 맞춥니다. 두 가지 접근 방식은 이해 가능한 놀라움(understandable surprise)과 예측된 청중의 즐거움을 포착하는 것을 목표로 합니다. 통제된 테스트 결과, 임베딩(embedding) 기반의 놀라움 보상은 재치 있는 답변뿐만 아니라 단어가 무작위로 섞인 답변도 동일하게 수용하는 것으로 나타났습니다. 유창성 필터는 단어가 섞인 경우를 탐지하지만, 결합된 보상은 일부 재치 있는 답변까지 거부하며 추가 검증에 실패합니다. 반면 청중 모델이 예측한 웃음은 두 화자 중 어느 쪽의 메시지에든 존재하는 웃음 단서에 취약합니다. 화자 전반에 걸쳐 이러한 단서를 정규화하면 다뤄진 공격을 차단할 수 있지만, 대응되지 않은 표현은 여전히 악용 가능한 상태로 남습니다. 연속적인 보상 수정을 거친 학습을 평가하기 위해 세 번의 강화학습(RL) 실험을 수행했습니다. 최종 실험에서는 결합 평가 점수가 0.0903 향상되고 점수가 0점인 세션이 40% 감소했으나, 유머에 특화된 개선은 사전 등록된 목표치에 미치지 못했습니다. 이러한 발견은 자동화된 보상 설계가 직면한 더 광범위한 과제를 보여줍니다. 즉, 대응책은 보상이 장려하고자 했던 본래의 행동을 보존하면서도 악용 가능한 지름길(shortcut)을 차단해야 한다는 점입니다.

arXiv:2607.13189v1cs.CL

SemEval-2026 Task 1의 RAGthoven: 다단계 파이프라인이 벤치마크에 걸려 들어와 겨우 기준을 넘겼다

RAGthoven at SemEval-2026 Task 1: A Multi-Stage Pipeline Walks Into a Benchmark and Barely Clears the Bar

우리는 SemEval-2026 Task 1(MWAHAHA)의 Subtask A(영어, 스페인어, 중국어에서의 다국어 제약 기반 유머 생성)를 위한 시스템 RAGthoven을 제시한다. RAGthoven은 창의적 텍스트 생성을 계산 유머 이론(Benign Violation Theory, Script-based Semantic Theory of Humor)에 기반한 다단계 대규모 언어 모델(LLM) 파이프라인(Planner, Best-of-N Writer, 자기 비판을 위한 Reflector, LLM-as-a-judge Judge)으로 분해하고, 이를 열 번의 실험을 거쳐 정제했다. 최종 구성에서는 Planner를 큐레이션된 농담 코퍼스로부터의 검색-증강 생성(RAG)으로 보강하여, 다양한 농담 메커니즘으로 생성을 시드(seed)했다. 또한 동일한 네 단계를 결정론적 ConstraintAudit 검사기와 함께 노출하는 두 가지 에이전트(agentic) 변형—ReAct 스타일 순차적 도구 호출(Exp09)과 자율적 다분기 오케스트레이션(Exp10)—을 평가했다. 홀드아웃 12개 인스턴스 영어 샘플에 대한 네 가지 프론티어 모델에서, 두 에이전트 변형 모두 훨씬 더 높은 도구 호출 예산에도 불구하고 비에이전트 파이프라인보다 우수하다고 판단한 출력을 생성하지 못했다. RAGthoven은 세 언어 모두에서 Gemini 2.5 Flash 기준선과 Rank 1을 공유하며, 주최 측이 보고한 신뢰 구간이 겹친다. 스페인어에서는 기준선보다 42 raw Elo 포인트(1182 vs. 1140)로 앞서지만, 영어(1045 vs. 1081)와 중국어(1045 vs. 1053)에서는 동일한 통계적 동률 범위 내에서 기준선이 더 높은 raw rating을 유지한다. 종합하면, 이러한 결과는 강력한 프론티어 모델이 루프에 포함되면 정교한 다단계 프롬프트 엔지니어링과 에이전트 스캐폴딩으로부터 얻는 이득이 언어에 따라 감소할 수 있음을 시사한다.