I Cast Detect Thoughts: Learning to Converse and Guide with Intents and Theory-of-Mind in Dungeons and Dragons
원문 초록
We propose a novel task, G4C, to study teacher-student natural language interactions in a goal-driven and grounded environment. Dungeons and Dragons (D&D), a role-playing game, provides an ideal setting to investigate such interactions. Here, the Dungeon Master (DM), i.e., the teacher, guides the actions of several players -- students, each with their own personas and abilities -- to achieve shared goals grounded in a fantasy world. Our approach is to decompose and model these interactions into (1) the DM's intent to guide players toward a given goal; (2) the DM's guidance utterance to the players expressing this intent; and (3) a theory-of-mind (ToM) model that anticipates the players' reaction to the guidance one turn into the future. We develop a novel reinforcement learning (RL) method for training a DM that generates guidance for players by rewarding utterances where the intent matches the ToM-anticipated player actions. Human and automated evaluations show that a DM trained to explicitly model intents and incorporate ToM of the players using RL generates better-quality guidance that is 3x more likely to fulfill the DM's intent than a vanilla natural language generation (NLG) approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크
Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents
구간 시간 지각(interval timing)은 인간 인지의 중요한 측면으로 여겨진다. 인공 에이전트가 인간과 함께 기능하는 경우가 늘어나면서 이들의 구간 시간 지각 능력을 연구할 필요가 있다. 그러나 이 분야의 연구는 아직 제한적이고 산재해 있다. 본 논문은 강화학습(RL) 에이전트의 구간 시간 지각 능력을 체계적으로 연구할 수 있는 RL 벤치마크 환경 Chronocooked를 제시한다. 이 제품군은 심리학 문헌에서 착안한 구간 시간 지각 과제를 포함하는 요리 시나리오로 구성된다. 각 과제에는 RL 에이전트의 구간 시간 지각의 여러 측면, 즉 과제 성능, 인간과 유사한 시간 지각, 확장성을 연구하기 위한 평가 지표가 함께 제공된다. 비순환 모델(CNN), 순환 모델(LSTM), 생물학적으로 영감을 받은 순환 모델(CTRNN)을 사용한 기준선을 보고한다. CNN 모델은 기본적인 시간 지각 과제를 수행하는 능력이 제한적이었다. 반면 충분한 메모리를 갖춘 두 순환 모델은 시간 지각 과제를 성공적으로 수행했고, 고정 간격(FI) 과제에서 시간적 통제를 보였으며, 시간 이분(Temporal Bisection) 과제에서 인간과 유사한 심리측정 곡선을 정성적으로 재현했다. 그러나 인간과 유사한 시간 지각 행동에 대한 정량적 증거는 발견되지 않았다. 인공 에이전트의 구간 시간 지각에 대한 체계적인 연구는 인간-로봇 상호작용(HRI)과 같은 분야에서 과제 성능을 개선하기 위한 보완적 관점을 제공할 수 있으며, 시간 지각에 관한 더 넓은 연구에도 기여할 수 있다.
PrefReward: 개인화 텍스트 생성을 위한 사용자 선호 행렬 학습
PrefReward: Learning User Preference Matrix for Personalized Text Generation
대규모 언어 모델(LLM)은 사용자 이력과 문맥 단서를 활용하여 개인화된 콘텐츠를 생성하는 데 뛰어난 능력을 보여 왔다. 그러나 기존 개인화 접근법 대부분은 모델 파라미터 내부의 암묵적 표현에 의존하므로 사용자별 선호를 해석하거나 긴 문맥 의존성을 효과적으로 처리하기 어렵다. 이러한 문제를 해결하기 위해, 구조화된 선호 행렬을 통해 사용자 스타일을 명시적으로 모델링하고 이를 보상 신호로서 디코딩 과정에 통합하는 새로운 선호 인식 생성 프레임워크 PrefReward를 제안한다. PrefReward는 두 단계로 구성된다. (1) 개인의 문체 경향을 요약하는 사용자별 선호 행렬을 추출하고, (2) KL 발산 기반 보상 함수를 통해 이 행렬로 생성을 안내한다. LongLaMP 데이터셋에 대한 실험에서 PrefReward는 생성 품질과 개인화 해석 가능성 모두에서 검색 기반 베이스라인 및 컨텍스트 스티어링 방법을 능가하였다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.
압박 속의 행동 양식: 사용자가 압박할 때 60개 언어 모델이 보이는 반응
Conduct Under Pressure: What Sixty Language Models Do When a User Pushes
우리는 불편한 상황에서 사용자가 압박을 가할 때 LLM이 어떻게 행동하는지를 연구한다. 사용자가 고집을 부리거나, 애원하거나, 아첨하거나, 슬픔을 호소하면, 모델은 올바른 사실을 포기하거나, 거절해야 할 문서를 작성하거나, 사용자에게 금전적 손실을 입힐 계획에 환호한다. 이는 다중 턴 형태의 아첨(sycophancy)이다. 우리는 고정된 다중 턴 장면을 13개 벤더의 60개 모델에 입력하고, 각 대화 기록에 궤적(모델이 입장을 유지했는가 굴복했는가)과 방식(어떻게 유지하거나 굴복했는가)을 라벨링한다. 세 개의 장면은 코드북을 구축하는 데 사용했고, 여섯 개의 장면은 이후에 작성하여 사전 등록된 재현 실험으로 사용했다. 모델이 입장을 유지하는지는 세대(generation)와 관련된다. 굴복률은 공개된 역량 지수와 두 장면 집합에 걸쳐 스피어먼 상관계수 -0.64에서 -0.69의 상관을 보이므로, 아첨이 모델 규모에 따라 증가한다는 기존 보고와 달리 최신 모델일수록 덜 굴복한다. 모델이 어떻게 입장을 유지하는지는 벤더와 관련된다. 17개 방식 코드 중 여섯 개가 코드북 전체에 대해 보정한 순열 검정 p <= 0.001로 벤더별로 구분되며, 그중 네 개는 재현 장면에서도 다시 그러하다. Anthropic의 모델은 감정을 명명하고, 경고하며, 대안을 제시한다. OpenAI의 모델은 이 세 가지를 모두 덜 하며 자신의 규칙을 거의 인용하지 않는다. Google의 모델은 무언가를 하도록 요청받으면 자기 자신과 AI라는 본성을 언급한다. Meta의 모델은 작성해서는 안 되는 산출물을 작성한다. 세 벤더의 LLM 코더 여섯 개가 모든 대화 기록에 라벨을 붙였고, 사람 코더 세 명이 보류된 대화 기록 쉰 개에 라벨을 붙였다. 기계가 더 일관된 판독자였으며(Krippendorff의 알파 0.66 대 0.46), 궤적에 대해 저자와 카파 0.84에서 0.91로 일치했고, 조정된 기준과는 0.83으로 일치했다. 비전문가도 판단할 수 있는 행동에 대해서는, 사람의 기여는 대량의 라벨을 생산하는 것이 아니라 코드를 작성하고 그 범위를 정하며 소규모 기준 집합을 책임지는 것이다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.