arXiv:2610.02885v1 cs.AI

PsyEvo: 테스트 시점에 스스로 진화하는 개인화된 상담 에이전트

PsyEvo: A Personalized Counseling Agent That Self-Evolves at Test Time

Yuting Yan, Shihao Xu, Junhao Yu, Mingcong Zuo, Lu Chen, Nan Xiang, Haiyang Geng, Dongjie Tao, Minghao Wang

제출 2026-10-02

한국어 초록

정신 건강 질환은 전 세계 인구의 상당 부분에 영향을 미치고 있지만, 숙련된 전문가의 지속적인 부족으로 인해 대다수가 적절한 치료를 받지 못하고 있습니다. 대규모 언어 모델(LLM) 기반의 상담사는 확장 가능한 대화형 심리 지원을 제공할 수 있는 유망한 방향을 제시합니다. 그러나 오프라인 모델 학습(training)만으로는 테스트 시점에 개별 내담자에게 적응하거나 진행 중인 치료적 상호작용으로부터 학습할 수 있는 여지가 제한적입니다. 본 연구에서는 세 가지 구성 요소를 통해 테스트 시점에 내담자별 개인화와 응답 정책 개선을 모두 가능하게 하는 LLM 기반 상담 프레임워크인 PsyEvo를 소개합니다. 계층적 베이지안 기술 정책(HBSP)은 세션 피드백을 통해 업데이트되는 내담자별 기술 사후확률을 유지하여 어떤 개입을 적용할지 개인화합니다. 세션 간 리스트형 선호도 최적화(LiPO)는 내담자 간 선호도 증거로부터 공유 응답 어댑터를 업데이트하여 선택된 기술이 어떻게 표현되는지 개선합니다. 상태 조건부 서열형 신용 할당(SOCA)은 일관성이 검증된 비교 및 서열 투영을 통해 두 구성 요소에 후보 선호도와 궤적 신용을 제공합니다. 공유 온라인 집단 적응을 적용한 모의 내담자 평가에서 PsyEvo는 PsychEval에서 종합 점수 7.684를 기록하며, 세 번의 매칭 실험 각각에서 모든 구성 요소 변형을 능가했습니다. 공유 구성에서 개별 구성 요소를 제거하면 평균 종합 점수가 0.138~0.171 감소하여 완전한 스캐폴드 내에서 각 구성 요소의 조건부 기여도를 뒷받침합니다. 코드는 https://github.com/Lingxi-mental-health/PsyEvo 에서 확인할 수 있습니다.

원문 초록

Mental health disorders affect a substantial proportion of the global population, yet a persistent shortage of trained practitioners leaves the majority without adequate care. Large language model (LLM)-based counselors present a promising direction for delivering scalable conversational psychological support. Offline model training alone leaves limited room to adapt to individual clients or to learn from ongoing therapeutic interaction at test time. We introduce PsyEvo, an LLM-based counseling framework that enables both client-specific personalization and response-policy improvement at test time through three components: Hierarchical Bayesian Skill Policy (HBSP) personalizes what intervention to apply by maintaining a per-client skill posterior updated from session feedback; Inter-session Listwise Preference Optimization (LiPO) improves how the selected skill is expressed by updating a shared response adapter from cross-client preference evidence; and State-conditioned Ordinal Credit Assignment (SOCA) supplies candidate preferences and trajectory credit to the two components through consistency-checked comparisons and ordinal projection. In simulated-client evaluation with shared online cohort adaptation, PsyEvo obtains 7.684 Overall on PsychEval and exceeds every component variant in each of three matched runs. Removing individual components lowers mean overall score by 0.138--0.171 under the shared configuration, supporting conditional contributions within the complete scaffold. Our code is available at https://github.com/Lingxi-mental-health/PsyEvo

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02885v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01509v1cs.AI공통 태그 Bayesian Inference, reinforcement learning rl

사후 학습에서의 샤프닝 세금

Sharpening Tax in Post-Training

대규모 언어 모델(LLM)의 강화학습(RL) 사후 학습(post-training)에 관해 최근 떠오르는 가설은, 이것이 단지 베이스 모델의 기존 동작을 샤프닝(sharpening)하여 솔루션 커버리지를 희생하는 대신 단일 시도 정확도(single-shot accuracy)를 향상시킬 뿐이라는 점입니다. 이러한 상충 관계(trade-off)는 수학 및 코딩 과제에서 관찰되었으나, 멀티턴 도구 사용 및 상호작용을 위해 사후 학습 과정에서 새로 습득된 기능이 필요할 수 있는 에이전트(agent) 과제에까지 반드시 확장 적용될 필요는 없습니다. 본 연구의 놀라운 발견은 가벼운 추론(inference) 하네스를 갖춘 사전학습(pre-trained) LLM 또한 유능한 에이전트로 동작할 수 있다는 사실입니다. 훨씬 낮은 정확도(pass@1)에도 불구하고, 충분한 테스트 시간 예산이 주어지면 이들은 솔루션 커버리지(pass@K) 측면에서 종종 사후 학습된 대응 모델(post-trained counterparts)을 능가합니다. 더 나아가 기본 메커니즘을 분석하여 사후 학습이 과제를 '항상 해결됨' 또는 '전혀 해결되지 않음'이라는 두 극단으로 밀어붙이며, 이를 통해 솔루션 커버리지를 희생하면서 샘플링 효율성과 일관성을 개선한다는 점을 보여줍니다. 이러한 비용을 측정하기 위해, 사후 학습 후 테스트 시간 확장성(test-time scalability)의 손실(loss)을 정량화하는 진단 지표인 샤프닝 세금(Sharpening Tax)을 제안합니다. 4개 패밀리의 14개 베이스/사후 학습 모델(model) 쌍과 3개의 에이전트 벤치마크(총 42개 사례)에 걸쳐 평가한 결과, 이 세금은 대부분의 설정에서 만연하게 나타나며, 소수의 롤아웃만으로도 추정 가능하고 다른 지표들과도 잘 상관관계를 이룹니다. 마지막으로 프롬프트(prompt)별 샘플링 온도를 추정된 난이도에 맞게 적응시키는 간단한 플러그 앤 플레이 베이즈 샘플러인 후험 조정 그룹 샘플링(posterior-tempered group sampling, PTGS)을 제시합니다. 두 개의 에이전트 환경에서 RL 학습(training) 중에 적용했을 때, PTGS는 고정 온도 기준선(baseline)보다 더 적은 세금을 치르며, 단일 시도 정확도를 개선하는 동시에 반복 샘플링 조건에서 더 많은 과제를 해결합니다.

arXiv:2607.11886v2cs.CV공통 태그 reinforcement learning rl

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.