SocialPersona: 멀티모달 소셜 미디어 컨텍스트 기반 개인화 프로파일링 및 응답 벤치마킹
SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context
한국어 초록
개인화된 언어 모델 어시스턴트는 종종 기억(memory) 관점에서 평가된다. 모델이 대화에서 사용자가 명시적으로 밝힌 선호를 기억할 수 있는가? 더 포괄적인 개인화는 더 어려운 능력을 요구한다. 사용자가 자연스럽게 남기는 멀티모달 흔적(trace)으로부터 사용자가 무엇을 중요하게 여기는지 추론하는 것이다. 우리는 SocialPersona를 소개한다. 이는 멀티모달 대규모 언어 모델(MLLM)이 종단적(longitudinal) 소셜 미디어 타임라인에서 드러난(revealed) 선호를 복원하고 대화에 활용할 수 있는지 평가하기 위한 벤치마크이다. 일상적이고 비홍보성인 171명의 소셜 미디어 사용자의 종단적 타임라인을 바탕으로 구축된 SocialPersona는 텍스트, 이미지, 타임스탬프, 그리고 7개 관심 도메인에 걸친 2,597개의 사람이 검증한 선호 태그를 포함하며, 안정적인 관심과 최근 관심을 구분한다. 두 가지 과제를 지원한다. 멀티모달 컨텍스트로부터 구조화된 사용자 프로파일을 구축하는 것과 추론된 프로파일에 정렬된 응답을 생성하는 것이다. 독점 및 오픈 가중치(open-weight) MLLM을 활용한 실험은 모델이 넓은 관심 도메인을 식별할 수 있지만, 세분화된 관심과 최근 관심에서는 성능이 하락하며, 추론된 프로파일을 대화 개인화에 사용해야 할 때는 더욱 악화된다는 것을 보여준다. 텍스트와 이미지가 상보적인(complementary) 선호 신호를 제공한다는 증거와 함께, 이러한 결과는 강건한 cross-modal, 장기적(long-horizon) 사용자 모델링이 여전히 핵심 과제로 남아 있음을, 그리고 SocialPersona가 드러난 선호를 추론하고 이에 따라 행동하는 어시스턴트로의 발전을 측정하고 촉진하는 데 도움이 될 수 있음을 시사한다.
원문 초록
Personalized language-model assistants are often evaluated through a memory lens: can a model recall preferences users have explicitly stated in dialogue? More comprehensive personalization demands a harder capability -- inferring what users care about from the multimodal traces they naturally leave behind. We introduce SocialPersona, a benchmark for evaluating whether multimodal large language models (MLLMs) can recover revealed preferences from longitudinal social-media timelines and use them in dialogue. Built from longitudinal timelines of 171 everyday, non-promotional social-media users, SocialPersona contains text, images, timestamps, and 2,597 human-verified preference tags across seven interest domains, separating stable interests from recent interests. It supports two tasks: constructing structured user profiles from multimodal context and generating responses aligned with inferred profiles. Experiments with proprietary and open-weight MLLMs show that models can identify broad interest domains, yet their performance drops on fine-grained and recent interests and degrades further when inferred profiles must be used to personalize dialogue. Together with evidence that text and images provide complementary preference signals, these results indicate that robust cross-modal, long-horizon user modeling remains a key challenge, and that SocialPersona can help measure and advance progress toward assistants that infer and act on revealed preferences.
요약
SocialPersona는 171명의 종단적 소셜 미디어 타임라인(텍스트·이미지·타임스탬프)에서 드러난 선호를 복원해 프로파일을 구축하고 대화에 반영하는 멀티모달 LLM(MLLM) 개인화 능력을 평가하는 벤치마크로, 안정적 관심과 최근 관심을 구분하는 7개 도메인·2,597개의 사람 검증 선호 태그를 제공한다. 독점·오픈 가중치 MLLM 실험에서는 넓은 관심 도메인 식별은 가능하나 세분화·최근 관심 추론과 추론된 프로파일 기반 대화 개인화에서 성능이 크게 떨어지며, 텍스트와 이미지가 상보적 선호 신호를 제공한다는 점에서 강건한 cross-modal 장기 사용자 모델링이 핵심 과제로 남아 있음을 보인다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.26654v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가
Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate
어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.
NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크
NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse
다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.
핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃
Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing
본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.