AI 어시스턴트가 Sarah가 두 개의 직업을 가진 한부모라는 사실을 기억할 때, 그녀가 부유한 임원일 때보다 그녀의 스트레스를 다르게 해석할까? 개인화된 AI 시스템이 점차 장기 사용자 기억을 통합함에 따라, 이 기억이 감정적 추론을 어떻게 형성하는지 이해하는 것이 중요하다. 우리는 15개 모델을 인간이 검증한 감성 지능 테스트로 평가하여, 사용자 기억이 대규모 언어 모델(LLM)의 감성 지능에 어떤 영향을 미치는지 조사한다. 우리는 동일한 시나리오가 서로 다른 사용자 프로필과 결합될 때 체계적으로 다른 감정적 해석을 생성함을 발견했다. 검증된 사용자 독립적 감정 시나리오와 다양한 사용자 프로필 전반에서, 우위에 있는 프로필이 더 정확한 감정적 해석을 받는 체계적 편향이 여러 고성능 LLM에서 나타났다. 더욱이, LLM은 감정 추론 및 지지적 추천 작업에서 인구통계학적 요인에 걸쳐 상당한 격차를 보여주며, 이는 개인화 메커니즘이 사회적 위계를 모델의 감정적 추론에 내장할 수 있음을 시사한다. 이러한 결과는 기억 증강 AI에 대한 주요 과제를 강조한다: 개인화를 위해 설계된 시스템은 사회적 불평등을 강화할 수 있다. 이러한 격차를 완화하기 위해, 우리는 인구통계학적 프로필이 감정 이해에 미치는 영향을 줄이도록 설계된 범용 선호 데이터셋을 구성했다.
딥 리서치(DR) 시스템은 복잡한 정보 탐색 작업에 점점 더 많이 사용되고 있지만, 기존 연구는 주로 보고서와 요약 생성에 초점을 맞추고 있습니다. 대조적으로, 많은 기업 작업은 에이전트가 행동 단계의 순서인 구체적인 워크플로우를 식별하는 것을 요구합니다. 예를 들어, 예산 정책을 요약하는 대신, 에이전트는 "고정된 예산 내에서 새로운 인원을 요청하려면 어떻게 해야 합니까?"와 같은 질문에 답하기 위해 필요한 단계를 결정할 수 있어야 합니다. 따라서 우리는 에이전트가 이기종 소스에서 예측한 개인화된 워크플로우를 평가하기 위한 벤치마크인 DRFLOW를 소개합니다. 각 작업은 에이전트가 분산된 소스에서 관련 증거를 식별한 다음, 해당 증거를 사용하여 사용자 작업에 대한 올바른 행동 단계 순서를 예측하도록 요구합니다. DRFLOW는 5개 도메인에 걸친 100개의 작업을 포함하며, 3,900개 이상의 소스에 기반한 1,246개의 참조 워크플로우 단계를 포함합니다. 우리는 사실적 그라운딩, 단계 복원, 구조적 순서, 조건 해결, 개인화를 포괄하는 7가지 진단 메트릭을 정의합니다. 또한 우리는 개인화된 워크플로우를 예측하기 위한 워크플로우 지향 참조 에이전트인 DRFLOW-Agent (DRFA)를 제시합니다. 우리는 DRFA가 강력한 기준선 에이전트보다 성능이 향상되었음(최대 10.02% 평균 F1 점수)을 보여주지만, 이러한 워크플로우 메트릭 전반에 걸쳐 상당한 개선의 여지가 남아 있음을 보여줍니다. 이는 완전하고 올바른 개인화된 워크플로우를 예측하는 것이 딥 리서치의 여전히 도전적인 과제임을 나타냅니다.
대규모 언어 모델(LLM)에서 사용자 측 메모리는 일반적으로 단일한 "개인화" 역량으로 평가된다: 사용자의 이력이 주어졌을 때, 출력이 사용자를 더 잘 인식하는가? 우리는 이 집계 지표가 반대 방향의 실패를 숨기고 있음을 보인다. 메모리는 최소 세 가지 직교 축으로 분해된다 -- 행동 일관성(스타일, 어조), 사실 존재(이력에서 사실을 재현), 사실 부재(사실이 없을 때 답변 보류) -- 이며, 단일 기반이 세 가지 모두에서 우위를 점하지 않는다. 통제된 50명 사용자 합성 코퍼스와 실제 데이터 탐색(LaMP-3)에서 사용자별 gamma-LoRA(각 사용자 이력으로 학습된 소형 LoRA 어댑터; gamma는 과제별이 아닌 사용자별을 의미)와 BGE-large 밀집 상위-K 검색을 비교한 결과, gamma-LoRA는 행동 스타일에서 결정적 우위를 보이는 반면 검색-증강 생성(RAG)은 사실 부재에서 결정적 우위를 보인다 -- 어텐션 레이어 21~35의 동일한 쿼리 프로젝션 셀이 두 효과 모두에 대해 인과적으로 반대 방향의 부하를 담당한다(해당 LoRA 가중치를 제로로 만들면 부재 탐침 진양성률(TPR)이 +33 pp 상승하고 존재 탐침 TPR이 20 pp 하락한다). 인간 피드백 강화학습(RLHF) 튜닝이 더 강하게 적용된 Llama-3.1-8B-Instruct에서는 비대칭성이 해소되지 않고 오히려 강화된다: 매개변수 메모리의 행동적 우위는 붕괴하고, 검색 대비 부재 보정 격차는 확대된다 -- 이는 매개변수 사용자 메모리에 대한 정렬 비용(alignment tax)이다. 실제 데이터 LaMP-3에서 gamma-LoRA는 다수 기준선보다 성능이 낮다; 9가지 조건의 완화 탐색은 이를 기반 실패가 아닌 지시 따르기 붕괴로 진단한다(9×2 교차곱에서 평가 시 {1..5} 로짓 마스크가 모든 레시피에서 main_acc를 >=0.995로 높인다). 그리고 최선의 학습 시 수정은 Llama에서 비트 동일하게 재현된다. 끝으로, 기반 선택 라우팅은 보정이 아닌 분류의 문제이다: 질문 텍스트만으로 학습된 1억 1천만 파라미터 DistilBERT가 모든 로짓 기반 라우터를 능가한다. 우리는 진단 프레임워크, 진단된 실제 데이터 부정적 결과, 정렬 비용 재현, 그리고 라우팅을 분류로 보는 발견에 기여한다.
관심이 증가하고 있음에도 불구하고, 대규모 언어 모델(LLM)의 개인화 능력에 대한 대부분의 평가는 합성 데이터에 의존해 왔습니다. 현재 개인화 시스템이 실제 사용자에게 얼마나 잘 작동하는지는 여전히 불분명합니다. 본 논문에서는 합성 데이터와 인간 데이터를 사용할 때 LLM 개인화 성능의 격차를 연구합니다. 우리는 개인화의 세 단계에 걸쳐 인간 대화(550개 대화)와 판단을 수집했습니다: 대화에서 사용자 속성 추출(5,949개 판단), 새로운 프롬프트와 관련 속성 매칭(11,919개), 그리고 개인화된 응답에 관련 속성 통합(1,101개). 인간 데이터를 반영하면 각 단계에서 시스템의 한계가 드러납니다. 모델은 인간 대화에서 속성을 추출하는 데 어려움을 겪고, 관련 속성에 대해 인간의 판단과 의견이 다르며, 인간이 일반적인 응답보다 낫다고 판단하지 않는 개인화된 응답을 생성합니다(비록 LLM 평가자들은 이를 더 낫다고 광범위하게 평가하지만). 우리는 첫 번째와 두 번째 단계에서 자동화된 개인화 평가를 인간 데이터에 더 가깝게 조정하는 두 가지 경량 학습 기반 개입 방법을 소개합니다. 그러나 세 번째 단계에서 우리는 학습된 보상 모델이 인간 평점과 겨우 보통 수준의 상관관계만 달성함을 발견했으며, 이는 인간과 정렬된 개인화 품질 판단을 직접 모델링하기 어렵다는 것을 시사합니다. 우리가 수집한 데이터는 모델이 인간이 유용하다고 느끼는 방식으로 사용자 정보를 추출, 선택 및 통합해야 하는지를 연구하기 위한 기초를 제공합니다.
개인화된 가상 심장 시뮬레이션은 모델 개인화와 계산 비용 측면에서 문제에 직면해 있습니다. 신경망 대리 모델(neural surrogate)은 최첨단 솔루션을 제공하지만, 일반적으로 효율적인 개인화나 일반화 가능한 모델 학습 중 하나만 다룹니다. 최근 연구는 세트 조건부 대리 모델과 메타학습된 상각 추론(amortized inference)을 통한 퓨샷 생성 모델링을 통해, 제한된 피험자별 문맥 데이터를 사용하여 대리 모델을 개인화하는 과정을 학습함으로써 이 문제를 재정의합니다. 그러나 이러한 방법들은 알려진 작업 식별자가 있는 정적이고 다양한 학습 분포를 가정합니다. 새로운 데이터가 도착하면, 치명적 망각(catastrophic forgetting, 모델이 새로운 작업을 학습할 때 이전 작업을 잊어버리는 현상)을 피하기 위해 모든 이전 데이터를 사용한 비용이 많이 드는 재학습이 필요합니다. 이는 종종 레이블이 없는 데이터가 순차적으로 도착하고 전체 재학습이 불가능한 임상 환경에서 주요한 제약 사항입니다. 본 논문은 정보를 지속적으로 통합할 뿐만 아니라 들어오는 데이터가 알려진 동적 소스에서 비롯되었는지 알 수 없는 소스에서 비롯되었는지 식별할 수 있는 개인화된 신경망 대리 모델을 달성하기 위한 새로운 지속적 메타학습 프레임워크를 제시합니다. 메모리 버퍼에 대한 지속적 베이지안 가우시안 혼합 모델을 활용하여, 우리의 프레임워크는 효과적인 메타학습에 필요한 시간에 따른 데이터의 식별자와 관계를 추론할 수 있습니다. 합성 심장 데이터에 대한 실증적 결과는 기존 기준선(baseline)과 비교하여 우수한 시뮬레이션 예측, 계산 확장성, 그리고 치명적 망각에 대한 저항성을 입증합니다.