LifeSentence: 언어 모델은 종단 패널 데이터로부터 인생 과정 궤적을 인코딩할 수 있다
LifeSentence: Language models can encode human life course trajectories from longitudinal panel data
인생의 결과를 예측하는 것은 개인이 어떻게 장수하고 건강한 삶을 영위하는지에 대한 통찰을 얻는 데 중요하다. 기존 통계적 접근 방식은 제한된 정확도를 보이는데, 이는 아마도 인생 과정의 순차적 구조를 무시하기 때문일 것이다. 트랜스포머(transformer) 아키텍처와 같은 현대적 방법들은 대부분의 종단 패널 연구가 갖추지 못한 대규모 학습 데이터를 필요로 한다. 여기서 우리는 대규모 언어 모델(LLM)과 종단 패널 데이터를 연결하는 인생 과정 추론 모델인 LifeSentence를 소개한다. 각 인생 사건을 구조화된 자연어 기록으로 표현하고, 예측, 강건성(robustness), 추론을 아우르는 18개 과제 평가 분류법에 걸쳐 사전학습된 240억 매개변수 언어 모델을 인스트럭션 튜닝(instruction tuning)함으로써, LifeSentence는 패널 데이터를 사전학습 동안 이미 인코딩된 분포 지식으로 보완한다. 독일 사회경제 패널(German Socio-Economic Panel)의 약 65,000명의 개인으로 학습되었는데, 이는 이전 트랜스포머 기반 접근 방식보다 약 45배 적은 수치이다. LifeSentence는 모든 과제 계열에서 고전적이고 심층 학습(deep learning) 기반의 기준 모델(baseline)을 능가하며, 최상의 기준 모델 대비 결합된 사건 및 시점 예측에서 3배의 향상을 달성하고, 타임스탬프가 제거된 사건 집합에서 연대기적 순서를 재구성할 때 91.2%의 켄달의 타우(Kendall's tau)를 기록했다. 명시적인 지도(supervision) 없이도, 이 모델은 이산적인 사건 순서만으로 교육 프리미엄, 성별 임금 격차, 모성 페널티(motherhood penalty)를 포함한 문서화된 사회 계층화 패턴을 복원한다. 자연어 인터페이스는 초기 생애 역사를 특정 후기 생애 종점(endpoint)과 연결하는 것과 같은 질적으로 새로운 연구 질의를 더욱 가능하게 하여, LifeSentence를 예측 도구이자 인생 이력에 대한 반사실적 탐험(exploration)을 위한 탐침으로 자리매김한다.