PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.24162v2cs.CL

BehaviorBench: 행동과학 과업을 위한 파운데이션 모델 벤치마킹

BehaviorBench: Benchmarking Foundation Models for Behavioral Science Tasks

파운데이션 모델은 심리학, 사회학, 경제학과 같은 행동과학 분야에 점점 더 많이 적용되고 있습니다. 이러한 모델은 설문 응답 예측 및 인간 피험자 실험 시뮬레이션과 같은 과업에서 유망한 가능성을 보이지만, 다양한 행동과학 과업 전반에서 얼마나 잘 수행되는지에 대한 체계적인 이해는 여전히 부족합니다. 본 연구에서는 (1) 행동 예측 및 시뮬레이션, (2) 전략적 의사결정, (3) 피험자 특성 추론(inference), (4) 행동 지식 적용이라는 네 가지 핵심 역량을 따라 파운데이션 모델(model)을 평가하는 종합 벤치마크인 BehaviorBench를 소개합니다. 특히 BehaviorBench는 개인 수준과 분포 수준 모두에서 모델 출력을 평가하여, 피험자별 정확도뿐만 아니라 행동적 타당성에 필수적인 요구사항인 집단 수준의 정렬(alignment)까지 포착합니다. 평가 결과, BehaviorBench는 선도적인 범용 대규모 언어 모델(LLM)과 행동 데이터로 특별히 학습된 행동 파운데이션 모델 모두에게 여전히 도전적인 과제로 남아 있음을 보여줍니다. 또한 개인 수준과 분포 수준의 성능이 항상 일치하지는 않는다는 점을 발견했습니다. 범용 LLM은 인간 응답의 다양성을 과소평가하는 경향이 있는 반면, 행동 파운데이션 모델은 개인 수준 예측에서 뒤처지는 경우가 많습니다. 나아가 다양한 행동 데이터에 대한 미세조정(fine-tuning)이 개인 수준 예측과 분포 정렬을 모두 향상시켜 이 두 목표 간의 균형을 맞출 수 있음을 입증합니다. 이러한 결과는 개인 및 분포 수준 모두에서의 평가가 갖는 중요성을 강조하며, BehaviorBench를 행동적으로 정렬된 AI 시스템을 개발하고 평가하기 위한 기반으로 확립합니다. BehaviorBench와 모델은 https://umich-foreseer.github.io/behaviorbench/ 에서 확인할 수 있습니다.