PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.24162v2cs.CL

BehaviorBench: 행동과학 과업을 위한 파운데이션 모델 벤치마킹

BehaviorBench: Benchmarking Foundation Models for Behavioral Science Tasks

파운데이션 모델은 심리학, 사회학, 경제학과 같은 행동과학 분야에 점점 더 많이 적용되고 있습니다. 이러한 모델은 설문 응답 예측 및 인간 피험자 실험 시뮬레이션과 같은 과업에서 유망한 가능성을 보이지만, 다양한 행동과학 과업 전반에서 얼마나 잘 수행되는지에 대한 체계적인 이해는 여전히 부족합니다. 본 연구에서는 (1) 행동 예측 및 시뮬레이션, (2) 전략적 의사결정, (3) 피험자 특성 추론(inference), (4) 행동 지식 적용이라는 네 가지 핵심 역량을 따라 파운데이션 모델(model)을 평가하는 종합 벤치마크인 BehaviorBench를 소개합니다. 특히 BehaviorBench는 개인 수준과 분포 수준 모두에서 모델 출력을 평가하여, 피험자별 정확도뿐만 아니라 행동적 타당성에 필수적인 요구사항인 집단 수준의 정렬(alignment)까지 포착합니다. 평가 결과, BehaviorBench는 선도적인 범용 대규모 언어 모델(LLM)과 행동 데이터로 특별히 학습된 행동 파운데이션 모델 모두에게 여전히 도전적인 과제로 남아 있음을 보여줍니다. 또한 개인 수준과 분포 수준의 성능이 항상 일치하지는 않는다는 점을 발견했습니다. 범용 LLM은 인간 응답의 다양성을 과소평가하는 경향이 있는 반면, 행동 파운데이션 모델은 개인 수준 예측에서 뒤처지는 경우가 많습니다. 나아가 다양한 행동 데이터에 대한 미세조정(fine-tuning)이 개인 수준 예측과 분포 정렬을 모두 향상시켜 이 두 목표 간의 균형을 맞출 수 있음을 입증합니다. 이러한 결과는 개인 및 분포 수준 모두에서의 평가가 갖는 중요성을 강조하며, BehaviorBench를 행동적으로 정렬된 AI 시스템을 개발하고 평가하기 위한 기반으로 확립합니다. BehaviorBench와 모델은 https://umich-foreseer.github.io/behaviorbench/ 에서 확인할 수 있습니다.

arXiv:2610.01461v1cs.AI

NextMe-800: 수개월의 1인칭 시점 비디오로부터 개인의 행동 예측하기

NextMe-800: Anticipating Personal Behavior from Months of Egocentric Video

우리는 종종 야심 차게 계획을 세우지만 습관적으로 행동하며, 실제로 어떻게 행동할지 알았더라면 다르게 계획했을지 사후에 반추하곤 합니다. 사후 판단(hindsight)은 과거의 결정에 귀중한 통찰을 제공하지만, 우리는 흔히 선택의 순간에 이러한 사후 판단을 시뮬레이션할 수 있기를 바라곤 합니다. 만약 시스템이 개인의 과거 이력으로부터 타당한 행동 궤적을 생성할 수 있다면, 이러한 미리보기는 사람들이 더 현실적인 계획을 세우고 더 나은 정보를 바탕으로 결정을 내리는 데 도움이 될 수 있습니다. 본 연구에서는 한 명의 자원봉사자로부터 126일에 걸쳐 1Hz 이미지, 시선, 오디오를 기록하고 원자 단위 행동부터 주요 활동까지 5단계의 계층적 추상화 수준으로 캡션을 작성한 약 800시간 분량의 1인칭 데이터셋인 NextMe-800을 소개합니다. 우리는 개인화된 행동 예측(action anticipation)을 개방형 어휘(open-vocabulary) K단계 시퀀스 예측 문제로 정의하고, NextMe-800과 다인칭 EgoLife 데이터셋을 결합하여 1,500개 평가 지점으로 구성된 NextAct 벤치마크를 구축합니다. 임베딩 기반의 소프트 편집 거리(soft edit distance)를 지표로 활용하여, 추상화 수준과 예측 기간(horizon) 전반에 걸쳐 다양한 모델이 개인의 행동을 얼마나 잘 예측할 수 있는지 평가합니다. NextMe-800과 NextAct는 1인칭 시점의 관찰로부터 개인의 행동을 얼마나 먼 미래까지 예측할 수 있는지 연구하기 위한 수개월 분량의 자원 및 평가 프레임워크를 제공합니다.

arXiv:2607.02881v1cs.CL

PraMem: 장기 행동 예측을 위한 실전 기반 경험적 메모리

PraMem: Practice-derived Experiential Memory for Long-horizon Behavior Prediction

장기 행동 예측(long-horizon behavior prediction)은 긴 이력 시퀀스를 기반으로 사용자의 다음 행동을 추론하는 것을 목표로 하며, 인공지능 분야에서 중요한 역할을 담당한다. 대규모 언어 모델(LLM)의 부상은 순차적 행동 예측에 유망한 방향을 제시하지만, LLM은 장기 행동 예측에 있어 잠재적 행동 패턴 귀납 및 모델 내재적 인지 편향 문제를 겪는다. 기존의 메모리 관리 방법들은 이력 시퀀스의 부담을 완화하여 이 문제를 해결하려는 컨텍스트 압축 패러다임을 따르지만, 핵심 과제를 해결하지 못한다. 본 논문에서는 긴 이력 시퀀스를 부담이 아닌 활용 가능한 가치 있는 자원으로 재정의하는 패러다임 전환을 제안하며, 이에 따라 PraMem을 제안한다. PraMem은 긴 이력 시퀀스에 대해 사전 실전 훈련(practice)을 수행하여 경험적 메모리(experiential memory)를 구축하고, 이를 정확한 장기 행동 예측을 위한 보조 입력으로 활용한다. 다양한 태스크에 걸친 광범위한 실험을 통해 PraMem이 기존 방법보다 우월한 성능을 달성함을 입증하며, 심층 분석을 통해 경험적 메모리의 메커니즘과 발전 과정에 대한 유의미한 인사이트를 제공한다. 코드: https://github.com/icip-cas/PraMem.

arXiv:2606.12730v1cs.AI

LLM 심리측정 평가 재고: 자기보고가 행동을 예측하는 때와 이유

Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

대규모 언어 모델(LLM)의 자기보고(self-reports)가 실제 행동을 예측하는지 분석하기 위해 Big 5 대신 계획된 행동 이론(TPB)을 적용하여 평가했다. 그 결과, 동일한 대화 내에서는 TPB가 인간 수준의 일관성을 보이지만 별도의 대화 간에서는 문맥과 행동 유형에 따라 예측력이 선택적으로 나타남을 확인했다.