SIMLIFE: 장기적 인간-에이전트 협력을 위한 패턴 이해
SIMLIFE: Pattern Understanding for Long-Horizon Human-Agent Partnership
장기적(long-horizon) 관점에서 인간을 이해하기 위해 에이전트(agent)는 사람이 당장 필요한 것이 무엇인지뿐만 아니라 일과가 어떻게 형성되고, 왜 반복되며, 언제 변하는지까지 추론할 수 있어야 합니다. 본 연구에서는 풍부한 시각적 관찰, 정답(ground-truth) 행동 로그, 오디오가 포함된 합성 대화로 장기적인 가정 생활을 시뮬레이션할 수 있는 확장 가능한 플랫폼인 SimLife를 소개합니다. SimLife를 기반으로 구축된 SimLife-BP는 수주일 또는 수개월에 걸친 일상 관찰로부터 잠재적 행동 규칙을 추론하는 능력인 장기 문맥 패턴 이해(long-context pattern understanding)를 평가합니다. 이 벤치마크는 평균 15.49시간 및 게임 내 시간 기준 38.57일에 달하는 106개 에피소드와 1,439개의 질문-답변 쌍을 포함합니다. 각 작업은 다양한 수준의 규칙 힌트 아래에서 직접적, 반사실적, 노이즈 환경, 역추론 능력을 검증합니다. 최신 프론티어 모델과 아키텍처를 평가한 결과, 현재 모델들은 포괄적인 규칙 이해 없이 표면적인 예측만 수행하는 경우가 많고, 증거에 기반한 조건부(if-then) 추론보다는 빈도 기반 휴리스틱에 의존하며, 행동 패턴이 변할 때 적응하는 데 어려움을 겪는다는 점을 발견했습니다. 이러한 결과는 장기 문맥 패턴 이해가 향후 체화된 에이전트(embodied agent)의 주요 병목으로 남아 있음을 시사하는 한편, SimLife가 일상적인 인간-AI 상호작용에서 기억, 개인화, 적응, 장기 계획을 연구할 수 있는 더 넓은 가능성을 열어줌을 보여줍니다.