PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06622v1cs.CL

UnpredictaBench: 대규모 언어 모델(LLM)의 분포적 무작위성 평가를 위한 벤치마크

UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs

우리는 대규모 언어 모델(LLM)이 실제 기저 분포를 포착하는 능력을 테스트하는 평가 방법인 UnpredictaBench를 소개합니다. LLM이 다른 개체(예: 경제 시뮬레이션에서의 인간)의 대체재로 점점 더 많이 사용됨에 따라, 많은 모델이 하나의 그럴듯한 답변으로 수렴하는 경향은 실제 시스템의 예측 불가능성을 포착하지 못함을 의미합니다. 출력 다양성을 개선하는 최근 연구는 이 설정에 있어 불충분합니다. 시뮬레이션은 단순히 다양한 출력이 아니라 목표 분포에 보정된 샘플을 요구하기 때문입니다. UnpredictaBench는 이 문제의 단순화되었지만 근본적인 버전을 다룹니다. 즉, 표준 통계 분포, 확률적 프로그램(stochastic programs)에 의해 유도된 분포, 그리고 무작위 과정을 설명하는 자연어 시나리오를 포함한 개별 목표 분포로부터 결과를 샘플링하는 것입니다. 우리는 448개의 이러한 문제와 KS@N을 소개합니다. KS@N은 콜모고로프-스미르노프 통계적 검정을 통해 모델이 블랙박스 목표 분포를 얼마나 잘 근사화하여 출력하는지를 정량화하는 범용 평가 지표입니다. 이는 정답(ground-truth) 샘플에 대해 크기 N의 모델 샘플을 기각하지 못하는 비율이며, N이 클수록 난이도가 높음을 나타냅니다. 오픈 소스 및 독점 모델 전반에 걸쳐 테스트한 결과, 분포적 능력에 큰 편차가 있음을 발견했습니다. 예를 들어, 모델이 크기 100의 샘플을 생성할 때(KS@100, 우리의 표준 지표), 점수는 0에 가까운 값부터 20% 이상까지 다양합니다. 어떤 모델도 KS@100에서 40% 이상을 달성하지 못했으며, 이는 능력으로서의 분포적 샘플링에 상당한 개선 여지가 있음을 보여줍니다. 추론(reasoning)을 추가하면 점수가 어느 정도 증가할 수 있지만, 이 문제에 대한 즉각적인 해결책은 찾지 못했습니다. UnpredictaBench는 간단한 분포 시뮬레이션조차도 여전히 도전적임을 보여주며, 이를 복잡한 시스템의 대체물로 사용하는 LLM을 위한 필수적인 첫 단계가 됩니다.