PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22797v1cs.AI

대규모 언어 모델에서의 행동 이식성 측정

Measuring Behavior Portability in Large Language Models

대규모 언어 모델(LLM)은 점점 더 자율적 의사결정자로 배치되고 있지만, 모델이 보이는 행동 매핑(behavioral mapping)은 설계상 보수 등가(payoff-equivalent)인 의사결정 환경들—동일한 보수 관련 구조를 공유하지만 표면적 표현은 다른 환경들—사이에서 상당히 달라질 수 있다. 이러한 민감성은 스위트 기반 평가(suite-based evaluation)를 취약하게 만들며, 행동 이식성(behavioral portability)에 관한 근본적인 질문을 제기한다: 하나의 의사결정 환경에서 학습된 행동 매핑이 동일한 근본적 인centive 구조를 보존하는 다른 환경에 얼마나 잘 정보를 제공하는가? 우리는 이 성질을 측정하기 위한 공식적 프레임워크를 제안한다. 우리의 프로토콜은 소스 환경 집합에서 풀링(pooled)된 데이터에 해석 가능한 행동 모델을 적합(fit)하고, 타깃 데이터에 직접 학습된 오라클(oracle)과 비교하여 보류된(hold-out) 타깃 환경에서의 표본 외(out-of-sample) 예측 성능을 평가한다. 이식성은 손실과 무관한(loss-agnostic) 척도를 통해 정량화되며, 이는 타깃 환경에서 유도된 예측-행동(prediction-action) 매핑의 성능에 대한 최악의 경우(worst-case) 상한을 제공한다. 7개의 대표적인 경제학 의사결정 문제에 걸친 통제 실험에서, 우리는 상당하고 체계적인 이식성 손실을 기록했으며, 이는 하나의 의사결정 환경에서 얻은 LLM의 행동 특성화가 구조적으로 동등한 대안으로 신뢰성 있게 전이된다고 가정할 수 없음을 시사한다.