PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22478v1cs.AI

호스팅 LLM에서 지속성 없는 재현: 행동 시점 믿음 평가의 측정 민감도

Replication Without Persistence in Hosted LLMs: Measurement Sensitivity in Action-Time Belief Evaluation

호스팅 언어 모델의 행동 평가는 실행마다 평가 대상 서비스, 측정 도구, 또는 둘 모두가 달라질 수 있어 결과가 달라질 수 있다. 우리는 세 가지 검증 질문을 구분한다. 과거 구성 아래 신선한 데이터에서 선행 발견이 재발하는지(재현(replication)), 동일 식별자 아래 평가-추론 구성을 재구축할 때 종점(endpoint)이 바뀌는지(측정 민감도(measurement sensitivity)), 하나의 공통 도구 아래 이후에 시험한 식별자들에 걸쳐 발견이 지속되는지(지속성(persistence))이다. Regent Chess라는 순차 환경(environment)에서 이 질문들을 연구한다. 이 환경에서는 숨겨진 가변 상태가 정확히 기록되어, 행동 시점(action time)에 진술된 믿음(stated beliefs)을 그라운드 트루스(ground truth)에 대해 채점할 수 있다. 양의 종점 값은 matched-uniform 비교군(comparator)보다 성능이 더 나쁨을 의미한다. 이전에 보고된 Gemini 3.1 Flash-Lite 결함(deficit)은 과거 구성 아래 신선한 게임에서 재발한다(+0.0530, 95% CI [+0.0329,+0.0714]). 동일한 공개 식별자 아래 같은 날 연속(back-to-back) H/R 비교에서, 재구축된 구성 아래 model-minus-uniform 종점은 0.0429 더 낮다(H-minus-R 대비의 95% CI [+0.0182,+0.0667]). 여섯 구성 요소가 모두 공동으로 변하므로 어떤 요소도 고립(isolate)되지 않는다. 재구축된 R 아래, 사전에 고정(frozen)된 interleaved same-window 4K 비교는 릴리스와 제품 tier가 다른 식별자인 Gemini 3.1과 Gemini 3.7 사이에서 부호가 뒤집힌다. 추가 서술적·탐색적 셀에서도 동일한 방향 패턴이 나타난다. 추가적인 serving-period 기여는 여전히 미확정이다(-0.0166, [-0.0483,+0.0157]). 따라서 재현, 측정 민감도, 지속성은 하나의 평가 안에서 서로 다른 결론을 낼 수 있으며, 이는 호스팅 모델의 행동 주장을 시험한 식별자, serving period, 측정 도구, 추론 구성으로 명시적으로 색인(indexing)할 필요를 부른다.