PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00368v1cs.CL

Beyond Perplexity: A Behavioral Evaluation Framework for Deployment-Memory Claims in LLM Test-Time Training

테스트 타임 트레이닝(TTT) 연구가 퍼플렉서티(perplexity) 등 로컬 프록시 지표로 평가되지만, 이는 배포된 어시스턴트의 메모리·개인화·사후학습 주장을 뒷받침하기에 불충분하다는 문제를 지적하며, 주장 수준에 따라 증거를 계층화하는 행동 평가 프레임워크를 제안한다. Qwen3/LoRA 진단 실험에서 프록시 손실 감소와 정답 NLL 개선이 나타나더라도 자유 형식 재현(free-form recall)은 0을 기록해 프록시 지표와 실제 배포 행동 간의 측정 가능한 격차를 실증했다.