PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.25524v2cs.AI

Cliff Tokens: Identifying Single-Token Failure Triggers in LLM Mathematical Reasoning

수학 추론에서 정답 확률(token-wise potential)이 통계적으로 급락하는 cliff token을 적응형 z-검정으로 식별하고, deterministic·uncertain·sampled-off 유형으로 분류한다. 7개 모델·3개 벤치마크(GSM1K, MATH500, AIME 2025)에서 첫 cliff token 제거 후 재샘플링 시 pass@64가 1.0까지 회복되며, cliff 위치 단일 토큰 선호 최적화(Cliff-DPO)는 uncertain·sampled-off cliff에서 최대 +6.6p 정확도 향상을 보인다.