PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19636v1cs.LG

어려운 것인지, 단순히 도달하지 못한 것인지? 수학 추론 난이도 추정에서의 샘플링 사각지대 진단

Hard or Just Unreached? Diagnosing the Sampling Blind Spot in Math-Reasoning Difficulty Estimation

수학 및 과학 추론 벤치마크는 정답(gold)에 도달하는 샘플링된 체인의 비율인 pass@k를 표준적인 예제별 난이도 신호로 의존합니다. 동일한 신호는 검증 가능한 보상을 사용하는 강화학습(RL), 수학 데이터 큐레이션, 합성 커리큘럼, 검증기(verifier) 학습을 주도합니다. 우리는 이 프록시가 가장 어려운 계층에서 지속적인 사각지대(blind spot)를 가짐을 보여줍니다: 우리가 테스트한 8개의 자유 형식 수학 셀(4개의 오픈 가중치 모델에 대한 GSM8K 및 MATH)에서, 6번의 시도 동안 어떤 샘플링 시드도 해결하지 못한 예제의 10.3-22.9%는 대신 6체인 결정론적 체제에 의해 동일한 연산량으로 해결됩니다. 이들은 탐욕적 디코딩(greedy decoding)과 활성화 그래프팅(activation grafting)을 통해 적용된 5가지 저렴한 잔차 스트림(residual-stream) 섭동의 조합이며, 탐욕적 디코딩만으로는 이 수학 셀에서 최대 6%만 해결합니다. 복구는 추가적인 예산에 따라 비례하며, 우리는 12개의 모든 셀에 걸쳐 섭동의 기계적 구별성을 확인했습니다(모든 설정에서 교차 종류 수정 집합 Jaccard <= 0.47). 활성화 그래프팅(activation grafting)은 디코딩 방법이 아니라 내부 표현에 대한 개입으로 사용됩니다. 우리는 이것을 순수하게 진단 및 다양화 도구로 사용하며, 우리가 복구한 항목들은 pass@k= 0 % 계층이 수정되지 않은 모델이 일반적인 추론(inference) 하에서 도달하는 것이 아니라 잔차 스트림에서 구조적으로 식별 가능함을 보여줍니다.