대규모 언어 모델(LLM)은 다양한 영역에서 괄목할 만한 발전을 이루었으나, 여전히 신뢰할 수 없거나 오해의 소지가 있는 출력을 생성할 수 있습니다. 책임감 있는 LLM 활용을 위해, 모델 출력이 문제가 될 가능도를 나타내는 모델의 출력 불확실성을 추정하는 불확실성 정량화 기법이 사용됩니다. LLM 추론(reasoning) 작업의 경우, 최종 답변뿐만 아니라 중간 추론 과정에서도 불확실성이 어디에서 발생하는지 특정하는 불확실성 추정이 필수적입니다. 이러한 정보는 추론(inference) 과정에서 보다 세밀하고 표적화된 개입을 가능하게 할 수 있습니다. 본 연구에서는 LLM 추론 궤적 내에서 불확실한 지점의 위치를 효과적으로 특정할 수 있는 지표를 조사합니다. 연구 결과, 앞선 토큰들의 임베딩 섭동(perturbation)에 매우 민감한 토큰에서 불확실한 중간 생성이 일어날 가능성이 더 높다는 점을 밝혀냈습니다. 실험을 통해 이러한 섭동 기반 지표가 확률 기반, 샘플링 기반, 베이지안 기반 접근 방식을 포함한 기준선(baseline) 방법보다 불확실한 중간 단계를 특정하는 데 더 우수한 성능을 달성함을 보여줍니다. 아울러 제안된 지표는 뛰어난 간결성과 효율성 또한 제공합니다.
LLM 추론용 검증 가능한 보상 강화학습(RLVR)에서 롤아웃당 그래디언트 스텝 수로 결정되는 오프-정책 정도가 중요도 샘플링 비율 분산과 클리핑 동작을 바꿔 업데이트를 지배하는 토큰을 달리한다는 점을 이론 분석으로 설명하고, 토큰 그룹별 중요도 샘플링 비율 분산에 맞춰 클리핑 경계를 조정하는 Adaptive Clip Policy Optimization(ACPO)을 제안한다. 3B·7B 모델의 수학 문제 풀이, 표 QA, 논리 퍼즐 등 추론 벤치마크에서 ACPO가 DAPO, CISPO 등 강력한 베이스라인을 능가한다.
LLM 강화학습 사후학습에서 다양한 어드밴티지 함수들을 양성·음성 그래디언트 질량(gradient mass)과 난이도 축으로 분해하는 통합 프레임워크를 제시하며, 부호 불균형이 엔트로피 붕괴나 rank-1 업데이트 붕괴를 유발함을 밝힌다. 이를 바탕으로 학습 동역학을 실시간으로 읽어 그래디언트 가중치를 자동 조정하는 FADE(Focal Advantage with Dynamic Entropy)를 제안하여, 7B·32B 규모 모두에서 LiveCodeBench와 AIME의 pass@k 전반에 걸쳐 정확도-다양성 트레이드오프를 개선하고 최적 성능 도달 속도를 기존 정적 베이스라인 대비 최대 20,000 스텝 앞당겼다.