PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03509v1cs.AI

효율적 추론 학습이 CoT 충실도와 모니터링 가능성을 항상 저해하지는 않는다

Efficient Reasoning Training Does Not Always Harm CoT Faithfulness and Monitorability

사고의 연쇄(Chain-of-Thought, CoT) 추론은 인간이 대규모 언어 모델(LLM)이 답변을 도출하는 과정을 점검하고 모델의 동작을 감독할 수 있게 해줍니다. 그러나 이러한 추론은 추론(inference) 비용 증가를 수반하므로, 모델이 더 적은 토큰을 사용하여 문제를 해결하도록 훈련시키는 효율적인 방법들이 주목받고 있습니다. 하지만 이러한 학습(training)으로 인해 모델이 중요한 추론 단계를 건너뛰게 되어 CoT가 더 이상 모델의 결정을 충실하게 반영하지 못할 수 있다는 우려가 흔히 제기됩니다. 효율화 방법마다 모델의 CoT에 길이 압박을 가하는 방식이 다르고, 모델의 결정을 충실하게 설명하는 데 필요한 토큰 수가 태스크에 따라 다르기 때문에 실제로 이러한 현상이 발생하는지, 혹은 언제 발생하는지는 불분명합니다. 이러한 역학을 이해하기 위해, 우리는 길이 압박을 서로 다르게 적용하는 세 가지 방법(고정된 생성 예산, 예시별 길이 목표, 그룹 상대적 길이 보상(reward))을 사용하여 다양한 모델을 파인튜닝(fine-tuning)합니다. 그리고 효율적 추론이 CoT 충실도(즉, CoT가 관련 입력에 대한 모델의 결정을 얼마나 잘 반영하는지)와 모니터링 가능성(즉, 입력 개입이 출력을 변경할 때 CoT가 이를 드러내는지 여부)에 어떤 영향을 미치는지 평가합니다. 그 결과, 이것이 충실도와 모니터링 가능성에 서로 다르게 영향을 미친다는 점을 발견했습니다. 충실도는 대부분의 설정에서 하락하는데, 이는 주로 학습된 모델의 일관성이 떨어지기 때문입니다. 반면 모니터링 가능성은 더 견고하여, CoT가 훨씬 짧아지더라도 모델은 자신의 답변에 미친 영향을 계속해서 드러냅니다.

arXiv:2607.09786v4cs.AI

길이 페널티는 사고의 연쇄 모니터링 가능성을 저하시킨다

Length Penalties Make Chain-of-Thought Less Monitorable

최근 연구에서는 지나친 사고(overthinking)를 억제하고 추론 비용을 절감하기 위해 길이 페널티를 적용하여 추론 모델을 학습시킨다. 본 논문에서는 이러한 페널티가 사고의 연쇄(Chain-of-Thought)를 모니터링하기 어렵게 만든다는 점을 보인다. 길이 압축 모델은 여전히 오해를 불러일으키는 힌트에 영향을 받아 답변을 도출하지만, 그 영향력을 덜 언어화한다. 연구진은 기준선 사고의 연쇄 길이의 60%에서 30% 수준을 목표로 길이 페널티를 적용한 강화학습으로 Qwen3-4B 및 Qwen3-14B를 학습시킨 후, 미공개 MMLU-Pro-R 및 4개 전이 벤치마크에서 9가지 유형의 편향 유도 힌트를 통해 이들을 평가했다. 사고의 연쇄는 대규모 언어 모델(LLM) 모니터가 이를 바탕으로 힌트가 답변에 영향을 미쳤음을 식별할 수 있을 때 충실하다(faithful)고 본다. 30% 목표치에서 정확도는 기준선 근처로 유지되며 오답 힌트가 답변을 변경시키는 빈도는 이전과 동일하다. 그러나 두 모델 모두 모든 평가 세트에서 충실도가 하락했으며, MMLU-Pro-R에서 Qwen3-14B는 39%, Qwen3-4B는 35% 하락했다. 동일한 정확성 및 형식 보상을 부여하되 길이 페널티 없이 학습된 대조군은 충실도를 그대로 유지하거나 오히려 높였다. 단순한 길이 단축만으로는 이러한 하락을 설명할 수 없다. 압축된 사고의 연쇄는 두 모델 크기와 5개 평가 세트 전반에 걸쳐, 무작위 문장 삭제를 통해 동일한 길이로 축소된 비압축 모델의 사고의 연쇄보다 힌트를 언급하는 빈도가 7~35%포인트 낮았다. 따라서 길이 페널티는 모니터가 의존하는 증거를 제거함으로써 모니터링 가능성을 추론 비용과 맞바꾼다.