arXiv:2602.17544v2 cs.AI

재사용성과 검증 가능성을 통한 사고 연쇄 추론 평가

Evaluating Chain-of-Thought Reasoning through Reusability and Verifiability

Shashank Aggarwal, Ram Vikas Mishra, Amit Awekar

제출 2026-11-16

한국어 초록

AI 응용은 한 모델이 다른 모델이 생성한 출력에 따라 작동하는 방식으로 여러 모델을 점점 더 많이 조합한다. 전달되는 텍스트는 송신 모델의 추론도 담을 수 있다. 사고 연쇄는 이러한 텍스트에 대한 우리의 실험적 사례이다. 우리는 이러한 모델 간 추론 전달에 대해 세 가지 질문을 던진다. 추론은 신뢰할 수 있게 전달되는가? 수신자에게 유용한가? 안전한가? 이 세 질문을 송신자-수신자 설정으로 연구한다. 송신자 LLM이 추론 흔적을 생성하고, 별도의 수신자 LLM이 이에 따라 행동해야 한다. 두 모델은 서로의 정체를 알지 못한다. 따라서 송신자는 특정 수신자에 맞춰 추론을 조정할 수 없다. 신뢰성은 수신자가 송신자가 의도한 결론을 복원하는지를 묻는다. 이를 검증 가능성(Verifiability)으로 측정한다. 유용성은 전달된 추론이 수신자가 자신의 실수를 바로잡는 데 도움이 되는지를 묻는다. 이를 교정 가능성(Correctability)으로 측정한다. 안전성은 전달된 추론이 수신자로 하여금 올바른 답을 버리고 송신자가 제공한 잘못된 추론을 따르게 하는지를 묻는다. 이를 기만성(Deceptiveness)으로 측정한다. 과제, 송신자, 수신자의 세 요인 모두가 우리가 측정한 세 지표 모두에 영향을 미친다. 그러나 흥미로운 경향이 몇 가지 있다. 과제의 성격이 추론 전달의 신뢰성에 더 중요한 요인이다. 신뢰성은 산술 과제에서 더 높고 과학 및 상식 과제에서 더 낮다. 수신자의 성격은 추론 전달의 유용성을 결정하는 데 더 중요한 역할을 한다. 송신자의 성격은 오염된 추론이 수신자에게 해를 끼치는지 여부에 가장 크게 영향을 미친다.

원문 초록

AI applications increasingly compose multiple models, where one model acts on the output produced by another model. The transferred text can also carry the reasoning of the sender model. Chain-of-thought is our experimental instance of such text. We ask three questions about such inter-model reasoning transfer. Is the reasoning transmitted reliably? Is it useful to the receiver? Is it safe? We study these three questions with a Sender-Receiver setup. A Sender LLM produces a reasoning trace. A separate Receiver LLM must act on it. Neither model knows the identity of the other. The Sender therefore cannot tailor its reasoning to a particular Receiver. Reliability asks whether the Receiver recovers the Sender's intended conclusion. We measure it with Verifiability. Usefulness asks whether transferred reasoning helps a Receiver correct its mistakes. We measure it with Correctability. Safety asks whether transferred reasoning makes a Receiver abandon a correct answer and follow the wrong reasoning supplied by the Sender. We measure it with Deceptiveness. All three factors (Task, Sender, and Receiver) affect all three metrics that we measure. However, there are some interesting trends. Nature of task is a more important factor in the reliability of reasoning transfer. Reliability is higher on arithmetic tasks and lower on science and commonsense tasks. The nature of Receiver plays more important role while deciding the usefulness of reasoning transfer. The nature of the Sender matters most for whether corrupted reasoning harms the Receiver.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.17544v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.