PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.00264v2cs.AI

정답이 논증은 아니다

The Answer Is Not the Argument

사고의 연쇄(Chain-of-Thought) 모니터링은 AI 감독(oversight)을 위한 방법으로 제안되고 있으나, 기존 평가에서는 모니터에 신뢰할 수 있는 참조 정답을 제공하는 경우가 많다. 본 연구에서는 정답에 대한 접근 권한이 추론 과정의 검증 능력을 향상시키는지, 아니면 주로 결론에 대한 정보만을 제공하는지 질문을 던진다. 이를 위해 Humanity's Last Exam의 79개 물리학 문항에 대해 자연스럽게 생성된 단계별 번호가 매겨진 풀이 237개를 수집하고, 최종 정답의 정확성과 최초의 오류 단계를 독립적으로 라벨링했다. 8개의 대규모 언어 모델(LLM) 모니터가 참조 정답 접근 조건을 달리하며 해당 추론 과정을 평가했다. 정답 증명(certification) 제공 시 평균 균형 정확도(balanced accuracy)는 0.637에서 0.796으로 증가했으나, 오류 탐지에 미치는 영향은 결론에 강하게 의존했다. 오답 추론 과정에서는 재현율(recall)이 +0.299 증가한 반면, 추론 오류가 포함된 정답 추론 과정에서는 개선의 증거가 관찰되지 않았다(-0.083, 95% CI [-0.196, +0.030]). 이어서 7개 모니터를 대상으로 추론 과정을 고정한 채 증명 일치성(certificate-congruence) 개입 실험을 진행했다. 실제 정답 증명을 추론 과정 자체의 부정확한 결론으로 대체하자 오류 플래깅(flagging)이 0.659(95% CI [0.602, 0.711]) 감소했으며, 이는 정답을 보지 않는 조건보다도 0.389 낮은 수치였다. 반대로 상충하는 거짓 증명을 제공했을 때는 오류가 없는 정상 추론 과정에 대한 플래깅이 0.580 증가했으며, 새로 플래깅된 사례의 82.9%가 내부 추론 단계에 결함이 있다고 잘못 지정했다. 따라서 종합적인 성능 평가에 독립적인 추론 검증뿐만 아니라 강력한 증명-결론 일치 신호가 혼재되어 있으므로, 신뢰할 수 있는 정답에 접근할 수 있도록 하는 설정은 모니터링 성능을 실제보다 훨씬 강력해 보이게 만들 수 있다.

arXiv:2607.04572v1cs.AI

절단된 사고의 연쇄 감사를 통한 LLM 기반 교육용 튜터의 정답 주도 추론 탐지

Detecting Answer-Driven Reasoning in LLM-Based Educational Tutors via Truncated Chain-of-Thought Auditing

대규모 언어 모델(LLM) 튜터는 종종 유창한 단계별 설명을 생성하지만, 올바르고 교육적으로 형식화된 응답이 반드시 해당 답이 학생이 마주하는 문제로부터 도출되었음을 보장하지는 않는다. 현실적인 튜터링 시스템에서 모델은 교사 노트, 정답지, 채점 기준표, 또는 검색된 풀이 결과물에도 접근할 수 있다. 우리는 이러한 비공개 정답 정보가 튜터 설명을 정답 주도(answer-driven) 방식으로 만들 수 있는지 연구한다: 최종 답이 작성된 설명이 이를 정당화하기 전에 행동적으로 이용 가능한 상태가 되는 것이다. 사고의 연쇄(chain-of-thought) 접두 문맥이 얼마나 일찍 검증기를 통과할 수 있는지를 탐지하는 TRACE(Truncated Reasoning AUC Evaluation)를 사용하여, 세 가지 쌍을 이루는 튜터링 컨텍스트—질문만, 정확한 정답지, 오답 정답지—에서 1000개의 GSM8K 테스트 문제를 평가한다. 각 생성된 설명의 고정된 비율 지점에서 모델이 즉시 답하도록 강제하고 응답을 정답(gold) 수치와 대조하여 검증한다. Qwen2.5-3B-Instruct에서 정답지 접근은 TRACE AUC 중앙값을 0.375에서 0.900으로 높이고, 1000개 중 997개 사례에서 첫 10% 접두 문맥 시점에 정답을 이용 가능하게 만든다. 이 효과는 질문만 조건과 정답지 조건의 설명 모두 올바른 답으로 끝나는 746개의 예시에서도 강하게 유지된다. 이러한 결과는 절단된 CoT 감사(truncated CoT auditing)가 수학 튜터링 설명에서의 정답 주도 추론을 탐지하는 경량 프로세스 수준 진단 도구로서 유효함을 지지한다.

arXiv:2601.00791v2cs.LG

추론의 기하학: 유효한 수학적 추론의 스펙트럼 서명

Geometry of Reason: Spectral Signatures of Valid Mathematical Reasoning

언어 모델의 수학적 추론 유효성을 학습 없이 검증하기 위해 어텐션 행렬의 스펙트럼 서명을 분석하는 방법을 제안합니다. 이 방법은 논리적 일관성을 포착하여 높은 분류 정확도를 달성하고 증명 검색 성능을 향상시킵니다.