arXiv:2609.22553v1 cs.CL

정확한 진단, 더 나은 피드백: 논리 증명에서 충실한 LLM 튜터링 피드백을 위한 기호 검증기

Correct Diagnosis, Better Feedback: A Symbolic-Verifier for Faithful LLM Tutoring Feedback in Logic Proofs

Tahreem Yasir, Arnav Mody, Xioayi Tian, Tiffany Barnes

제출 2026-09-22

한국어 초록

효과적인 LLM 튜터링은 피드백을 생성하기 전에 학생의 추론에서 특정 오류를 올바르게 식별하는 데 달려 있다. 우리는 학생의 행동을 형식 추론 규칙에 대해 검증할 수 있는 명제 논리 증명 튜터링에서 이 문제를 연구한다. 진단과 언어 생성을 분리하는 검증기 기반 아키텍처를 제안한다. 균형 잡힌 학생 행동 600건을 사용하여 제로샷 LLM 탐지기, 미세조정 탐지기, 기호 검증기를 비교한다. 각 진단은 공유된 근거(rationale) 및 피드백 에이전트가 처리되어 초기 진단의 효과를 분리한다. 제로샷 탐지기는 macro-F1 0.191을 달성한다. 미세조정은 이를 0.709로 높이지만 구조적으로 관련된 클래스 간 체계적 오류를 유지한다. 근거는 일반적으로 제공된 진단을 보존하여, 잘못된 진단이 파이프라인을 통해 충실하게 전파될 수 있음을 보여준다. 피드백 역시 근거에 충실하고 정답을 노출하지 않으며(non-revealing) 교육적으로 적절하면서도 잘못된 오류를 다룰 수 있다. 검증기 기반 피드백은 가장 높은 진단 정확도를 달성하며, 전문가 평가는 자동 피드백 평가와 대체로 불일치한다. 이러한 결과는 겉보기 피드백 품질이 상류 진단 오류를 가릴 수 있으며, 충실성은 정확성과 별도로 평가되어야 함을 보여준다. 코드는 공개되어 있다.

원문 초록

Effective LLM tutoring depends on correctly identifying the specific error in a student's reasoning before generating feedback. We study this problem in propositional-logic proof tutoring, where student actions can be checked against formal inference rules. We introduce a verifier-grounded architecture that separates diagnosis from language generation. Using 600 balanced student actions, we compare a zero-shot LLM detector, a fine-tuned detector, and a symbolic verifier. Each diagnosis is processed by shared rationale and feedback agents, isolating the effect of the initial diagnosis. The zero-shot detector achieves a macro-F1 of 0.191; fine-tuning raises this to 0.709 but retains systematic errors between structurally related classes. Rationales generally preserve the diagnosis supplied to them, showing that an incorrect diagnosis can be faithfully propagated through the pipeline. Feedback can likewise remain faithful to its rationale, non-revealing, and pedagogically appropriate while addressing the wrong error. Verifier-grounded feedback achieves the highest diagnostic correctness, and expert ratings largely uneven with the automatic feedback evaluations. These findings show that apparent feedback quality can conceal upstream diagnostic errors and that faithfulness must be evaluated separately from correctness. Our code is publicly available

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22553v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.