PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27043v1cs.CL

EduBehaviors: 교육적 대화의 감사 가능한 코딩을 위한 단언(assertion) 기반 스키마

EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues

대규모 언어 모델(LLM)은 관심 구인(construct)에 해당하는 교육학적 주석의 신속한 배포를 가능하게 했으며, 대화형 데이터셋(dataset)에서 분류를 생성하기 위한 자연어 인터페이스를 제공한다. 그러나 LLM 추론의 불투명한 특성 때문에, 모델(model)이 발화에 대해 특정 레이블을 선택한 이유에 대한 검증 가능하고 기계적인(mechanistic) 통찰을 얻을 수 없다. 우리는 EduBehaviors 프레임워크를 제안한다. 이는 해석 가능하고 확장 가능한(scalable) 교육 데이터 주석 접근법으로, LLM을 사용해 많은 관심 구인과 관련된 반복적 관측 가능 행동(observable behaviors)을 측정한 뒤, 이러한 관측 가능 행동을 바탕으로 해당 구인에 대한 분류기(classifier)를 학습한다. TalkMoves 데이터셋에서 프레임워크를 평가하며 Teacher TalkMoves 레이블을 예측한다. 최적 구성은 macro-F1 0.673과 Cohen's kappa 0.688을 달성하여 직접 프롬프팅(direct prompting) 접근법과 경쟁력 있는 성능을 보였다. 또한 연구자가 자체 데이터에서 EduBehaviors 프레임워크를 운영적으로 구현할 수 있게 하는 두 가지 도구인 EduBehaviors Toolkit을 공개한다.

arXiv:2509.02292v2cs.CL

대규모 언어 모델의 제한된 마음 이론: 상황 기반 대화에서의 정신 상태 주석 평가

LLMs and their Limited Theory of Mind: Evaluating Mental State Annotations in Situated Dialogue

대규모 언어 모델(LLM)이 인간의 사고방식을 추론할 뿐만 아니라, 팀원들의 공동 이해 불일치와 같이 팀 대화에 존재하는 모든 맹점을 드러낼 수 있다면 어떨까? 본 논문에서는 LLM을 팀 대화의 인간 스타일 주석자로 활용하여 팀의 공유 정신 모델(SMM)을 추적하는 동시에, 개인들의 정신 상태 간 불일치를 자동으로 탐지하는 검출기로도 활용하는 새로운 2단계 프레임워크를 제시한다. 첫 번째 단계에서 LLM은 Cooperative Remote Search Task(CReST) 코퍼스의 과업 지향 대화 내에서 SMM 요소를 식별하여 주석을 생성한다. 이후 보조 LLM이 이 LLM 기반 주석과 인간 주석을 정답 레이블과 비교하여 불일치를 탐지하고 특성화한다. 우리는 이 사용 사례를 위한 SMM 일관성 평가 프레임워크를 정의하고 이를 6개의 CReST 대화에 적용하여 최종적으로 (1) 인간 및 LLM 주석 데이터셋, (2) SMM 일관성에 대한 재현 가능한 평가 프레임워크, (3) LLM 기반 불일치 탐지의 실증적 평가를 산출한다. 실험 결과, LLM은 단순한 자연어 주석 과업에서 표면적인 일관성을 보이지만, 공간적 추론이나 운율적 단서의 중의성 해소가 요구되는 시나리오에서는 체계적인 오류를 범하는 것으로 나타났다.