arXiv:2606.20287v1 cs.CL

PsyScore: 특성 적응형 에세이 채점 및 ZPD 기반 비계 설정 피드백을 위한 심리측정학적 인지 프레임워크

PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback

Wei Xia, Jin Wu, Haoran Shi, Xiangyu Wang, Chanjin Zheng

제출 2026-06-18

한국어 초록

효과적인 자동 에세이 채점(AES)은 신뢰할 수 있는 평가와 실행 가능한 교육적 피드백을 모두 지원할 것으로 기대됩니다. 그러나 기존 접근 방식은 종종 채점과 피드백을 별개의 구성 요소로 취급합니다. 신경망 채점 모델은 제한된 해석 가능성을 제공하는 반면, 대규모 언어 모델(LLM) 기반 피드백은 일반적으로 학습자의 숙련도 수준을 반영하지 못합니다. 이러한 단절을 해결하기 위해, 본 연구는 공유된 잠재 능력 표현을 통해 진단적 평가와 교수적 비계 설정을 통합하는 심리측정학적 인지 프레임워크인 PsyScore를 제안합니다. PsyScore는 세 가지 핵심 모듈로 구성됩니다: 등간 부분 점수 모델(GPCM)을 신경망 아키텍처에 통합하여 심리측정학적 해석 가능성을 유지하면서 학생 능력을 정밀하게 추정할 수 있는 특성 적응형 신경망 IRT 채점기, 진단된 능력 매개변수에 따라 멀티 에이전트 피드백 전략을 조정하여 다양한 숙련도 수준에서 교육적 초점을 적응시키는 ZPD 기반 비계 설정 피드백 생성기, 그리고 쌍대 선호 판단과 학생 수정 시뮬레이션을 통해 피드백 품질을 평가하는 다중 관점 피드백 평가 전략입니다. ASAP++ 데이터셋에 대한 실험 결과, PsyScore는 경쟁력 있는 채점 성능을 달성하면서 더 교육학적으로 정렬된 피드백을 제공함을 입증합니다.

원문 초록

Effective Automated Essay Scoring (AES) are expected to support both reliable assessment and actionable instructional feedback. However, existing approaches often treat scoring and feedback as separate components: neural scoring models provide limited interpretability, while Large Language Model (LLM)-based feedback is typically insensitive to learners proficiency levels. To address this fragmentation, this work proposes PsyScore, a psychometrically-aware framework that integrates diagnostic assessment with instructional scaffolding through a shared latent ability representation. PsyScore comprises three key modules: a Trait-Adaptive Neural IRT Scorer that incorporates the Graded Partial Credit Model (GPCM) into a neural architecture, enabling the precise estimation of student ability while maintaining psychometric interpretability, a ZPD-Scaffolded Feedback Generator, which conditions multi-agent feedback strategies on the diagnosed ability parameter to adapt instructional focus across different proficiency levels, and a Multi-Perspective Feedback Evaluation Strategy that assesses feedback quality via pairwise preference judgements and student revision simulations. Experiments on the ASAP++ dataset demonstrate that PsyScore achieves competitive scoring performance while providing more pedagogically aligned feedback.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20287v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02975v2cs.AI공통 태그 Large Language Model

불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화

Reliable Self-Evolution with Imperfect Proxy Rewards

대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.

arXiv:2610.13672v2cs.CL공통 태그 Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.02418v2cs.CR공통 태그 Large Language Model

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2609.28870v3cs.DC공통 태그 Large Language Model

정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고

When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse

장시간 실행되는 LLM 애플리케이션과 자율 에이전트는 점점 늘어나는 컨텍스트를 반복적으로 전송하므로, 프리픽스 캐싱은 프리필 비용을 줄이는 데 매우 중요하다. 이는 수십 년간의 전통적인 캐시 관리 기법이 에이전트형 및 대화형 LLM 서빙에 그대로 적용되는가라는 근본적인 질문을 제기한다. 우리는 200억 개가 넘는 처리 토큰으로 구성된 실제 서비스 트레이스를 분석하고, 용량이 제한된 HBM 환경과 대규모 메모리 풀 환경에서 14가지 축출 알고리즘을 평가한다. 그 결과, 단순한 LRU(Least Recently Used)가 놀라울 정도로 견고하여 정교한 전통적 정책과 대등한 성능을 보이지만, 벨라디(Belady)의 최적 해와는 여전히 상당한 격차가 남아 있음을 확인한다. 그 이유는 구조적이다. 프리픽스 재사용은 활성 세션의 꾸준한 진행 속도에 의해 좌우되므로, 최근 사용 여부가 축출에 대해 이례적으로 강한 예측 변수가 된다. 그럼에도 프리픽스 캐싱은 최근성이 무시하는 측면에서 전통적 워크로드와 다르며, 특히 단일 턴 요청의 만연, 극단적인 세션 크기 편중, 어텐션 연산이 토큰 깊이에 따라 증가하기 때문에 발생하는 매우 불균일한 미스 비용이 그러하다. 최적과의 격차를 줄이기 위해, 우리는 프리픽스 캐시 관리를 위한 몇 가지 설계 원칙을 제시한다. 즉, 최근성을 기준선으로 유지하면서 일회성 프롬프트를 걸러내기 위한 신속한 강등, 비용이 큰 미스를 우선시하는 연산 인지형 축출, 용량 적응형 축출 단위를 함께 도입하는 것이다. 우리의 트레이스와 시뮬레이터는 공개되어 있다.

arXiv:2610.10854v2cs.LG공통 태그 Large Language Model

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.00663v2cs.AI공통 태그 Large Language Model

LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제

Backdoor Containment via Expert Quarantine and Shutdown in LLMs

백도어가 삽입된 대규모 언어 모델(LLM)은 정상 입력에서는 정상적으로 동작하면서 숨겨진 트리거가 주어지면 공격자가 지정한 출력을 생성할 수 있다. 기존 방어 기법은 학습 이전, 학습 중, 학습 이후, 추론 시점의 네 단계에 걸쳐 있으며, 두 가지 기본 전략 중 하나를 공유한다. 하나는 (오염된 데이터를 걸러내거나 최적화 중 그 습득을 차단하여) 백도어 학습을 억제하는 것이고, 다른 하나는 완전히 백도어가 형성된 모델이 만들어진 뒤에 (모델 가중치를 복구하거나 입력을 게이팅하여) 학습한 다음 정화하는 것이다. 우리는 세 번째 전략으로 '학습하되 유도하라(learn, but channel)'를 제안한다. 이는 학습 중 백도어 형성을 허용하되, 이를 배포 시 비활성화할 수 있도록 지정된 격리 구성요소로 유도하는 것이다. 이를 위해 정규화로 유도되는 MoE 유사 환경에서 구축한 계산 효율적 격리 전략인 Quarantined Expert Shutdown(QES)을 제안한다. 구체적으로, 오염된 데이터셋이 주어지면 QES는 Transformer 기반 언어 모델에 라우팅되는 전문가별 LoRA 분기와 경량 라우터를 추가하고, 보조 라우팅 목표를 사용하여 트리거 조건부 동작을 지정된 전문가로 끌어들이면서 다른 곳에서는 정상 능력을 보존한다. 배포 시 완화는 격리된 전문가의 라우팅 가중치를 0으로 만드는 상수 시간의 단일 연산으로 귀결되며, 트리거 검사나 추가 가중치 업데이트가 필요하지 않다. 실험적으로 우리의 방법은 두 가지 과제, 세 가지 공격, 네 가지 모델 계열에 걸친 대부분의 설정에서 공격 성공률(ASR)을 100%에서 0-10%로 낮추며, 하위 과제 성능은 대체로 보존되거나 소폭만 영향을 받는다. 이러한 결과는 '학습하되 유도하라'가 생성형 LLM의 백도어 격리에서 이전에 탐구되지 않은 체제임을 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.