신규 AI 지원 교육 문항의 교육학적 평가를 위한 사전학습 모델 평가
Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions
한국어 초록
AI 지원 교육 자료 생성의 급증은 교육학적 품질을 검증할 역량을 앞질러 왔다. Bloom Classifier 모델을 이용한 자동 평가는 교육 자료를 대규모로 평가하는 유망한 접근이다. 이러한 모델은 분포 내(in-distribution) 데이터셋(IID 데이터셋)에서 높은 정확도를 보인다. 그러나 동일한 모델을 AI 지원 생성 문항과 같은 새로운 분포 외(out-of-distribution, OOD) 데이터셋에 적용하면 성능 저하가 나타날 수 있다. 데이터셋 이동(dataset shift) 하에서 견고한 분류기를 찾기 위해 Bloom 수준 분류 과제에 대해 전통적 머신러닝(ML), 트랜스포머, 대규모 언어 모델(LLM)을 평가했다. 또한 NLP 지표를 포함한 특징 공학(feature-engineering) 전략, 입력의 일부로 학습 목표를 덧붙이는 방법, OOD 성능을 안정화하기 위한 텍스트 스플라이싱(text splicing)을 탐구했다. 기준선 테스트는 TFPOS-IDF ML 모델이 OOD에서 BERT(0.55) 및 LLM(0.79)에 비해 낮은 성능(Macro F1-score 0.48)을 보임을 나타낸다. 텍스트 스플라이싱은 ML 및 BERT 모델의 macro F1-score 성능을 각각 0.59와 0.62로 향상시켰다. 입력에 학습 목표를 덧붙이는 것은 특정 데이터셋에서 모델 성능을 높였다. 모델 재학습은 모델과 데이터셋 전반에서 가장 큰 개선을 제공했다. 전반적으로 이러한 결과는 신규 AI 지원 교육 문항에 사전학습 모델을 사용할 때의 트레이드오프와, 전략적 특징 강화가 성능 저하를 완화하는 데 어떻게 기여하는지를 부각한다.
원문 초록
The surge in AI-assisted generation of educational materials has outpaced our capacity to validate their pedagogical quality. Automated evaluation using Bloom Classifier models is a promising approach to assess educational materials at scale. These models show high accuracy within-distribution dataset (IID Dataset). However, applying the same models to new out-of-distribution (OOD) datasets such as AI-assisted generated questions could show performance degradation. To identify robust classifiers under dataset shift, we evaluated traditional Machine Learning (ML), transformer, and Large Language models on the Bloom level classification task. We also explored feature-engineering strategies incorporating NLP metrics, appending the learning objectives as part of the input, and text splicing to stabilize OOD performance. Our baseline tests show that TFPOS-IDF ML models perform poorly on OOD (Macro F1-score 0.48) compared to BERT (0.55) and LLMs (0.79). Text splicing improved macro F1-score performance of ML and BERT models (0.59 and 0.62, respectively). Appending the learning objectives with the input increased model performance on specific dataset. Model retraining provided the largest improvement across models and datasets. Overall, these findings highlight the trade-off on the use of pre-trained models with novel AI-assisted educational questions and how strategic feature enhancements help address loss in performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27749v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
텍스트 기술어로부터 스타트업 엑시트 예측 - 전산언어학적 프레임워크
Predicting Startup Exit from Textual Descriptors - A Computational Linguistics Framework
본 연구는 맥락, 재무 또는 인적 자본 변수에 의존하지 않고도 텍스트 기술어(textual descriptor)만으로 엑시트(Exit)로 정의되는 초기 단계 스타트업의 성공을 예측할 수 있음을 보여준다. 20년에 걸쳐 7,419개 스타트업을 포괄하는 벤처 캐피털 큐레이션 데이터셋을 활용하여, 본 연구는 텍스트 기반 프레이밍 변수를 분리하고 스타트업 내러티브 매핑을 통해 850개의 특징(feature)을 엔지니어링한다. 데이터 하위 집합과 벡터 임베딩(embedding)의 통계적 유의성을 평가한 후, 6개 모델에 걸쳐 지도 머신러닝 실험을 수행한다. 로지스틱 회귀(Logistic Regression)를 사용한 이진 엑시트 예측은 임베딩을 제외한 모든 특징을 사용했을 때 0.55의 재현율(recall)과 0.48의 F1 점수를 달성하며, 임베딩을 포함한 텍스트 기술어만을 사용했을 때는 0.59의 재현율과 0.26의 F1 점수를 달성한다. 특징 분석 결과에 따르면 형용사, 전문 용어(jargon), 유행어(buzzwords)와 같은 과장 마커(hyping marker)의 최적화된 밀도는 더 높은 엑시트 확률과 연관되어 있는 반면, 과도한 설명문이나 사명(name) 길이는 더 낮은 확률과 연관되어 있음을 나타낸다. 또한 본 연구는 벤처 심사(venture screening)에 잠재적으로 적용할 수 있는 정량화 가능한 Hyping Score를 도입한다. 이러한 결과는 정보 비대칭성이 높은 투자 환경에서 스타트업의 프레이밍이 경제적 성과의 독립적인 예측 요인으로 기능할 수 있음을 시사한다.
부문 간 안전 분석을 위한 직업 재해 서사 구조화: 사고 과정 역할 분류의 전이 가능성
Structuring occupational accident narratives for cross-sector safety analysis: Transferability of accident-process role classification
서론: 직업 재해 서사는 작업 상황, 불리한 조건, 사고 사건 및 결과를 기술하지만, 용어와 보고 관행의 차이가 부문 및 조직 간 체계적 분석을 저해한다. 본 연구는 한 직업 부문에서 개발된 모델이 보지 못한 부문 및 보고 환경에서 동일한 사고 과정 정보를 식별할 수 있는지 검토하였다. 방법: 프랑스어 재해 서사를 사실 단위로 분절하고, 작업 상황, 명시적으로 보고된 불리한 조건, 사고 사건 또는 이탈, 또는 보고된 결과로 전문가 주석을 부여하였다. 모델은 6,040건의 건설 부문 서사에서 추출한 42,244개 사실 단위로 개발하였으며, 재학습 없이 야금, 화학-플라스틱, 그리고 독립적으로 수집한 기업 코퍼스에서 평가하였다. TF-IDF 기반 어휘 모델, 고정된 사전학습(pre-training) 텍스트 표현, 과제 적응(task-adapted) 사전학습 모델을 비교하였다. 결과: TF-IDF의 평균 균형 정확도(balanced accuracy)는 75.0%, 고정 사전학습 표현은 76.9%, 과제 적응 후 약 85.7%였다. 반복 실행에서 선도적인 적응 접근법은 전반적으로 유사한 성능을 보였으며, 어떤 방법도 다른 방법을 지속적으로 능가하지는 않았다. 기업 코퍼스에서는 성능이 더 낮고 변동성이 컸으며, 여기서 전이는 서로 다른 보고 환경과 데이터 원천을 수반하기도 하였다. 결론: 건설 서사에서 학습한 사고 과정 역할은 다른 부문 및 독립적인 조직 환경에서도 식별 가능했다. 실용적 응용: 해당 프레임워크는 보조 코딩, 전문가 검토, 부문 간 분석, 대규모 재해 보고 수집물에 대한 예방 지향 분석을 지원할 수 있다.
지리공간 임베딩은 고대림을 탐지하지만, 버퍼 공간 검증은 Sentinel 특징 대비 그 이점을 줄인다
Geospatial embeddings detect old-growth forests but buffered spatial validation narrows their advantage over Sentinel features
고대림은 인위적 교란이 거의 없는 상태에서 수세기에 걸쳐 형성되어 구조적으로 복잡하고 생물다양성이 높은 임분을 이룬다. 유럽에서는 이를 보호하려면 개별 임분 단위로 정확하면서도 대륙 전역에 배포 가능한 지도화가 필요하다. 지리공간 파운데이션 모델(GFM) 임베딩은 라벨이 부족한 토지 분류를 가능하게 하지만, 고대림 탐지에 대한 그 가치는 아직 알려져 있지 않다. 본 연구에서는 알프스 생물지리구(Alpine Biogeographic Region)에 전형적인 너도밤나무-가문비나무 경관인 루마니아 남부 카르파티아 211,893 ha에 걸쳐 고대림을 지도화한다. 고대림 및 비고대림 임분에 대한 고신뢰·전문가 기반 참조 라벨을 구축한다. 지형 및 인간 접근 예측변수로 구성된 공통 기준선에 AlphaEarth, TESSERA v2, Sentinel-1/2 특징을 추가한 뒤, 잔여 공간 자기상관을 줄이기 위해 10 km 학습-검증 버퍼 유·무에 따른 공간 블록 검증 하에서 이를 비교한다. 버퍼를 적용하면 GFM 및 Sentinel-1/2 예측변수가 기준선 대비 정밀도-재현율 AUC를 0.21–0.25 [95% CI: 0.15–0.34]만큼 높여, 스펙트럼 데이터에 공간적으로 견고한 고대림 신호가 포함됨을 시사한다. PR-AUC 0.84 [0.79–0.88]에서 TESSERA는 버퍼 없는 공간 검증 하에서 Sentinel-1/2(+0.08 [+0.05–+0.11]) 및 AlphaEarth(+0.08 [+0.04–+0.12])보다 우수하다. 그러나 10 km 버퍼에서는 이 우위가 각각 +0.04 [-0.01–+0.11] 및 +0.03 [-0.04–+0.10]로 줄어들어, 차이가 없음과 일치하는 구간이 된다. 10 m 해상도에서는 합성곱 신경망(CNN)이 픽셀 기반 XGBoost보다 이점을 주지 않는다. 국가·대륙 규모 제품 4종과의 비교는 비고대림 라벨의 중요성을 보여 주며, 현장 보정 지도와 본 연구 예측 간 81% 일치를 드러낸다. 고대림 탐지 모델을 보지 못한 경관으로 전이할 때 버퍼 공간 검증이 필수적임을 결론짓고, 후속 연구를 위해 라벨과 예측을 공개한다.
99% 정확도는 무엇을 측정하는가? 널리 쓰이는 가짜 뉴스 코퍼스의 숏컷 학습에 대한 재현 가능한 감사
What Does 99% Accuracy Measure? A Reproducible Audit of Shortcut Learning in a Widely Used Fake News Corpus
ISOT/Kaggle "Fake and Real News" 코퍼스로 학습한 텍스트 분류기는 정확도와 F1이 0.98을 넘는다고 일상적으로 보고되는데, 이는 진위 여부를 판단하는 일의 어려움을 생각하면 어색한 수준의 성능이다. 우리는 투명한 TF-IDF 및 선형 분류기 파이프라인을 측정 도구로 사용하여, 세 가지 누수 경로와 두 가지 분포 변화 프로토콜에 따라 이 코퍼스를 감사하고, 모든 코드와 도출된 수치를 공개한다. 첫째, 이 벤치마크는 부분적으로 퇴화되어 있다. 기사 본문을 버리고 subject 메타데이터 필드만 입력받은 분류기가 F1 = 1.000을 달성하는데, 이는 두 클래스가 서로 겹치지 않는 subject를 갖기 때문이다. 둘째, 세 가지 누수 경로인 메타데이터, 실제 기사의 99.2%에 존재하는 뉴스통신사 출처 태그, 그리고 단순하게 나눈 테스트 분할의 19.4%를 오염시키는 6,251개의 중복 문서를 모두 제거해도 F1은 1.21포인트(0.9935에서 0.9814로)만 낮아진다. 남은 신호는 몇 개의 결정적인 토큰이 아니라 확산된 편집 문체이며, 가중치가 가장 높은 유니그램 1,000개를 삭제하더라도 F1은 여전히 0.926이다. 셋째, 이러한 문체 신호는 전이되지 않는다. 주제가 서로 겹치지 않는(topic-disjoint) 프로토콜에서는 평균 정밀도(average precision)가 0.9995에서 0.9475로, 실제 배포 시점의 F1이 0.9905에서 0.8067로 하락하며, 사전확률을 맞춘(prior-matched) 분석은 판별력이 실제로 5.2포인트 감소했음을 확인해 준다. 반면 시간적 전이는 거의 손실이 없다. 파인튜닝한 DistilBERT는 분포 내에서는 더 강하지만(F1 = 0.9993) 주제 변화에서는 훨씬 더 크게 저하되어, 선형 모델의 5.2포인트에 비해 평균 정밀도가 12.9포인트 감소한다. 독립적인 LIAR 벤치마크로 전이하면 세 모델 모두 무작위에 가까운 순위 성능(ROC-AUC 0.54-0.57)으로 떨어지며, 어느 것도 다수 클래스 기준선(majority-class baseline)을 넘지 못한다. 우리는 이 코퍼스 내부의 점수가 진위 여부가 아니라 출처와 주제의 분리 가능성을 정량화하며, 모델 용량을 늘리면 숏컷을 피하기보다 오히려 이용하게 된다고 결론짓고, 향후 연구를 위한 저비용 진단 수단으로 메타데이터 전용, 소규모 표본, 주제 비중첩 기준선을 사용할 것을 권고한다.
해석 가능한 문체 특징을 활용한 GPT 지원 글쓰기 탐지
Detecting GPT-Assisted Writing Using Interpretable Stylometric Features
GPT의 도움을 받아 작성한 학생 글과 독자적으로 작성한 학생 글을 구분하는 일은 학계에서 중요한 과제가 되었다. 본 논문은 제출된 텍스트에서만 추출한 해석 가능한 문체 특징(stylometric features)의 판별 능력을 평가한다. 독자적으로 글을 쓰고 ChatGPT의 도움을 받아서도 글을 쓴 90명의 참여자 데이터를 사용하여, 검증 과정에서 동일 참여자의 데이터를 함께 묶어 유지한 채 여덟 가지 머신러닝 분류기를 평가한다. 홀드아웃 테스트 세트에서 랜덤 포레스트(Random Forest)는 ROC-AUC 0.87, F1 점수 0.84를 달성했으며, 위양성률(False Positive)과 위음성률(False Negative)은 각각 22.2%와 11.1%였다. SHAP 분석 결과, 어휘적 특성과 문법적 특성이 예측 결과를 좌우하는 것으로 나타났다. 이러한 결과는 투명한 텍스트 내재적 특징이 GPT 지원 글쓰기를 탐지하는 데 측정 가능한 신호를 제공함을 시사한다.
우울증 탐지를 위한 멀티모달 도메인 일반화: 어텐션 기반 BiLSTM 네트워크와 도메인 적대적 학습
Multimodal Domain Generalization for Depression Detection: An Attention-Based BiLSTM Network with Domain-Adversarial Training
심층 학습을 이용한 자동 우울증 탐지는 유망한 결과를 보여왔지만, 화자 간 변동성에서 기인하는 도메인 시프트(domain shift)로 인해 일반화가 제한되는 경우가 많다. 이러한 중요한 문제를 해결하기 위해, 우리는 도메인 일반화(DG)를 통합한 최초의 환자 독립적 멀티모달 우울증 탐지 프레임워크를 제안하며, 음향 및 텍스트 모달리티를 공동으로 활용한다. 제안 모델은 양방향 장단기 메모리(BiLSTM)와 모달 내 및 교차 모달 어텐션 메커니즘을 통합하고, 의사결정을 위해 세그먼트 수준 융합을 수반한다. 일반화는 신경망의 도메인 적대적 학습(DANN)에서 영감을 받은 그래디언트 역전 층을 적용하여 더욱 향상되며, 이는 모델이 개별 화자를 식별하는 능력을 적대적으로 제한함으로써 도메인 불변 표현을 촉진하고, 효과적으로 환자 특이적 바이어스를 줄인다. Androids-Corpus 데이터셋에서 5-겹 교차 검증(CV) 프로토콜로 실험을 수행하여, 다양한 세그먼트 길이에 걸쳐 오디오 및 텍스트 특징 추출기의 다양한 조합을 평가했으며, 30초 세그먼트 길이에서 MelSpec과 ItalianBERT를 최적 기준선으로 확인했다. 이 기준선에 DG를 추가하면 정확도가 2.5%, F1 점수가 3.3% 향상되어, 정확도 93.2%, 정밀도 93.2%, 재현율 96.2%, F1 점수 94.2%를 달성하며 기존의 모든 벤치마크를 능가한다. 광범위한 ablation 연구를 통해 멀티모달 융합, 심층 아키텍처 선택, DG의 영향을 평가하고, 이들이 견고하고 일반화 가능한 우울증 탐지에 기여하는 결합적 효과를 강조한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.