arXiv:2606.21066v1 cs.CL

DistilBERT 기반 자동 서술형 평가에서 구성 무관 노이즈로서의 인구통계 메타데이터

Demographic Metadata as Construct-Irrelevant Noise in DistilBERT-Based Automated Essay Scoring

Teik Peng Ch'ng, Hui Na Chua

제출 2026-06-19

한국어 초록

자동 서술형 평가(AES) 시스템은 채점 업무 부담 관리를 지원하고 대규모 평가에서 보조 평가자를 제공하기 위해 점점 더 많이 사용된다. 인간 채점은 학생의 인구통계적 특성에 자주 영향을 받지만, AES 모델 학습에 사용되는 텍스트 입력과 인구통계 메타데이터를 통합하는 다양한 전략의 효과는 아직 충분히 탐구되지 않았다. 본 연구는 다중모달 융합 전략 중 하나인 단순 메타데이터 연결(naive metadata concatenation)이 DistilBERT 기반 AES 모델의 예측 정확도, 학습 수렴, 점수 형평성에 미치는 영향을 조사한다. ASAP 2.0 데이터셋을 사용하여 기준선 모델과 토큰화된 텍스트와 인구통계 메타데이터를 단순 다중모달 융합 전략으로 연결하는 입력으로 학습된 실험 모델을 비교 분석했다. 10-fold 교차 검증으로 평가한 결과, 인구통계 메타데이터와 입력의 조기 융합(early fusion)이 모델의 전반적인 예측 정확도를 크게 저하시킨다는 것이 밝혀졌다. 기준선 모델은 이차 가중 카파(QWK) 0.727을 달성했으며, 메타데이터를 통합하면 0.656으로 하락했다. 또한 실험 모델은 기준선 모델(1.25)에 비해 더 높은 검증 손실(1.29)을 보였다. 실험 모델은 채점 바이어스도 악화되어, 19개 테스트 중 점수 형평성 사례가 15에서 12로 감소했다.

원문 초록

Automated Essay Scoring (AES) systems are increasingly used to support teachers in managing grading workloads and to provide a supplementary rater in large-scale assessments. While human grading is frequently influenced by students' demographic characteristics, the efficacy of different strategies for integrating demographic metadata with textual input used to train AES models remains underexplored. This study investigates the impact of a specific multimodal fusion strategy - naive metadata concatenation - on the predictive accuracy, training convergence, and score parity of a DistilBERT-based AES model. A comparative analysis was conducted using the ASAP 2.0 dataset to evaluate a baseline model against an experimental model trained with input that concatenates tokenised text and demographic metadata using a naive multimodal fusion strategy. Evaluated via 10-fold cross-validation, the findings reveal that the early fusion of demographic metadata and the input significantly degrades the model's overall predictive accuracy. The baseline model achieved a Quadratic Weighted Kappa (QWK) of 0.727, which dropped to 0.656 upon integrating metadata. Furthermore, the experimental model exhibited higher validation loss (1.29) compared to the baseline model (1.25). The experimental model also displayed exacerbated scoring bias, reducing score parity instances from 15 to 12 out of 19 tests.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.21066v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27262v2cs.CL공통 태그 Text Classification, Transfer Learning

하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.

arXiv:2609.22081v2cs.CL공통 태그 Text Classification, Transfer Learning

부문 간 안전 분석을 위한 직업 재해 서사 구조화: 사고 과정 역할 분류의 전이 가능성

Structuring occupational accident narratives for cross-sector safety analysis: Transferability of accident-process role classification

서론: 직업 재해 서사는 작업 상황, 불리한 조건, 사고 사건 및 결과를 기술하지만, 용어와 보고 관행의 차이가 부문 및 조직 간 체계적 분석을 저해한다. 본 연구는 한 직업 부문에서 개발된 모델이 보지 못한 부문 및 보고 환경에서 동일한 사고 과정 정보를 식별할 수 있는지 검토하였다. 방법: 프랑스어 재해 서사를 사실 단위로 분절하고, 작업 상황, 명시적으로 보고된 불리한 조건, 사고 사건 또는 이탈, 또는 보고된 결과로 전문가 주석을 부여하였다. 모델은 6,040건의 건설 부문 서사에서 추출한 42,244개 사실 단위로 개발하였으며, 재학습 없이 야금, 화학-플라스틱, 그리고 독립적으로 수집한 기업 코퍼스에서 평가하였다. TF-IDF 기반 어휘 모델, 고정된 사전학습(pre-training) 텍스트 표현, 과제 적응(task-adapted) 사전학습 모델을 비교하였다. 결과: TF-IDF의 평균 균형 정확도(balanced accuracy)는 75.0%, 고정 사전학습 표현은 76.9%, 과제 적응 후 약 85.7%였다. 반복 실행에서 선도적인 적응 접근법은 전반적으로 유사한 성능을 보였으며, 어떤 방법도 다른 방법을 지속적으로 능가하지는 않았다. 기업 코퍼스에서는 성능이 더 낮고 변동성이 컸으며, 여기서 전이는 서로 다른 보고 환경과 데이터 원천을 수반하기도 하였다. 결론: 건설 서사에서 학습한 사고 과정 역할은 다른 부문 및 독립적인 조직 환경에서도 식별 가능했다. 실용적 응용: 해당 프레임워크는 보조 코딩, 전문가 검토, 부문 간 분석, 대규모 재해 보고 수집물에 대한 예방 지향 분석을 지원할 수 있다.

arXiv:2609.27059v1cs.CL공통 태그 Fairness, Text Classification

일리노이 사회적 태도 종합 말뭉치(ISAAC): 대규모 사회 집단 담론 분석을 위한 공개 도구 및 재현 가능한 파이프라인

The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale

본 논문에서는 2007년부터 2023년까지 17년 동안 인종, 성적 지향, 연령, 장애 여부, 체중, 피부색에 기반한 6가지 핵심 사회 집단 구분에 대한 관련성을 기준으로 선별된 5억 2,700만 개 이상의 영어 레딧(Reddit) 게시물로 구성된 개방적이고 모듈화되었으며 접근성이 높은 말뭉치인 일리노이 사회적 태도 종합 말뭉치(ISAAC, Illinois Social Attitudes Aggregate Corpus)를 소개합니다. 다단계의 인간 감사(human-audited) 필터링 파이프라인을 사용하여 정제된 데이터셋(dataset) 내 무관한 콘텐츠의 비율을 전체적으로뿐만 아니라 각 사회 집단 구분별로도 10% 미만으로 유지했습니다. 이후 각 게시물에는 사용자의 추정 거주 지역과 함께 도덕화, 감성, 감정, 언어적 일반화를 포함하여 검증된 기성(off-the-shelf) 및 맞춤형 시맨틱 레이블 세트가 알고리즘을 통해 주석 처리되었습니다. 우리는 온라인 검색 행동, 주요 사회적 사건(전국적 및 지역적) 동안의 시간적 급증, 대중 태도의 장기적 변화와 같은 거시적 차원의 사회적 경향과 ISAAC을 연결하는 수렴적 증거를 통해 결과 말뭉치의 유효성을 확인합니다. ISAAC은 통합된 공개 인프라를 제공함으로써 연구 파편화를 없애고 원활한 복제를 가능하게 하는 동시에 대규모의 다양한 실증적 워크플로를 지원합니다. 구체적으로 ISAAC을 통해 연구자들은 범주 간 비교를 수행하고, 사회 집단 담론의 장기적인 시간적 변화를 높은 정밀도(precision)로 추적하며, 공간적 변이를 지역화된 여론 및 정책 결과에 매핑할 수 있습니다. ISAAC의 완전 공개형 모듈식 파이프라인은 말뭉치를 새로운 플랫폼, 언어 및 사회적 범주로 쉽게 확장할 수 있도록 지원합니다. 다양한 연구 요구를 수용하기 위해 ISAAC은 포인트 앤 클릭 웹사이트 및 레이블러 웹 앱을 통한 노코드 방식과 SQL 플레이그라운드, Python 패키지, HuggingFace를 통한 프로그래밍 방식 모두로 접근할 수 있습니다.

arXiv:2609.27811v1cs.SI공통 태그 Text Classification, Transfer Learning

언어 모델을 활용한 브라질 YouTube 10년간의 기후 양극화

A Decade of Climate Polarization on Brazilian YouTube using Language Models

온라인 플랫폼은 기후 변화에 대한 공적 논쟁의 장이 되어, 과학적 지식·부정·불확실성이 어떻게 표현되고 다투어지는지를 형성해 왔다. 그러나 YouTube, 특히 포르투갈어 담화에 대한 종단적 증거는 여전히 제한적이다. 이 공백을 메우기 위해, 우리는 브라질 중심의 기후 관련 검색을 통해 수집한 대규모 포르투갈어 YouTube 댓글 말뭉치에서 시간에 따른 기후 입장의 표현과 논쟁 양상을 규명한다. 노이즈가 많고 불균형하며 저자원(low-resource)인 환경에서의 분석을 뒷받침하기 위해, 2014년부터 2024년 사이에 게시된 24만 건 이상의 댓글을 수집하고, 입장 탐지(stance detection)를 3-way 분류 과제(Believer, Denier, Inconclusive)로 공식화한다. 우리는 Llama 3.1 기반의 확장 가능한 자기학습(self-training) 파이프라인을 통해 입장 귀속(stance attribution)을 운영화하며, Low-Rank Adaptation(LoRA)과 하이브리드 인스턴스 선택을 사용해 클래스 다양성을 유지하면서 고신뢰도 의사 라벨(pseudo-labeled) 예시로 학습 세트를 확장한다. 이 접근은 소수 클래스 및 수사적으로 복잡한 클래스에 대한 커버리지와 클래스 균형을 개선하여, 광범위한 수동 주석 없이 대규모 입장 귀속을 가능하게 한다. 결과는 양극화가 상호작용적 비대칭(interactional asymmetries)으로 뚜렷이 나타남을 보여준다. 부정론(denialist) 댓글은 덜 흔하지만, 상대적으로 더 높은 비율의 교차 입장 논쟁(cross-stance contestation)과 연관되며, 합의 지지(pro-consensus) 담화는 동일 입장(homogeneous) 스레드 내에서 더 강하게 강화된다.

arXiv:2609.27939v1cs.CL공통 태그 Fairness, Text Classification

감성 분류에서 실행 가능하고 책임 있는 피드백으로: 학생 강의 평가(SET)에서 NLP의 범위 검토 및 증거 지도, 2015–2026

From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026

서술형 강의 평가 댓글(Student Evaluation of Teaching, SET)에 적용된 자연어 처리(NLP)는 어휘 사전과 기존 분류기에서 트랜스포머와 대규모 언어 모델(LLM)에 이르는 분야의 기술적 진화를 따라왔으나, 이러한 기술 다양화에 교육적 가치와 증거의 견고성에 상응하는 이득이 동반되었다는 점은 분명하지 않다. 본 범위 검토(PRISMA-ScR)는 421편의 연구(2015–2026, 2026년 부분 포함)를 기술 축(RQ1)과 네 가지 가치 차원(RQ2–RQ5)을 따라 지도한다. 이중 상호 맹검 LLM 스크리닝과 표본 추출 인간 판정으로 일곱 추출 도메인을 코딩했으며, 종합 단계에서 표적화된 코드북 경계 검토를 수행했다. 공동 지도에서 가장 뚜렷한 정량적 격차는 실행 가능성 단절(actionability discontinuity)이다: 입증된 산출 또는 그 이상(A2+: 258/421; 61.3%) 대 의도된 사용자 평가 또는 그 이상(A3+: 49/421; 11.6%), 49.7%p 하락이다. 감성 분석은 여전히 최빈 과제(300/421)이며, 진단적·생성적 깊이는 상당한 소수(D4–D5: 해결된 사례의 28.2%)이고, 공식적 공정성(fairness) 지표는 드물다(1.9%). 본 결과는 기술적 공존과 불균등한 보고가 지도의 일부이지만, A2+에서 A3+로의 절벽이 기여이지 품질 사다리가 아님을 밝힌다.

arXiv:2609.24016v1cs.AI공통 태그 Fairness, Text Classification

AI 시스템의 맥락 인식 기반 배포 전 평가: 나이지리아 핀테크를 위한 규제 프레임워크

Context-Aware Pre-Deployment Evaluation of AI Systems: A Regulatory Framework for Nigerian Fintech

상용 대규모 언어 모델(LLM)이 사기 탐지 및 고객 커뮤니케이션을 위해 아프리카 핀테크 인프라 전반에 점점 더 많이 배포되고 있으나, 조달 전 이러한 시스템이 어떤 배포 전 평가(pre-deployment evaluation)를 거쳐야 하는지 명시한 나이지리아 또는 아프리카 대륙 차원의 규제 문서는 전무하다. 본 논문은 글로벌, 아프리카 대륙, 나이지리아의 규제 문서를 아울러 아프리카 핀테크 AI 거버넌스를 검토하고, 안전성(safety)은 원칙으로 확인되는 반면 배포 전 평가는 운영상 구체화되어 있지 않음을 보여준다. 범용 안전성 벤치마크는 나이지리아 기관 관련 콘텐츠를 포함하지 않으며 정상적인 금융 커뮤니케이션의 위양성(false positive) 오분류를 테스트하지 않으므로, 이 도메인에 가장 밀접한 실패 모드를 드러낼 수 없다. 이러한 주장은 3가지 시스템 프롬프트 조건에서 6개의 상용 모델에 적용된 전용 평가 도구인 SafeAlert를 통해 입증된다. 실험 결과에 따르면 범용 유해 콘텐츠 요청을 거부하는 모델도 특정 프레이밍 하에서는 완전한 사기 스크립트를 생성하며, 여러 모델이 대부분의 정상적인 나이지리아 은행 커뮤니케이션을 의심스럽거나 사기성 있는 것으로 오분류하는 등 표준 안전성 평가에서는 드러나지 않는 실패를 보였다. 본 논문은 확인된 격차가 기술적 또는 재정적 자원의 부족이 아니라 규제적 명세의 부재를 반영한다고 주장하며, CBN, NITDA, SEC 및 AU를 위한 배포 전 평가 요건을 제안하는 규제 프레임워크로 결론을 맺는다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.