마라티어와 같은 저자원 언어에서의 개체명 인식(NER)은 주석 리소스의 제한과 언어적 복잡성으로 인해 여전히 어려운 과제이다. 최근 대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 과제에서 우수한 성능을 보여왔지만, 저자원 환경에서 특정 언어에 대한 NER에 대한 그 효과는 여전히 불확실하다. 본 연구에서는 MahaNER 데이터셋의 여러 변형에 대해 MahaBERT-v2를 파인튜닝하고, 이러한 모델의 성능을 기존 MahaNER 기준선 및 Gemini, LLaMA-3.3-70B, Gemma 모델을 포함한 주요 범용 LLM과 체계적으로 비교한다. 모든 모델은 마라티어 NER 테스트 데이터셋에서 정밀도, 재현율, F1-score 등 표준 지표로 평가된다. 실험 결과, 파인튜닝된 MahaBERT 기반 모델은 기준선과 평가된 모든 LLM을 일관되게 능가하며, 파인튜닝된 모델은 0.88~0.91의 F1-score를 달성하여 기존 MahaNER 모델(0.8843)을 상회하고, F1-score가 0.57~0.69인 LLM 기반 접근법의 성능을 크게 초과한다. 이러한 결과는 도메인 관련 데이터로 학습된 과제 특화·언어 중심 모델이 마라티어 NER에서 범용 LLM보다 여전히 더 효과적임을 보여주며, 저자원 언어 처리를 위한 특화 아키텍처의 지속적인 중요성을 강조한다.
독립적으로 학습된 BERT 모델들 사이의 크로스-시드 특징 보편성 문제를 해결하기 위해, 결합 SAE 학습 전 직교 Procrustes 회전으로 활성화 공간을 정렬하는 Procrustes 조건화 결합 엔드투엔드 Top-K 희소 오토인코더(SAE)를 제안한다. SST-2, Stanford Politeness, TweetEval Emotion 세 벤치마크에서 10개의 BERT 모델로 평가한 결과, 사후 정렬 기준선 대비 시드 간 Pearson r ≥ 0.70의 보편적 특징을 더 많이 생성하며, 높은 보편성의 특징이 해석 가능한 사회언어학적 패턴을 인코딩함을 확인했다.
디코더가 빠르게 스케일링된 반면, 인코더는 BERT 이후 거의 변화가 없었다. 우리는 프로빙(probing)을 통한 동결 백본(frozen backbone) 평가로 이 불균형을 재검토한다. 이 관점에서, BERT 인코더의 표현은 퍼플렉서티(perplexity)가 개선됨에도 불구하고 동결 프로브에 의해 점점 활용 불가능해진다. 이 불일치는 표현 학습을 토큰 재구성 손실에 결합시키는 BERT의 평탄한 설계에서 비롯된다. 우리는 고품질 인코딩된 표현의 학습을 토큰 재구성의 엄격한 그라운딩으로부터 분리하는 두 부분으로 구성된 아키텍처인 CrossBERT를 제안한다. 이 설계는 또한 보완적 마스킹 전략(Complementary Masking Strategy)을 통해 높은 마스킹 비율(≥50%) 및 모든 토큰에 대한 그래디언트 수집을 가능하게 하여, 처리량을 각각 1.5~2배, 샘플 효율을 2배 향상시킨다. 전반적으로, CrossBERT는 MTEB(eng, v2) 및 동결 GLUE 벤치마크에서 단조로운 스케일링과 우수한 성능을 보인다.
소셜 미디어 게시물은 자동화된 분석 도구를 활용하여 정신 건강 상태와 사용자의 웰빙을 분석하는 데 풍부하고 가치 있는 데이터 소스입니다. 본 연구에서는 CLPsych Shared Task 2026에 참가하여 자기 상태(self-state) 및 웰빙 분석과 요약을 위해 장단기 기억(LSTM), BERT 기반 모델, 대규모 언어 모델(LLM)을 포함한 다양한 자연어 처리(NLP) 방법을 어떻게 활용했는지 소개합니다. 우리의 접근법은 요약 태스크에서 최상위권의 일관성(Consistency) 및 모순(Contradiction) 점수를 달성했으며, 나머지 태스크에서도 중간 수준의 결과를 기록했습니다. 이러한 정신 건강 상태 추정 시스템을 테스트하고 개발함으로써 정신 건강 지원 시스템 개선에 기여하였습니다. 코드는 https://github.com/psytechlab/CLPsych2026/ 에서 공개합니다.
독일어 기후 뉴스 문장의 위협·해결 프레이밍을 자동 분류하기 위해 퓨샷(few-shot) LLM(Llama 4 Maverick) 프롬프팅과 앞 문장을 문맥으로 활용한 독일어 BERT(deepset/gbert-large) 문장 쌍 분류를 체계적으로 비교한다. 수동 코딩된 오스트리아 신문 440편 코퍼스에서 파인튜닝 BERT는 위협·해결 과제 모두 F1 0.83을, LLM은 F1 0.78을 기록했으며, 앞 문장 문맥이 BERT 분류 성능을 단일 문장 입력보다 크게 향상시킨다.