arXiv:2606.22478v1 cs.CL

ROMEVA: 로마 우르두어 언어 모델을 위한 기하학 보존 어휘 확장

ROMEVA: Geometry-Preserving Vocabulary Expansion for Roman Urdu Language Models

Mahnoor Khan, Afsheen Asif, Milhan Afzal Khan, Seemab Latif, Mehwish Fatima

제출 2026-06-21

한국어 초록

mBERT와 같은 다국어 언어 모델은 저자원 자연어 처리(NLP)에 널리 사용되지만, 로마 우르두어와 같이 형태론적으로 불일치하는 언어에 대한 적응은 아직 충분히 탐구되지 않았다. 로마 우르두어의 철자 변이는 심각한 서브워드(sub-word) 분절을 유발하며, 토큰당 평균 1.50개의 서브워드를 만든다. 우리는 서브워드 평균 초기화와 PCA 가이드 앵커 손실을 결합하여 어휘 확장 중 임베딩을 안정화하는 ROMEVA(Roman Urdu Embedding-preserving Vocabulary Adaptation)를 제안한다. 36,130개 댓글로 구성된 로마 우르두어 코퍼스를 사용하여 mBERT에 고도로 분절된 500개 토큰을 추가하고, 단순 미세조정, 서브워드 인지 미세조정, ROMEVA를 비교한다. ROMEVA는 사전학습된 임베딩 공간을 가장 효과적으로 보존하는 반면, 단순 미세조정이 하류 감성 분류 성능에서 가장 우수한 결과를 낸다. 이러한 결과는 임베딩 안정성과 하류 성능 사이의 단절을 보여주며, 형태론적으로 불일치하는 언어에서는 엄격한 임베딩 보존보다 더 강한 적응이 바람직할 수 있음을 시사한다.

원문 초록

Multilingual Language Models like mBERT are widely used for low-resource NLP, yet their adaptation to morphologically inconsistent languages such as Roman Urdu remains underexplored. Roman Urdu spelling variation causes severe sub-word fragmentation, averaging 1.50 sub-words per token. We propose \textit{ROMEVA} (Roman Urdu Embedding-preserving Vocabulary Adaptation), which combines sub-word-average initialization and a PCA-guided anchor loss to stabilize embeddings during vocabulary expansion. Using a 36,130-comment Roman Urdu corpus, we add 500 highly fragmented tokens to mBERT and compare naive fine-tuning, sub-word-aware fine-tuning, and \textit{ROMEVA}. While \textit{ROMEVA} most effectively preserves the pretrained embedding space, naive fine-tuning achieves the strongest downstream sentiment classification performance. These findings reveal a disconnect between embedding stability and downstream performance, suggesting that stronger adaptation may be preferable to strict embedding preservation in morphologically inconsistent languages.

요약

로마 우르두어의 철자 변이로 mBERT에서 토큰이 과도하게 분절되는 문제에 대해, 서브워드 평균 초기화와 PCA 가이드 앵커 손실을 결합한 ROMEVA로 어휘 확장 시 임베딩 공간을 안정화하는 방법을 제안한다. 36,130개 댓글 코퍼스에서 500개 고분절 토큰을 추가한 실험에서 ROMEVA는 사전학습 임베딩 보존에 가장 효과적이었으나 단순 미세조정이 감성 분류 성능은 더 높아, 형태론적으로 불일치하는 언어에서는 임베딩 보존보다 강한 적응이 유리할 수 있음을 보여준다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.22478v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15757v1cs.CL공통 태그 Sentiment Analysis, Transfer Learning, Domain Adaptation

저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구

Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi

감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.

arXiv:2609.27262v2cs.CL공통 태그 Text Classification, Transfer Learning

하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.

arXiv:2610.15761v1cs.CL공통 태그 Sentiment Analysis, Domain Adaptation

도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석

Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches

자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.

arXiv:2610.02799v1cs.CV공통 태그 Transfer Learning, Domain Adaptation

FUSEye: 중첩 뷰와 제로 초기화 어댑터를 활용한 경량 학습 어안 객체 탐지

FUSEye: Training-Light Fisheye Detection with Overlapping Views and Zero-Initialized Adapters

어안 렌즈(fisheye) 카메라는 이동 로봇에게 단일 센서 기반의 저비용 주변 시야를 제공하지만, 실무에서 흔히 재사용되는 COCO 사전학습 탐지기는 이러한 카메라에서 제대로 작동하지 않는다. 강한 방사 왜곡(radial distortion)이 국소적 이미지 구조를 뒤틀리게 하고 경계부 압축으로 인해 객체가 거의 보이지 않는 크기로 줄어들기 때문이다. 전체 미세조정(fine-tuning)을 수행하면 이러한 격차를 크게 줄일 수 있지만 대량의 어안 라벨과 연산 자원이 필요하다. 본 논문에서는 백본(backbone)이 동결된 COCO 사전학습 초대형 YOLO26 탐지기(YOLO26-x)를 어안 탐지기로 전환하는 경량 학습 프레임워크인 FUSEye를 제안한다. FUSEye는 삽입된 모듈과 사전학습된 탐지 헤드를 업데이트하면서 약 22만 7천 개의 새로운 파라미터만을 추가한다. 또한 인과적으로 연결된 세 가지 수준에서 전이 격차를 해결한다. 입력 수준에서는 중첩 그리드 뷰 생성 및 박스 재매핑(GridViews)을 통해 압축된 경계 영역을 확대한다. 특징(feature) 수준에서는 제로 초기화 잔차 어댑터(Z-Adapters)가 왜곡으로 인해 유발된 특징 불일치를 교정한다. 결정 수준에서는 학습된 교차 투영 일치도 융합(AgreeFusion)을 통해 여러 뷰에 걸쳐 일관된 근거로 뒷받침되는 경우에만 낮은 신뢰도의 탐지 결과를 승격시킨다. WoodScape 서라운드 뷰 어안 벤치마크에서 FUSEye는 YOLO26-x의 mAP50을 0.148에서 0.266으로 끌어올렸으며 전체 미세조정 정확도의 84.3%를 유지했다. 나아가 라벨링된 학습 이미지의 25%만 무작위로 사용했을 때도 0.2597 mAP50을 달성하여 전체 라벨 사용 성능의 97.6%를 보존했다. 또한 FUSEye는 YOLOv8부터 YOLO11까지의 탐지기 성능을 일관되게 향상시켜 이 기법이 아키텍처에 구애받지 않음을 보였다. 소스 코드는 https://github.com/Su-wenya/FUSEye 에서 공개될 예정이다.

arXiv:2610.01124v1cs.AI공통 태그 Transfer Learning, Domain Adaptation

CortexBridge: 파운데이션 모델을 위한 뇌파 몽타주의 대뇌 피질 정렬

CortexBridge: Cortical Alignment of EEG Montages for Foundation Models

뇌파(EEG) 파운데이션 모델은 고정된 채널 어휘나 제한된 몽타주(montage) 집합으로 사전학습되는 경우가 많아, 전극 배치가 바뀔 때 전이(transfer)가 어렵습니다. 본 연구에서는 임의의 몽타주를 공유된 대뇌 피질 잠재 공간으로 매핑하기 위해 EEG 특징을 전극 및 아틀라스 좌표와 결합하는 경량 어댑터인 CortexBridge를 제안합니다. MOABB(Mother of All BCI Benchmarks)의 5개 뇌-컴퓨터 인터페이스(BCI) 데이터셋에서 동결된(frozen) 3개의 파운데이션 모델로 평가한 결과, CortexBridge는 15개 평가 중 13개에서 성능을 향상시켰습니다. 균형 정확도(balanced accuracy)의 평균 향상폭은 EEGPT에서 0.80%, LaBraM에서 0.70%, CBraMod에서 3.26%였으며, 12개 클래스 정상상태 시각유발전위(SSVEP) 분류에서는 최대 13.02% 향상되었습니다. 학습된 아틀라스 표현을 시각화한 결과 태스크 의존적인 공간 패턴이 드러났으며, SSVEP는 청각 P300에 비해 Yeo 시각 네트워크에서 더욱 집중된 표현을 보였습니다. 이러한 결과는 피질 정렬(cortical alignment)이 이종 EEG 몽타주에서 사전학습된 파운데이션 모델로 향하는, 학습 가능하며 해부학적 근거를 갖춘 라우팅 메커니즘임을 입증합니다.

arXiv:2610.00809v1cs.CV공통 태그 Sentiment Analysis, Text Classification

너무 많은 토큰에 비용을 지불하고 있는가? 간단한 휴리스틱을 활용한 유효하고 비용 효율적인 멀티모달 LLM 주석

Paying for Too Many Tokens? Valid and Cost-Efficient Multimodal LLM Annotation with Simple Heuristics

비전-언어 모델(Vision-Language Models, VLMs)은 대규모로 비디오 주석 작업을 가능하게 하지만, 비용이 빠르게 누적됩니다: 초당 1프레임으로 일반적인 60초 분량의 숏폼 비디오를 처리하는 데에는 수백만 개의 토큰이 필요합니다. 비용을 줄이기 위해 연구자들은 프레임의 일부를 샘플링하거나, 비디오를 이미지 그리드로 압축하거나, 단일 모달리티만 사용하는 등의 휴리스틱에 의존합니다. 그러나 어떤 휴리스틱이 비용을 절감하는지, 그리고 그러한 휴리스틱이 해당 주석을 통해 도출되는 하위 결론(downstream conclusions)을 보존하는지는 여전히 명확하지 않습니다. 이러한 공백을 해소하기 위해, 우리는 숏폼 비디오를 사용하여 감성 분류와 주제 분류라는 두 가지 전산 사회과학(computational social science, CSS) 과제에 대해 이러한 휴리스틱들을 체계적으로 평가합니다. 우리는 선행 연구들이 일반적으로 별개로 다루어 온 세 가지 축, 즉 분류 정확도, 하위 추론(downstream inference)의 유효성, 비디오당 토큰 비용을 기준으로 각 구성(configuration)을 평가합니다. 첫째, 우리는 정확도와 유효성이 서로 다르게 나타난다는 것을 발견했습니다: 가장 높은 정확도를 보이는 구성이 잘못된 결론을 낳을 수 있습니다. 둘째, 모달리티의 가치는 보장되지 않습니다: 텍스트만으로도 강력한 성능을 낼 수 있으며, 이는 모달리티를 추가하는 것이 신호(signal)의 추가 없이 비용만 추가할 수 있음을 시사합니다. 마지막으로, 우리는 숏폼 비디오에 주석을 달 때 비용이 비디오 길이와 분리될 수 있음을 발견했습니다: 간단한 샷 전환 감지(shot-transition detection)를 통해 생성된 단일 $2\times8$ 이미지 그리드는 전체 비디오 이해 수준에 근접하며($κ$ 차이 .05 이내), 토큰 비용은 약 15%에 불과합니다. 이러한 발견을 바탕으로, 우리는 CSS 분야에서 비용을 고려한 VLM 주석 작업을 가능하게 하는 가이드라인을 도출합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.