arXiv:2401.14526

MEDs for PETs: Multilingual Euphemism Disambiguation for Potentially Euphemistic Terms

Patrick Lee, Alain Chirino Trujillo, Diana Cuevas Plancarte, Olumide Ebenezer Ojo, Xinyi Liu, Iyanuoluwa Shode, Yuan Zhao, Jing Peng, Anna Feldman

제출 2024-01-25

원문 초록

This study investigates the computational processing of euphemisms, a universal linguistic phenomenon, across multiple languages. We train a multilingual transformer model (XLM-RoBERTa) to disambiguate potentially euphemistic terms (PETs) in multilingual and cross-lingual settings. In line with current trends, we demonstrate that zero-shot learning across languages takes place. We also show cases where multilingual models perform better on the task compared to monolingual models by a statistically significant margin, indicating that multilingual data presents additional opportunities for models to learn about cross-lingual, computational properties of euphemisms. In a follow-up analysis, we focus on universal euphemistic "categories" such as death and bodily functions among others. We test to see whether cross-lingual data of the same domain is more important than within-language data of other domains to further understand the nature of the cross-lingual transfer.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10256v1cs.CL공통 태그 Zero-Shot Learning, Cross-Lingual Transfer

어떤 언어가 Warlpiri에 가장 잘 전이되는가? 저자원 ASR을 위한 유사도 기반 연구

Which Languages Transfer Best to Warlpiri? A Similarity-Based Study for Low-Resource ASR

이 논문은 극도로 저자원인 환경에서 자동 음성 인식(ASR)의 교차 언어 전이를 개선하기 위해 언어 유사도를 활용하는 방법을 탐구한다. 호주 원주민 언어인 Warlpiri는 전사된 음성 데이터가 매우 제한적이어서 전이학습이 필수적이다. 본 연구는 사전학습된 음성 모델에서 도출한 음향 유사도와 유형론, 음소 목록, 문법적·통사적 특징에 기반한 언어학적 유사도를 결합하는 프레임워크를 제안하여, 고자원 소스 언어들의 순위를 산정하고 Warlpiri로의 ASR 전이에서 그 효과를 평가한다. Whisper를 이용한 실험에서 음향적·유형론적으로 유사한 언어들이 단일 언어 및 다국어 기준선을 능가하는 것으로 나타났다. 아삼어(Assamese)와 힌디어(Hindi)는 단어 오류율 및 문자 오류율에서 상당한 감소를 달성하였다. 상관관계 분석 결과, 음향 유사도가 미세조정 성능의 가장 강력한 예측 인자임이 확인되었으며, 음소 목록과 유형론적 유사도는 제로샷 전이를 더 잘 설명하는 것으로 나타났다.

arXiv:2606.31718v1cs.CL공통 태그 Zero-Shot Learning, Cross-Lingual Transfer

대규모 언어 모델을 활용한 교차 언어 관계 추출: 루마니아어에 대한 제로샷, 퓨샷 및 미세조정 평가

Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian

저자원 언어의 관계 추출(RE)은 일반적으로 주석 코퍼스의 부재로 인해 제약을 받는다. 본 연구는 자동 데이터셋 번역과 대규모 언어 모델(LLM) 추론을 결합하여 루마니아어에 대한 교차 언어 RE의 실현 가능성을 탐구한다. SemEval-2010 Task 8 벤치마크를 LLM 기반 번역 파이프라인을 통해 영어에서 루마니아어로 번역하고, 제로샷, 퓨샷, QLoRA 미세조정 설정 하에서 Gemma 4 31B를 평가하였으며, 125M에서 560M 파라미터 규모의 네 가지 인코더 기준 모델인 XLM-RoBERTa(base 및 large), Romanian BERT, RoBERT-large와 비교하였다. 표시된 개체를 활용한 관계 분류와 종단 간 추출이라는 두 가지 태스크 형식을 평가하였다. 결과에 따르면, 루마니아어는 프롬프트 단독 설정에서 영어 대비 3~5 퍼센트포인트(pp) 하락이 발생하였고, 퓨샷 프롬프팅은 제로샷 대비 미미한 성능 향상만을 제공하였으며, QLoRA 미세조정은 두 언어 모두에서 매크로 F1-Score를 22 퍼센트포인트 이상 향상시키면서 교차 언어 격차를 3.3pp에서 1.4pp로 줄였다. 인코더 기준 모델들은 QLoRA Gemma보다 50~250배 작음에도 불구하고 루마니아어에서 1~4pp 이내의 성능 차이를 보였으며, 125M 파라미터의 단일 언어 Romanian BERT는 278M 파라미터의 다국어 XLM-R에 필적하는 성능을 달성하였다. 따라서 컴퓨팅 자원이 중요한 배포 환경에서는 루마니아어 단일 태스크 RE를 위해 31B 모델을 사용하는 근거가 약하다. 번역된 데이터셋, 평가 코드, 학습된 모델을 공개한다.

arXiv:2606.19346v1cs.CL공통 태그 Zero-Shot Learning, Cross-Lingual Transfer

언어 간 전이에서 언어적 친연성과 작업 정렬의 분리

Disentangling Linguistic Relatedness from Task Alignment in Cross-Lingual Transfer

우리는 7개의 대규모 언어 모델(LLM, 4B~671B 파라미터)을 아랍어로 미세조정(fine-tuning)하고 셈어족 언어와 비셈어족 대조군에서 제로샷(zero-shot) 독해를 평가하여 언어 간 전이를 연구합니다. 밀집(dense) 및 전문가 혼합(MoE) 아키텍처 전반에서, 우리는 셈어족 특정 전이의 증거를 찾지 못했습니다: 기준선(baseline)이 낮은 모델은 모든 언어에서 급격히 향상되는 반면, 기준선이 높은 모델은 어족과 상관없이 미미한 이득만 보입니다. 사고의 연쇄(Chain-of-Thought) 소거 연구는 이 발견을 뒷받침합니다 -- 미세조정(fine-tuning)에서 가장 큰 혜택을 받는 모델이 추론(inference) 시점의 추론에서도 동등하게 혜택을 받는다는 점은 두 메커니즘 모두 언어 간 지식 전이보다는 작업 형식 정렬을 해결한다는 것을 시사합니다.

arXiv:2607.05171v2cs.CL공통 태그 Zero-Shot Learning

RABBiT: 뇌-튜닝을 통한 빠른 적응형 BOLD 기반 모델로 음성 유발 뇌 반응의 정확한 제로샷 및 퓨샷 예측

RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain

뇌에서의 언어 이해는 맥락 의존적이며, 실험 자극과 개인에 따라 달라지기 때문에 두 가지 모두에 걸쳐 일반화되는 계산 모델을 구축하기 어렵다. 이는 새로운 참가자와 입력에 효율적으로 적응하면서 공유 구조를 포착할 수 있는 언어 유발 뇌 활동의 기반 모델(foundation model)을 필요로 한다. 우리는 정확한 제로샷 및 퓨샷 예측을 위해 설계된 소형 오디오-fMRI 인코더인 RABBiT(Rapidly Adaptive BOLD foundation model via BraIn-Tuning)을 소개한다. 여러 미공개 fMRI 데이터셋에서 324명의 참가자를 대상으로 한 종합적인 평가에 따르면, RABBiT은 청각 및 언어 선택 영역에 걸쳐 자연 음성에 대한 fMRI 반응의 정확한 제로샷 예측을 가능하게 하며, fMRI를 위한 SOTA 기반 모델과 집단 평균 기반 예측을 능가한다. 참가자별 데이터 10분만으로도 RABBiT은 매개변수 효율적 튜닝을 통해 성능을 더욱 향상시키며, 참가자별 선형 모델을 크게 능가한다. RABBiT의 성능은 두 가지 핵심 혁신에 의해 구현된다: (1) 학습된 영역별 어텐션, (2) 뇌-튜닝된 음성 백본과 결합된, 뇌 반응을 공유 및 피험자별 구성 요소로 분해하는 방법. 강력한 예측 정확도를 지원하는 것 외에도, RABBiT이 학습하는 구조화된 영역별 표현은 해석 가능성을 제공한다. 광범위한 참가자별 데이터와 모델 피팅의 필요성을 제거함으로써, RABBiT은 인간 뇌에서의 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 한다. 코드는 https://github.com/bridge-ai-neuro/rabbit 에서 제공된다.

arXiv:2609.07780v3cs.CV공통 태그 Zero-Shot Learning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.