PyTorchKR Papers

최신 논문

총 5,206편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11163v1cs.CL

통합 그래디언트 투영: 다국어 저자원 ASR을 위한 언어 균형 지속 학습

Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR

Whisper와 같은 대규모 사전학습 자동 음성 인식(ASR) 모델은 강력한 다국어 능력을 보인다. 그러나 저자원 언어에 대한 미세조정은 파국적 망각을 유발하는 경우가 많다. 지속 학습이 이 문제를 완화하지만, 기존 방법들은 지배적 언어가 최적화에 바이어스를 주는 다국어 환경에서 태스크 간 간섭을 조절하는 데 어려움을 겪는다. 우리는 통합 투영 공간에서 언어 균형 리플레이로부터의 참조 그래디언트를 사용하여 매개변수 업데이트를 제약하는 통합 그래디언트 투영(UGP)을 제안한다. 투영에서 언어별 기여를 균등화함으로써 UGP는 지배적 언어 바이어스를 줄이고 교차 언어 안정성을 향상시킨다. 나아가 그래디언트 수준의 투영과 데이터 수준의 리플레이를 결합하면 안정성과 가소성 측면에서 상호 보완적인 이점을 얻을 수 있음을 보인다. 다양한 저자원 언어 그룹과 모델 규모에 걸쳐 UGP는 효과적인 적응을 가능하게 하면서 망각을 크게 완화한다. Whisper-large-v3에서는 평균 망각이 거의 0에 가까운 수준을 달성한다.

arXiv:2607.10112v1cs.CR

Minionese: 다국어 LLM 안전성에 대한 종합 벤치마크 및 메커니즘 연구

Minionese: Comprehensive Benchmark and Mechanistic Study of Multilingual LLM Safety

대규모 언어 모델(LLM)의 안전성 정렬(safety alignment)은 언어 간에 여전히 취약하다: 영어에서는 안정적으로 거부되는 프롬프트가 비영어권 및 저자원(low-resource) 환경에서는 유해한 응답을 유도할 수 있다. 우리는 18개 언어, 4개 자원 계층(resource tier), 4가지 변형 유형(표준 번역, 코드 스위칭(code-switching), 음역(transliteration), 번역체(translationese))에 걸친 다국어 탈옥(jailbreak) 벤치마크 \textsc{Minionese}를 소개하며, 이를 언어 계층별 거부 실패에 대한 기하학적 메커니즘 분석과 함께 제시한다. 각 공격 유형이 서로 다른 취약성 프로파일을 생성함을 보인다: 음역 취약성은 스크립트 동일성에 의해 매개되고, 코드 스위칭은 가장 낮은 자원 계층까지 효과를 유지하며, Tier 2와 Tier 3 사이의 안전성 체제 급격한 전환은 모든 모델에 걸쳐 일관되게 나타난다. 메커니즘적으로, 저자원 탈옥은 유해한 콘텐츠를 거부 방향(refusal directions)으로의 투영이 불충분한 기하학적으로 정렬 불일치된 부분 공간(subspace)으로 라우팅함으로써 성공하며, 거부 메커니즘 자체는 온전하지만 트리거되지 않은 상태로 남긴다. 이러한 발견은 영어 전용 안전성 평가가 불충분함을 보여주며, 스크립트 계열, 변형 유형, 언어별 정렬 커버리지를 반드시 고려해야 함을 시사한다. 벤치마크 및 분석 코드는 https://github.com/Brentkong/Minionese-Comprehensive-Benchmark-and-Mechanistic-Study-of-Multilingual-LLM-Safety.git 에서 확인할 수 있다.

arXiv:2607.09611v1cs.CL

실시간 문장 수준 수어 번역을 향하여

Toward Real-Time Sentence-Level Sign Language Translation

대부분의 수어 이해 시스템은 개별 수어 단위로 동작하여 자연스러운 의사소통에서의 활용이 제한적이다. 본 연구는 새로운 번역 아키텍처 제안보다 실시간 배포를 주요 목표로 삼아 문장 수준 수어 번역(SLT)을 연구한다. 컴퓨팅 및 저장 용량 제약으로 인해 How2Sign에서 균일 샘플링한 9,872개 예시 서브셋을 대상으로 SHuBERT를 동결한 채 QLoRA를 적용하여 SHuBERT-ByT5 번역 스택을 파인튜닝하였다. 모델은 검증 BLEU 16.7을 달성하였으며, 테스트 분할에서 BLEU 15.9, BLEURT 44.7을 기록하였다. 본 논문의 주요 기여는 하드웨어 인식 스트리밍 시스템이다. Raspberry Pi 4B 레퍼런스 클라이언트가 카메라 캡처, 로컬 텍스트 표시, 음성 출력을 담당하고, 연산 집약적인 인식 및 번역은 CPU/GPU 백엔드에서 처리된다. 캡처 프로토콜은 클라이언트에 무관하게 설계되어 동일한 백엔드가 브라우저, 휴대폰, 노트북을 모두 지원할 수 있다. 청크 단위 수집, 제한된 큐, 병렬화된 인식, 시간적 재정렬, 문장 경계 상태 기계를 적용하여 전체 9,872개 예시 작업 서브셋에서 평균 최종화 후 응답 지연 시간을 1.873초에서 1.354초로(27.71%), P95 지연 시간을 2.919초에서 2.130초로(27.03%) 단축하였다.

arXiv:2607.09291v1cs.CL

문자 표제어 추출: 중세 문서의 문자 집합 단순화 및 약어 복원을 위한 일대일 및 밴드 RNN

Letter Lemmatization: One-to-one and Banded RNNs for Reversing Character-Set Simplification and Abbreviation in Medieval Text

중세 문서 전사자들은 매우 다양한 관행을 가지고 있으며, 이에 더해 이질적인 디지털화 정책으로 인해 문자 집합을 유동적으로 간주해야 하는 코퍼스가 생성되었다. 본 논문에서는 문자 집합 간 변환 문제를 유연한 방식으로 해결한다. 우리는 일대일 문자 매핑에 초점을 맞추고, 자기지도학습으로 이를 되돌리기 위해 문자 수준의 일대일 RNN을 학습시킨다. 텍스트 20줄만으로도 CER의 절반을 회복할 수 있다. 이러한 일대일 네트워크를 HTR 후처리 교정에 활용한 결과, 삽입-삭제를 완전히 무시함에도 불구하고 유의미한 성능 향상이 나타남을 확인하였다. 이후 병렬 코퍼스에서 컴파일한 문자 수준 정렬 그라운드트루스를 동일한 네트워크에 적용하여 밴드 RNN(Banded RNNs)이라 부르는 학습 및 추론 방식으로 활용한다. 이 네트워크를 이용하여 중세 헌장 전사본의 약어를 성공적으로 확장하였다. 마지막으로, 임의의 두 문자 집합의 문자를 입력받아 우리가 문자의 의미적 유사도로 간주하는 것을 포착하는 메트릭을 정의하는 정교한 휴리스틱을 소개한다. 이러한 매핑 구성을 문자 표제어 추출(letter lemmatization)이라 명명하고, 제시된 모든 방법을 효율적으로 수행하는 풍부한 Python 라이브러리를 공개한다.

arXiv:2603.00620v2cs.CL

QQ: 다국어 자연어 처리를 위한 언어 메타데이터 툴킷

QQ: A Language Metadata Toolkit for Multilingual NLP

다국어 자연어 처리(NLP) 연구는 다양한 데이터셋에 걸쳐 수백 또는 수천 개의 언어를 다루는 경우가 점점 늘어나고 있다. 이러한 규모에서 언어 메타데이터를 관리하고, 탐색하고, 보고하는 것은 흔한 장애물이 된다. 본 논문에서는 메타데이터 툴킷 및 브라우저 탐색기인 QQ를 소개한다. QQ는 언어 변종, 문자 체계, 지역, 식별자, 명칭, 관계로 구성된 그래프로 언어 메타데이터 소스를 통합하며, Python API, 커맨드라인 인터페이스, 브라우저 기반 탐색기를 통해 이를 제공한다. 사용자는 식별자를 정규화하고, 메타데이터를 검색하며, 관계를 탐색하고, 어떤 외부 리소스가 특정 언어를 포함하는지 확인할 수 있다. 본 논문에서는 세 가지 워크플로우에 QQ를 적용하여 시연한다: HuggingFace Hub 감사(audit), 서로 다른 식별자 체계를 사용하는 리소스 연결, 재현 가능한 언어 보고 테이블 생성. QQ는 버전 관리, 개방형 포맷, 재사용 가능한 인터페이스를 통해 FAIR 지향적 메타데이터 관행을 지원한다.

arXiv:2607.09126v1cs.CV

VTaMo: 수어 번역을 위한 비디오-텍스트 정렬 모델

VTaMo: Video-Text Alignment Model for Sign Language Translation

수어 번역(SLT)은 연속적인 수어 영상을 음성 언어 텍스트로 변환한다. 글로스 없는(gloss-free) 방식은 사전학습된 시각 인코더와 언어 모델을 활용하지만, 번역 감독만으로부터 암묵적인 교차 모달 정렬에 의존한다. 우리는 세 단계에서 명시적 다중 세분성 정렬을 도입하는 프레임워크 VTaMo를 제안한다: (1) 세밀한 프레임-토큰 대응을 위해 학습 가능한 널 토큰을 갖춘 엔트로피 정규화 최적 수송(optimal transport)을 통한 지역 정렬; (2) Earth Mover's Distance를 통해 임베딩 공간 기하를 보정하는 학습 가능한 직교 변환을 통한 전역 정렬; (3) 판별적 토큰 수준 표현을 위한 위치 정렬 대조 학습. Phoenix-2014T, CSL-Daily, How2Sign, OpenASL에 대한 실험은 일관된 최신 성능을 보여주며, 어블레이션 연구를 통해 각 구성 요소의 상보적 기여가 확인된다. 코드는 https://github.com/junyi2005/vtamo에서 공개되어 있다.

arXiv:2607.06008v2cs.AI

PolyWorkBench: 다국어 장기 수평 LLM 에이전트 벤치마킹

PolyWorkBench: Benchmarking Multilingual Long-Horizon LLM Agents

PolyWorkBench는 5개 도메인(커머스, 지식 작업, 법률, 로컬라이제이션, 제조)에 걸친 67개 다국어 장기 수평(long-horizon) 업무 워크플로우 태스크로 구성된 LLM 에이전트 평가 벤치마크로, 구조적 채점·실행 검증·LLM 기반 의미 평가를 결합한 하이브리드 평가 프레임워크를 제안한다. 실험 결과 최신 LLM 에이전트들은 단일 언어 환경 대비 다국어 워크플로우에서 유의미한 성능 저하를 보이며, 다국어성이 추론·도구 사용·출력 생성 전 단계에 걸쳐 복합적인 오류 전파를 유발함을 보인다.

arXiv:2607.05992v1cs.CL

PluraMath: 고자원 언어를 넘어 수학적 추론 평가 확장하기

PluraMath: Extending Mathematical Reasoning Evaluation Beyond High-Resource Languages

수학적 추론은 추론 대규모 언어 모델(LLM)을 평가하고 튜닝하는 핵심 과제로 자리잡았으나, 기존 벤치마크는 사전학습 코퍼스와 평가 스위트 모두에서 영어와 중국어가 지배적인 고자원 언어 편향이 심하다. 최근 공개된 PolyMath(Wang et al., 2025) 데이터셋은 중요한 진전을 이루었지만, 여전히 18개의 고자원 언어에만 국한되어 있다. 이 공백을 해소하기 위해 우리는 PluraMath를 소개한다. PluraMath는 PolyMath를 6개 어족에 걸친 18개의 추가 저대표 언어로 확장한 것으로, 중간 자원에서 극저자원 환경까지 포괄한다. 우리는 원어민이 사전 계산된 번역을 철저히 검증하는 인간 큐레이션 파이프라인을 통해 데이터셋을 구축하였다. PluraMath를 활용하여 소형, 중형, 대형, 클로즈드소스 앙상블의 네 가지 모델 규모에 걸쳐 27개의 추론 LLM을 벤치마크하였으며, 다양한 언어 조건에서 최신 모델의 다국어 수학적 추론 능력을 탐색하였다. 세밀한 분석 결과, 고자원 언어와 저대표 언어 간의 수학적 추론 성능 격차가 지속적으로 존재하며, 높은 성능은 대체로 더 나은 인스트럭션 튜닝 능력과 연관됨을 확인하였다. 우리는 저대표 커뮤니티를 위한 다국어 벤치마크 개발의 장벽을 낮추는 것을 목표로 데이터셋, 데이터 수집 파이프라인, 평가 프레임워크를 완전히 오픈소스로 공개한다.

arXiv:2607.05196v2cs.CL

텍스트 지능의 퇴보 없는 통합 오디오 지능

Unified Audio Intelligence Without Regressing on Text Intelligence

오디오 지능은 오디오와 음성 모두를 이해하고 추론하며 생성하는 것을 포함한다. 본 연구에서는 강력한 텍스트 전용 MoE 대규모 언어 모델(LLM)인 Nemotron-Cascade-2-30B-A3B를 기반으로 구축된 통합 오디오-텍스트 LLM, Nemotron-Labs-Audex-30B-A3B(Audex)를 소개한다. Audex는 단일 트랜스포머 디코더를 사용하는 간단한 통합 설계를 채택한다. 오디오 입력은 인코딩되어 텍스트 임베딩 공간으로 투영되며, 텍스트 토큰과 양자화된 오디오 출력 토큰은 생성 과정에서 동일하게 처리된다. 이 아키텍처는 강력한 오디오-텍스트 융합, 원활한 멀티모달 생성, 그리고 표준 LLM 학습 및 추론 인프라와의 호환성을 가능하게 한다. 학습을 위해 157.4B 오디오 토큰과 320.5B 텍스트 토큰으로 구성된 오디오-텍스트 데이터셋을 세심하게 구축하였다. 이 데이터셋에 대해 다단계 지도 학습을 적용한 후, 텍스트 전용 Cascade 강화학습(RL)과 다중 도메인 온-정책 지식 증류를 수행하였다. Audex는 최첨단 오디오 이해, 음성 인식 및 번역, 텍스트 음성 변환, 오디오 생성, 음성-음성 생성을 제공하는 동시에, 텍스트 전용 LLM 백본이 지닌 뛰어난 추론, 정렬(alignment), 지식, 긴 컨텍스트, 에이전트(agentic) 역량을 미미하거나 전혀 없는 퇴보로 유지한다. 우리는 오픈 연구를 촉진하기 위해 모델 체크포인트를 공개한다.

arXiv:2605.14152v2cs.CL

ROK-FORTRESS: 국가 안보 및 공공 안전을 위한 지정학적 트랜스크리에이션 효과 측정

ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety

ROK-FORTRESS는 영어-한국어 언어 쌍과 미국-대한민국 지정학적 축을 활용해 언어 효과와 지정학적 그라운딩 효과를 분리 평가하는 이중 언어 문화 적대적 NSPS(국가 안보·공공 안전) 벤치마크로, 1,235개 태스크에 걸쳐 트랜스크리에이션 매트릭스(transcreation matrix)를 적용한다. 최첨단 모델과 한국어 최적화 모델 모두에서 한국어 변형이 일관된 유해 출력 억제 효과를 나타냈으며, 이는 번역 전용 평가가 포착하지 못하는 언어-맥락 상호작용이 LLM 안전성 동작을 형성함을 보여준다.

arXiv:2604.11290v2cs.CL

폴리글랏 교사: 다국어 합성 데이터 생성을 위한 언어 모델 평가

Polyglot Teachers: Evaluating Language Models for Multilingual Synthetic Data Generation

다국어 SFT 데이터 합성 시 교사 모델 선택이 흔히 최대 규모 모델로 임의 결정되는 문제를 분석하고자, Polyglot Score(PG-Score)라는 내재적·외재적 평가 지표를 도입해 6개 언어에서 10개 언어 모델을 체계적으로 비교했다. 모델 규모보다 프롬프트 다양성, 길이, 응답 유창성 같은 데이터 품질 요소가 학생 모델 성능의 93.3% 이상을 설명하며, Gemma 3 27B와 Aya Expanse 32B가 일관되게 우수한 다국어 교사 모델로 나타났다.

arXiv:2410.14074v2cs.CL

현대 의사결정 지원 및 과학기술 분석 시스템을 위한 대규모 언어 모델을 활용한 자연어 데이터셋의 언어 간 전이

Transferring Natural Language Datasets Between Languages Using Large Language Models for Modern Decision Support and Sci-Tech Analytical Systems

연구개발(R&D)을 위한 의사결정 과정은 특정 연구 분야의 최신 동향과 관련된 정보에 의존한다. 본 연구에서는 대규모 언어 모델(LLM)을 활용하여 데이터셋과 그 어노테이션을 한 언어에서 다른 언어로 전이하는 방법을 탐구하였다. 이는 서로 다른 언어 간 지식 공유가 목표 언어에서 자원이 부족한 특정 분야를 발전시키고, 데이터 어노테이션이나 빠른 프로토타이핑에 소요되는 노력을 크게 절감할 수 있다는 점에서 중요하다. 본 연구에서는 영어-러시아어 쌍을 대상으로 DEFT(Definition Extraction from Texts) 코퍼스를 번역하는 실험을 수행하였다. 이 코퍼스는 용어-정의 쌍 추출에 특화된 세 개의 어노테이션 레이어를 포함하며, 이는 러시아어에서 드문 어노테이션 유형이다. 이러한 데이터셋의 존재는 용어와 정의가 모든 과학 분야의 기본 구성 요소인 만큼, 과학 분야의 트렌드 분석을 위한 자연어 처리(NLP) 방법론에 있어 유익하다. 본 논문에서는 LLM을 활용한 어노테이션 전이 파이프라인을 제시한다. 마지막으로, 번역된 데이터셋으로 BERT 기반 모델을 학습시켜 기준선을 확립한다.

arXiv:2607.06457v1cs.CV

Andha-Dhun: 힌디어 오디오 설명에 대한 첫 번째 고찰

Andha-Dhun: A First Look at Audio Descriptions in Hindi

힌디어 시각장애인을 위한 오디오 설명(AD) 생성 연구로, 8편 장편 영화에서 수집한 최초의 힌디어 AD 데이터셋 Andha-Dhun을 소개하고 영어 밀집 설명에서 직접 생성하는 방식과 영어 AD를 번역하는 두 가지 접근법을 perplexity 및 LLM-as-a-judge 지표로 평가했다. 단순 기계 번역은 문화적 참조 적응에 실패하고 다양성을 낮추며, 힌디어 BLV 시청자를 위한 진정한 접근성 달성에는 원본 충실성보다 대상 청중에 맞는 콘텐츠 적응이 더 중요함을 발견했다.

arXiv:2607.06544v1cs.AI

문화유산 보존의 관점에서 인도 AI를 재고하다

Rethinking Indic AI from a Lens of Cultural Heritage Preservation

인도 아대륙의 자연어 처리(NLP) 기술 발전을 종단적으로 조망하며, 풍부한 형태론·복잡한 문자 체계·양층 언어 현상 등 인도 언어의 구조적 특성이 AI 파운데이션 모델 구축에 제기하는 고유한 과제를 분석한다. 저자원 언어 전반에서 공평한 성능을 보장하고 문화적으로 의미 있는 출력을 생성하기 위해, 해석학적 추론에 기반하여 AI를 재구상하는 'Culture Sensing' 연구 방향을 새롭게 제안한다.

arXiv:2607.05198v1cs.LG

잡음 채널 최소 베이즈 위험 디코딩

Noisy-Channel Minimum Bayes Risk Decoding

최소 베이즈 위험(MBR) 디코딩은 샘플링된 의사 참조문(pseudo-reference)에 대한 기대 효용을 최대화하는 가설을 선택함으로써, 최대 사후 확률(MAP) 디코딩보다 더 견고하고 높은 품질의 텍스트 생성을 달성한다. 그러나 설계 상의 불일치가 존재한다: 가설 선택은 주어진 의사 참조문에 조건부로 기대 효용 점수를 계산하는 반면, 일반적으로 사용되는 평가 지표(예: BLEU, COMET)는 비대칭적이다. 따라서 가설→참조문 방향과 참조문→가설 방향 모두의 효과를 고려하는 것이 중요하다. 본 연구에서는 이러한 비대칭성을 처리하기 위해 양방향 효과를 자연스럽게 통합하는 MBR 디코딩의 잡음 채널 분해를 제안한다. MBR 디코딩을 네 가지 상호작용 구성 요소로 분해한다: 가설→참조문 가능도(likelihood), 참조문→가설 가능도, 가설 사전 확률, 참조문 사전 확률. 이 분해는 기존 MBR 변형들에 대한 통합된 해석을 제공하고, 각 채널의 기여를 분리함으로써 지표별·태스크별 해석 가능성을 가능하게 한다. 종합적인 분석을 통해, 채널별 기여가 태스크 간에는 일관성을 유지하면서 지표 간에는 뚜렷이 다른 특성을 보임을 밝혀냈으며, 적절한 채널 가중치 부여가 기존 MBR 디코딩 대비 성능 향상으로 이어질 수 있음을 시사한다.

arXiv:2607.03160v1cs.CL

대규모 언어 모델에서 프롬프트 언어와 번역 이론 기반 프롬프트의 역할: 스페인어-중국어 저널리즘 번역 사례 연구

The Role of Prompt Language and Translation-Theory-Driven Prompts in Large Language Models: A Case Study on Spanish-Chinese Journalistic Translation

본 연구는 프롬프트 언어와 번역 이론 기반 프롬프트 설계가 GPT-5.2가 생성하는 스페인어-중국어 저널리즘 번역의 품질에 미치는 영향을 조사한다. El Pais의 사설 4편으로 구성된 병렬 코퍼스를 48가지 실험 조건(프롬프트 유형 4종, 프롬프트 언어 3종, 기사 4편)에서 번역하였다. 번역 품질은 자동 평가를 위해 BLEU와 BERTScore-F1을 사용하고, 다차원 품질 메트릭(MQM) 프레임워크에 기반한 인간 평가를 병행하였다. 자동 평가 지표는 기준선 프롬프트(BASE)를 최고 성능 조건으로 식별한 반면, 인간 평가에서는 브리프 지향 프롬프트(BRIEF)가 가장 높은 순위를 기록하였다(MQM: 8.66 대 7.84). 이러한 역전 현상은 자동 평가 방식에 내재된 단일 참조 제약에 기인할 가능성이 높다. 하위 오류 유형 분석 결과, 번역 이론 기반 프롬프트는 어색한 문체(Awkward style) 오류를 선택적으로 감소시킨 반면, 비관용적 문체(Unidiomatic style) 오류는 모든 조건에서 지속되었다. 프롬프트 언어는 두 평가 패러다임 모두에서 무시할 수 있는 수준의 영향만 미쳤다. 이러한 결과는 번역 이론 기반 프롬프트가 저널리즘 번역의 전문가 평가에서 측정 가능한 품질 향상을 가져올 수 있음을 시사하지만, 언어 학습자를 위한 교육적 함의는 시사적 수준에 머물며 사용자 기반 연구를 통한 검증이 필요하다.

arXiv:2607.02763v1cs.CL

LuxSQA: TTS 증강 음성 질의응답으로 룩셈부르크어로 질문하기

LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering

음성 질의응답(SQA)은 여전히 고자원 언어와 정밀하게 녹음된 음성에 집중되어 있어, 저자원 환경에서 음성-LLM 방법론의 적용 범위를 제한하고 있다. 본 논문은 텍스트 음성 변환(TTS)이 대규모 인간 녹음 QA 코퍼스 없이도 룩셈부르크어 SQA를 위한 태스크 특화 학습 데이터를 제공할 수 있는지 탐구한다. 기존 텍스트 기반 QA 자료를 출발점으로, 질문을 룩셈부르크어로 번역하고 다수의 TTS 시스템으로 음성 질문을 합성한 후 텍스트 답변과 쌍으로 구성한다. 우리는 학습된 프로젝터와 LoRA 어댑터를 통해 고정된 Whisper 인코더를 고정된 다국어 LLM 백엔드에 연결하는 매개변수 효율적인 SLAM 스타일 아키텍처를 학습시킨다. MMS-TTS, Qwen3-TTS, OmniVoice 변형을 비교하며, 약 48k 질문의 단일 출처 코퍼스와 약 230k 질문의 4TTS 다중 출처 혼합 데이터를 포함한다. 두 가지 실제 룩셈부르크어 화자 조건으로 구성된 LLAMA-LB-Test에서의 평가 결과, 다중 출처 및 음성 디자인 기반 합성 학습 구성이 가장 우수한 SQA 성능을 보인다. 또한 참조 없는 TTS 품질 점수가 다운스트림 QA 성능을 단조롭게 예측하지 않음을 보여주며, 이는 합성 음성을 자연스러운 오디오로서만이 아니라 태스크 특화 학습 데이터로 평가해야 함을 시사한다.

arXiv:2512.14926v2cs.CL

루마니아어 비전-언어 모델을 위한 매개변수 효율적 멀티모달 지시 미세조정

Parameter Efficient Multimodal Instruction Tuning for Romanian Vision Language Models

저자원 언어에 집중하는 것은 생성 AI의 민주화를 향한 필수적인 단계입니다. 본 연구에서는 루마니아어의 멀티모달 자연어 처리(NLP) 자원 격차를 줄이는 데 기여합니다. 널리 알려진 Flickr30K 데이터셋을 루마니아어로 번역하고, 오픈소스 대규모 언어 모델(LLM)을 활용하여 시각적 질의응답(visual question answering)을 위해 이를 추가로 확장합니다. 오픈소스 비전-언어 모델(VLM)을 루마니아어 시각적 질의응답에 대해 미세조정함으로써 데이터셋의 유용성을 입증합니다. 세 가지 널리 사용되는 모델 패밀리인 LLaMA 3.2, LLaVA 1.6, Qwen2에서 VLM을 선택하며, 미세조정에는 매개변수 효율적인 LoRA 기법을 적용합니다. 우리의 모델은 시각적 QA에서 루마니아어 능력이 향상되었을 뿐만 아니라, 루마니아어 이미지 설명 생성과 같이 학습되지 않은 태스크에서도 성능 개선을 보입니다. 70억 매개변수 모델인 Qwen2-VL-RoVQA는 두 태스크 모두에서 최고 점수를 기록하며, 원본 버전 대비 VQA와 캡셔닝에서 각각 BERTScore F1 기준 +2.29% 및 +4.45%의 향상을 달성합니다. 마지막으로, 모델들은 원본 형태 대비 문법 오류가 크게 감소하여, 언어 이해뿐만 아니라 루마니아어 유창성에서도 향상이 이루어졌음을 나타냅니다.

arXiv:2508.04796v3cs.CL

패리티 인식 바이트 쌍 인코딩: 토큰화에서의 교차 언어 공정성 향상

Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization

토큰화는 대부분의 자연어 처리(NLP) 파이프라인에서 첫 번째이자 종종 가장 덜 검토되는 단계이다. 토크나이저 학습을 위한 표준 알고리즘은 빈도 기반 목적 함수에 의존하는데, 이는 학습 데이터에서 지배적인 언어를 우대하고 결과적으로 저자원 언어에 불균형적으로 긴, 형태론적으로 부자연스러운, 심지어 <UNK> 플레이스홀더로 가득 찬 토큰화를 초래한다. 이 현상은 궁극적으로 서로 다른 언어 배경을 가진 사용자들 간의 계산적·금전적 불평등을 증폭시킨다. 이를 해결하기 위해, 우리는 널리 사용되는 BPE 알고리즘의 변형인 패리티 인식 바이트 쌍 인코딩(Parity-aware Byte Pair Encoding, BPE)을 제안한다. Parity-aware BPE는 매 병합 단계에서 현재 압축률이 가장 낮은 언어의 압축 이득을 최대화하는 공정-최대(fair-max) 규칙을 적용하여, 소량의 전역 압축률을 희생하는 대신 교차 언어 공정성을 확보한다. 실험 결과, Parity-aware BPE는 언어별 토큰 비용의 지니 계수(Gini coefficient)로 측정한 토큰화 불평등을 기존 BPE 대비 최대 89%까지 감소시킴을 확인하였다. 이는 전역 압축률에 무시할 수 있는 수준의 영향만을 미치며, 다운스트림 언어 모델(LM) 성능의 체계적인 저하 증거도 나타나지 않는다.

arXiv:2607.03657v1cs.CV

ViPo-MLLM: 글로스 없는 수어 번역을 위한 시각-포즈 멀티모달 LLM

ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

글로스 없는 수어 번역(SLT)은 글로스 어노테이션 없이 수어 영상을 음성 언어 문장으로 변환하는 것으로, 비용이 많이 드는 레이블링을 피할 수 있지만 손, 몸통, 얼굴 단서에 대한 세밀한 모델링이 필요하다. 기존 방법들은 단일 모달리티 또는 약하게 융합된 특징을 사용하는 경우가 많아 성능이 제한된다. 본 논문에서는 시공간 RGB와 인체 포즈 특징을 통합하는 프레임워크인 ViPo-MLLM을 제안한다. 전용 인코더가 모달리티 내부 다이나믹스를 모델링하고, 크로스 모달 어텐션이 장거리 의존성을 포착한다. 융합된 표현은 구조화된 프롬프트로 조건화되어 대조 학습 및 언어 모델링 목적 함수로 학습된 LLM에 의해 처리된다. 제안된 모델은 PHOENIX14T 및 CSL-Daily 데이터셋에서 평가되어 두 데이터셋 모두에서 새로운 최고 성능을 달성하였다. 또한 ViPo-MLLM 모델은 글로스 기반 인식 방법과 비교해서도 경쟁력 있는 성능을 달성하여, 제안된 포즈 단서와 크로스 모달 어텐션 메커니즘의 효과를 확인하였다.