PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.14570v2cs.CL

다국어 저자원 감정 탐지를 위한 멀티 에이전트 LLM에서 토폴로지와 다양성의 분리 분석

Disentangling Topology and Diversity in Multi-Agent LLMs for Multilingual Low-Resource Emotion Detection

멀티 에이전트 LLM 시스템은 여러 번의 추론 호출을 결합하지만, 기존 연구는 호출들이 서로 연결되는 방식과 호출들을 다양화하는 방식을 종종 혼동한다. 본 연구는 이 두 요인, 즉 추론 토폴로지(inference topology)와 에이전트 간 다양성의 원천을 독립적으로 연구한다. 통제된 $2 \times 3$ 행렬에서 병렬 집계(parallel aggregation)와 순차적 정제(sequential refinement)를 확률적 샘플링(stochastic sampling), 역할 프롬프팅(role prompting), 학습된 QLoRA 전문화(specialization)와 교차 조합하며, 각 백본 내에서 세 번의 호출 예산과 출력 프로토콜을 고정한다. Qwen2.5-14B-Instruct와 Llama-3.1-8B-Instruct를 사용하여 9개 언어에 걸친 다국어 저자원 감정 탐지에서 여섯 가지 구성을 모두 평가한다. 병렬 학습 전문화는 Qwen에서 52.83 Macro-F1로 가장 강력하며 Llama에서는 52.94에 도달한다. Qwen에서는 동일 백본의 제로샷, 퓨샷, CoT, 그리고 일곱 번 호출하는 자기 일관성(self-consistency) 베이스라인도 능가한다. 선호되는 토폴로지는 다양성의 원천에 따라 달라진다. 순차적 정제는 확률적 설정과 프롬프트 기반 설정에서 도움이 되는 반면, 학습된 설정에서의 Width(병렬) 이점은 Qwen의 2.83포인트에서 Llama의 0.17포인트로 줄어든다. 깊이(depth)별 분석은 이후 단계의 학습된 전문가가 올바른 초기 예측을 덮어쓸 수 있음을 시사하지만, 전체적인 효과는 백본에 따라 달라진다. 종합하면, 에이전트를 어떻게 차별화하는가가 토폴로지보다 더 큰 성능 변화를 만들어내며, 토폴로지는 전문화와 함께 공동으로 평가되어야 한다.

arXiv:2607.10256v1cs.CL

어떤 언어가 Warlpiri에 가장 잘 전이되는가? 저자원 ASR을 위한 유사도 기반 연구

Which Languages Transfer Best to Warlpiri? A Similarity-Based Study for Low-Resource ASR

이 논문은 극도로 저자원인 환경에서 자동 음성 인식(ASR)의 교차 언어 전이를 개선하기 위해 언어 유사도를 활용하는 방법을 탐구한다. 호주 원주민 언어인 Warlpiri는 전사된 음성 데이터가 매우 제한적이어서 전이학습이 필수적이다. 본 연구는 사전학습된 음성 모델에서 도출한 음향 유사도와 유형론, 음소 목록, 문법적·통사적 특징에 기반한 언어학적 유사도를 결합하는 프레임워크를 제안하여, 고자원 소스 언어들의 순위를 산정하고 Warlpiri로의 ASR 전이에서 그 효과를 평가한다. Whisper를 이용한 실험에서 음향적·유형론적으로 유사한 언어들이 단일 언어 및 다국어 기준선을 능가하는 것으로 나타났다. 아삼어(Assamese)와 힌디어(Hindi)는 단어 오류율 및 문자 오류율에서 상당한 감소를 달성하였다. 상관관계 분석 결과, 음향 유사도가 미세조정 성능의 가장 강력한 예측 인자임이 확인되었으며, 음소 목록과 유형론적 유사도는 제로샷 전이를 더 잘 설명하는 것으로 나타났다.

arXiv:2607.07883v1cs.AI

나이지리아 기계류: 도메인 기반 추론 층을 갖춘 저자원 산업 데이터셋

Nigeria Machinery: A Low-Resource Industrial Dataset with a Domain-Grounded Reasoning Layer

아프리카 경제권의 산업 기계류에 관한 공개적이고 모델 학습에 바로 활용 가능한 데이터는 매우 부족하다. 이로 인해 해당 환경에 기반한 수치 과제에서 정량적 분석을 수행하거나 언어 모델을 학습시키기가 어렵다. 우리는 이 문제의 일부를 해결하기 위해 두 가지를 공개한다. 첫 번째는 나이지리아 기계류 사용 및 고장 데이터셋으로, 28개 지표에 걸친 89개의 기계 수준 레코드를 포함하며 2006년부터 2025년까지 나이지리아의 제조업 및 석유·가스 부문을 다룬다. 모든 레코드는 공개 출처를 명시하고 코드북으로 해석된다. 두 번째는 이러한 희소한 수치 값으로부터 사고의 연쇄(CoT) 추론 예시를 구축하는 방법이다. 결과물은 프롬프트, 완성, 추론 추적으로 구성된 94개의 행이다. 각 행의 프롬프트는 해당 레코드가 출처로 삼는 실제 지표, 하위 부문, 연도, 출처를 명시한다. 데이터 적응 작업은 Adaption Labs가 수행하였다. 이 과정에서 우리는 언어 모델이 데이터셋을 구축하는 데 활용될 때 흔히 나타나는 문제를 기술한다. 프롬프트가 실제 수치와 일치하면서도 실제 도메인에 대해서는 아무것도 언급하지 않을 수 있다. 이를 수정하면 도메인 기반 프롬프트의 비율이 이전 릴리스의 78개 중 1개에서 94개 중 94개로 높아지고, 모든 검색 답변이 출처 값과 일치함을 보인다(84개 중 84개). 데이터, 추론 층, 그리고 행별 출처 파일을 CC-BY-4.0 라이선스 하에 공개한다. 한계에 대해서도 명확히 밝힌다. 89개의 레코드와 단 하나의 관측치만을 가진 17개의 지표로 구성된 이 데이터셋은 대규모 학습 데이터셋이 아닌 참조 및 시드 데이터셋이다. 대부분의 추론 행은 다단계 계산보다는 검색에 해당한다.

arXiv:2607.06289v1cs.CL

신할라어에서 디베히어로: 저자원 음성 인식을 위한 교차언어 전이학습

From Sinhala to Dhivehi: Cross-Lingual Transfer Learning for Low-Resource Speech Recognition

저자원 언어인 디베히어(Dhivehi) 자동 음성 인식(ASR) 성능을 향상시키기 위해, 언어적으로 연관된 신할라어(Sinhala)를 활용한 교차언어 전이학습(cross-lingual transfer learning) 5가지 패러다임을 체계적으로 비교 실험하였다. 신할라어 지속적 사전학습 후 KenLM 디코딩을 적용한 디베히어 파인튜닝이 WER 12.89%, CER 2.70%로 최고 성능을 달성했으며, 터키어 대조 실험을 통해 성능 향상이 언어적 유사성에서 비롯됨을 확인하였다.

arXiv:2607.04515v1cs.CL

에픽어의 디지털 보존을 향하여: 저자원 아프리카 언어를 위한 텍스트 음성 변환

Towards Digital Preservation of Efik: TTS for a Low-Resource African Language

에픽어(Efik)는 나이지리아 남동부에서 약 300만 명의 제2언어 화자와 150만 명의 원어민 화자가 사용하는 성조 언어로, 음성 합성 연구에서 여전히 과소 대표되고 있다. 본 연구는 에픽어에 대한 최초의 문서화된 엔드투엔드 텍스트 음성 변환(text-to-speech) 연구를 제시하며, 총 3시간 분량의 2,632개 발화로 구성된 단일 화자 코퍼스와 저자원 조건에서 네 가지 신경망 모델(VITS, MMS-TTS, SpeechT5, Orpheus-TTS)에 대한 비교 평가를 소개한다. 원어민 화자들이 MOS, Nat-MOS, A-MOS를 사용하여 시스템을 평가하였다. MMS-TTS는 3.80 ± 0.63으로 가장 높은 MOS를 달성하였고 장문 음성에서 더 안정적인 결과를 보였으나, 성조 오류는 지속적으로 나타났다. 다른 모델들은 성조 및 운율 측면에서 더 큰 불일치를 보였다. 이러한 결과는 재현 가능한 기준선(baseline)을 제공하며, 성조를 가진 아프리카 언어를 위한 더 큰 코퍼스와 성조 인식 모델링의 필요성을 부각시킨다.

arXiv:2606.29706v1cs.IR

ARMOR: 저자원 통신 질의응답을 위한 적응형 검색기 최적화

ARMOR: Adaptive Retriever Optimization for Low-Resource Telecom Question Answering

통신 질의응답(QA)은 검색-증강 생성(RAG)에 있어 까다로운 환경이다: 증거가 표준, 논문, 백과사전적 자료, 웹 문서에 분산되어 있으며, 답변은 기술적 표, 방정식, 전문 프로토콜 언어에 크게 의존하는 경우가 많다. 저자원 하위 도메인에서는 생성기 미세조정이 과도하게 특화되어 일반적 능력을 저하시킬 수 있으므로, 쿼리 측 검색기 적응이 매력적인 대안이 된다. 이에 우리는 고정된 생성기와 쿼리 적응형 RAG 시스템이 생성기 측 적응을 능가할 수 있는지, 그리고 해당 환경에서 어떤 검색기 목적 함수가 가장 적합한지를 탐구한다. 우리는 제한된 매개변수 및 소프트 검색 가정 하에서, 쿼리 인코더 튜닝의 유효 차원이 더 작을 때 지도 미세조정보다 추정 항이 더 작아질 수 있음을 보임으로써, 생성기 미세조정이 아닌 검색을 적응 대상으로 삼는 것을 이론적으로 동기화한다. 특히 관련성이 높은 두 가지 목적 함수를 식별한다 -- 생성 유용성을 최적화하는 잠재 문서 RAG 가능도와, 의미론적 검색 기하 구조를 개선하는 InfoNCE 대조 목적 함수 -- 그리고 이를 통신 도메인의 다운스트림 QA 성능을 목표로 하는 검색기 최적화 방법을 통해 결합하여 활용한다. 구체적으로, 우리는 ARMOR(Adaptive Regularized Mixture Optimization for Retrievers)를 소개하는데, 이 방법은 RAG 검색 분포와 InfoNCE 소프트맥스에 대해 별도의 온도를 학습하고, 적응된 쿼리 인코더를 고정된 기본 쿼리 인코더 방향으로 정규화한다. 통신 특화 검색 및 생성형 QA 벤치마크에 걸쳐, ARMOR가 여러 도메인 내 설정에서 증거 검색과 답변 생성을 개선함을 보인다. 코드는 https://github.com/heshandevaka/ARMOR.git에서 이용 가능하다.

arXiv:2606.26618v1cs.CL

저자원 텍스트 음성 변환의 품질 격차 해소: 크메르어와 한국어를 위한 VoxCPM2 LoRA 미세조정

Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean

저자산 TTS 모델 VoxCPM2에 크메르어·한국어 공유 약 26시간 코퍼스로 단일 LoRA 어댑터를 동시 파인튜닝해, 전체 매개변수의 0.19~3.03%만 학습하면서 저자원 크메르어 MOS를 3.85에서 4.23으로 유의하게 끌어올렸다. 기본 모델이 이미 잘 다루는 한국어에는 개선이 없었고 높은 rank에서는 품질이 떨어져, 적응은 기본 모델이 약한 언어에서만 효과적이며 검증 손실과 청취 평가가 최적 rank(rank 64 vs 128)에서도 일치하지 않았다.

arXiv:2606.17820v1cs.CL

언어 식별을 활용한 이중 언어 미세조정을 통한 저자원 자동 음성 인식(ASR) 개선: 교언어적 평가

Improving low-resource ASR using bilingual fine-tuning with language identification: a cross-linguistic evaluation

본 연구는 이중 언어 미세조정이 저자원 언어의 자동 음성 인식(ASR)에 미치는 영향을 탐구합니다. 우리는 다양한 어족과 문자 체계를 아우르는 9개의 언어적, 지리적으로 다양한 언어 쌍에 걸쳐 이 방법을 평가했습니다. 두 언어를 구별하기 위해 학습 과정에서 각 입력 텍스트 앞에 언어 식별 토큰을 추가했습니다. 추론 시 모델은 음성 입력만으로 언어와 전사를 공동으로 예측합니다. 언어가 잘못 결정된 텍스트는 낮은 ASR 성능을 보이기 때문에, 학습과 추론 모두에서 언어 식별 토큰을 제공하는 후속 실험도 수행했습니다. 결과에 따르면 언어 식별 정확도가 높을 때 이중 언어 미세조정이 유익할 수 있으며, 언어 식별 성능이 낮은 경우 추론 시 언어 식별 토큰을 포함하는 것이 ASR 성능 향상에 도움이 됨을 보여줍니다.

arXiv:2606.17355v1cs.CV

실제 환경의 복잡한 레이아웃 분류: 레이아웃 보존 증강을 활용한 저자원 접근법

Complex Layout Classification in the Wild: A Low-Resource Approach with Layout-Preserving Augmentations

많은 디지털화된 말뭉치는 주석이 부족하거나, 페이지 스캔에 노이즈가 많고 해상도가 낮거나, 자동 전사의 품질을 저해하는 구조적으로 복잡한 레이아웃을 포함하고 있어 저자원 문제를 겪습니다. 저자원 언어를 위한 강건한 분류 모델 개발은 대규모 주석 데이터의 부족과 페이지 레이아웃의 빈번한 의미적 복잡성으로 인해 제한됩니다. 이를 위해 우리는 구분 영역을 기준으로 8개의 명확한 레이아웃 유형으로 수동 분류된 복잡한 레이아웃 데이터셋을 구축했습니다. 데이터 희소성을 극복하기 위해, 우리는 일반화를 향상시키기 위해 강력한 도메인 인식 증강(augmentation)을 사용하는 CNN 기반 분류기라는 새로운 학습 전략을 제안합니다. 우리는 필수적인 분리 구조는 유지하면서 부수적인 텍스트 세부 사항은 억제하는 좁은 비등방성 가우시안 마스킹(anisotropic Gaussian masking)을 활용하여, 모델이 전역적인 기하학적 배열을 학습하도록 유도합니다. 또한, 비대칭 범주 간의 라벨 일관성을 유지하면서 학습 분포를 풍부하게 만들기 위해 반사 유도 라벨 변환(reflection-induced label transformations)을 구현합니다. 결과는 레이아웃 특화 증강이 심각한 주석 희소성 상황에서 페이지 수준 레이아웃 분류를 상당히 향상시킬 수 있음을 입증합니다.