Speech-to-text translation has many potential applications for low-resource languages, but the typical approach of cascading speech recognition with machine translation is often impossible, since the transcripts needed to train a speech recognizer are usually not available for low-resource languages. Recent work has found that neural encoder-decoder models can learn to directly translate foreign speech in high-resource scenarios, without the need for intermediate transcription. We investigate whether this approach also works in settings where both data and computation are limited. To make the approach efficient, we make several architectural changes, including a change from character-level to word-level decoding. We find that this choice yields crucial speed improvements that allow us to train with fewer computational resources, yet still performs well on frequent words. We explore models trained on between 20 and 160 hours of data, and find that although models trained on less data have considerably lower BLEU scores, they can still predict words with relatively high precision and recall---around 50% for a model trained on 50 hours of data, versus around 60% for the full 160 hour model. Thus, they may still be useful for some low-resource scenarios.
대규모 언어 모델(LLM)은 기계 번역(MT) 평가에서 인간의 판단을 대체할 수 있는 더 효율적이고 비용 효과적인 대안으로 여겨진다. 기계 번역 평가는 매우 많은 언어 쌍, 도메인, 어노테이션 세분화 수준에 걸쳐 이루어지므로, LLM이 인간 평가의 신뢰할 수 있는 대안으로 사용되기 전에 이러한 차원들에 대해 철저히 평가되어야 한다. 본 논문에서는 두 가지 주요 기계 번역 품질 평가 체계인 다차원 품질 지표(Multidimensional Quality Metrics, MQM)와 오류 구간 어노테이션(Error Span Annotation, ESA)에 대해 LLM의 성능을 인간 어노테이터와의 일치도를 비교하여 평가한다. 우리는 70개 언어 쌍으로 구성된 롱 컨텍스트(long-context) 테스트 셋과 공개적으로 이용 가능한 WMT23 및 WMT25 데이터에 대한 결과를 제시하며, 다양한 언어 쌍과 도메인에 걸쳐 점수 및 오류 구간 어노테이션 일치도를 모두 조사한다. 우리의 결과는 일부 평가 과제에서 LLM과 인간 어노테이터 간의 일치도가 인간 어노테이터 간의 일치도를 초과하지만, 두 일치도 모두 어노테이션 체계, 언어 쌍, 도메인에 따라 크게 달라지며 대부분의 설정에서 여전히 신뢰할 수 없음을 보여준다. 더 나아가 우리는 인간과 LLM 어노테이터가 모두 직면하는 과제를 확인하였다: 인간은 특히 세분화된 MQM 어노테이션과 저자원(low-resource) 언어 쌍에서 어려움을 겪는 반면, LLM은 미세한 오류, 잘못된 언어 변이형, 오류 구간 어노테이션에서 어려움을 겪는다. 우리의 결과는 인간과 LLM 어노테이션 성능 모두에 개선의 가능성이 있음을 강조하며, 이는 본 연구에서 확인된 신뢰성 문제를 해결하는 인간-LLM 협업 어노테이션 파이프라인을 통해 가능할 수 있다.
텍스트 출력 점수만으로는 전사문(transcript)에서 타깃 라벨을 복원할 수 없는 음성 태스크에서 양자화(quantization)가 성능을 보존하는지 여부를 보여주지 못합니다. 본 연구에서는 매개변수(parameter)당 평균 6비트 및 7비트를 갖는 Qwen2-Audio-7B-Instruct의 고정 혼합 4/8비트 할당을 508개의 영-독 FLEURS 발화와 16명의 화자로부터 수집한 512개의 RAVDESS 감정 클립에 대해 평가합니다. 반정밀도(FP16) 대비 BLEU 및 chrF 차이는 두 할당 모두에서 0을 포함하는 구간을 가집니다. RAVDESS에서는 동일한 두 문장이 모든 감정 라벨과 동일한 빈도로 나타납니다. FP16 대비 절대 정확도 차이는 6비트에서 -3.71%, 7비트에서 -1.17%입니다. 6비트 화자 구간은 0을 제외하며 정확한 양측 부호 반전 검정(exact two-sided sign-flip test) 결과 p=0.0148을 보인 반면, 7비트 구간은 0을 포함합니다. 동일 예산 대조군(same-budget controls)에서는 선택된 두 할당 중 어느 것도 최고로 식별하지 못합니다. 본 사례 연구는 번역 점수와 전사문 범위를 벗어나는 태스크에서의 성능을 왜 분리하여 평가해야 하는지 보여줍니다.
터키어의 형태소 경계를 신경망으로 학습하는 Morpheus는 미분 가능한 Poisson-binomial 세그멘테이션으로 손실 없는 토큰화와 단어 임베딩 생성을 한 번의 순전파로 수행한다. 가역 토크나이저 중 최저 문자당 비트(1.425)와 골드 형태소 정렬(MorphScore macro-F1 0.61)을 달성했으며, 어휘 검색·동일 어근 검증에서는 BGE-M3·BERTurk를 능가하지만 NER 등 문맥·굴절 의존 작업에서는 문맥 인코더가 더 우수하다.
영국의 공공 의료진은 언어 장벽을 넘어 환자와 소통하기 위해 기계 번역(MT, 주로 구글 번역/GT)을 활용한다고 보고하고 있습니다. 이는 주의 의무를 다하기 위한 것이지만, 이러한 맥락에서 충분한 정보 없이 기계 번역에 의존하는 것은 환자 안전에 심각한 결과를 초래할 수 있습니다. 그럼에도 불구하고 일반적으로 위험도가 높은 기계 번역 활용, 특히 환자 의무기록과 관련하여 발생할 수 있는 잠재적 위험에 대한 의료진의 인식 연구는 여전히 제한적이며, 기존 문헌의 대부분은 대인 소통 상황이나 환자용 문서에서의 활용에 초점을 맞추고 있습니다. 더욱이 의료 약어는 단일 언어 환경에서도 환자 위험을 증가시키는 것으로 잘 알려져 있으며, 오용 및/또는 오해로 인한 결과는 일시적인 피해부터 환자의 사망에 이르기까지 다양합니다. 따라서 약어를 기계 번역으로 번역할 때 발생하는 잠재적 위험을 식별하기 위한 활용 사례(use case)로 선정하였습니다. 권위 있는 임상 코퍼스에서 추출하고 구글 번역으로 번역한 맥락화된 프랑스어 및 스페인어 데이터 예시를 다양한 직무 및 전문 분야의 의료진 참여자 21명과의 반구조화된 인터뷰에서 제시하였습니다. 이후 그 결과에 대해 질적 분석 및 교차 분석을 수행하였습니다.
심층 오토인코더(deep autoencoder)는 차원 축소와 편미분 방정식의 차수 축소 모델링부터 이상치 탐지 및 신경망 기계 번역에 이르기까지 다양한 머신러닝 응용 분야에서 핵심적인 도구로 자리 잡았습니다. 이러한 실증적 성공에도 불구하고, 특히 고전적인 사영 기반 기법들과 비교했을 때 이들의 표현력에 대한 확고한 이론적 기반은 여전히 부족한 실정입니다. 본 연구에서는 최근 문헌에서 자주 등장하고 있는 광범위한 심층 학습(deep learning) 아키텍처 군인 대칭 오토인코더(symmetric autoencoder)에 대한 종합적인 분석을 제시하여 이러한 방향으로 한 걸음 나아가는 것을 목표로 합니다. 구체적으로, 서로 다른 대칭 아키텍처 군 간의 형식적 구분을 도입하고 수학적 관점에서 이들의 장점과 한계를 분석합니다. 예를 들어, 정규직교성(orthonormality) 제약 조건을 가진 대칭 오토인코더의 재구성 오차는 널리 알려진 에카르트-영-슈미트(EYS) 정리를 활용하여 이해할 수 있음을 보입니다. 또한 분석의 부산물로서, 특잇값 분해(SVD)의 반복 적용에 기반한 대칭 오토인코더용 EYS 초기화(initialization) 전략을 개발합니다. 연구 결과를 검증하기 위해 기존의 심층 오토인코더를 대상으로 제안 기법을 벤치마크하는 일련의 수치 실험을 수행하고, 모델(model) 설계 및 초기화의 중요성을 논의합니다.
수어 기계 번역(machine translation)은 지난 10년간 고립 수어 인식에서 종단간(end-to-end) 번역 시스템으로 발전하며 상당한 진전을 이루어 왔다. 포즈 추정, 트랜스포머(transformer) 아키텍처, 대규모 데이터셋(dataset) 수집의 발전이 이러한 진전을 이끌었지만, 여전히 과제가 남아 있다. 데이터셋은 음성 언어 자원에 비해 제한적이며, 평가 지표는 출력물의 언어적 품질을 충분히 포착하지 못하고, 모델은 수어의 동시적이고 다층적이며 3차원적인 구조를 포착해야 한다. 본 논문은 기술적 과제와 이해관계자 고려사항 간의 균형을 추구하는 포괄적인 리뷰를 제공한다. 우리는 수어를 계산적으로 독특하게 만드는 언어학적 특성을 살펴보고, 인식, 번역, 생성 시스템의 발전 과정을 추적하며, 현재진행 중인 기술적 과제를 분석한다. 결정적으로, 우리는 데이터 거버넌스, 커뮤니티 참여, 적절한 사용에 관한 윤리적 고려사항을 다룬다. 컴퓨터 비전, 수어 언어학, 농인학(deaf studies)을 아우르는 학제간 관점을 바탕으로, 우리의 분석은 지속적인 진전을 위해서는 이러한 분야들 간, 그리고 농인 커뮤니티와의 지속적인 협력이 필요함을 강조한다.
병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.
본 논문에서는 토큰 수준 최대 마진(Token-level Max-Margin) 손실을 어텐션 맵으로 역전파하는 그래디언트 기반 헤드 어트리뷰션(attribution) 전략을 제안한다. 이 프레임워크는 어텐션 헤드에 대한 대규모 인과 분석을 가능하게 하여 LLM에도 적용하기에 적합하다. 우리는 문맥 인식 기계 번역(Context-aware Machine Translation)의 중의성 해소(disambiguation) 과제에서 제안 방법을 평가하며, 4개 모델과 4개 언어 방향에 걸쳐 50가지 현상을 분석한다. 또한 세 개의 모델과 두 개의 언어 방향에서, 토큰 간 관계에 대한 어텐션 점수를 높였을 때의 효과와 제안 방법이 일치함을 실험적으로 보여 주며, 이를 통해 방법의 견고성을 확보한다. 분석 결과, 서로 다른 관계에 어텐션을 둘 때 모델의 성능을 향상시키는 "범용(general-purpose)" 어텐션 헤드가 존재함을 확인하였다. 또한 한 헤드가 특정 관계에 할당하는 평균 어텐션이 반드시 모델의 성능과 관련되는 것은 아님을 발견하였으며, 이는 모델이 학습 과정에서 헤드 기능 측면의 중복성(redundancy)을 형성했음을 시사한다.
교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.
NADI 2026은 Nuanced Arabic Dialect Identification(NADI) 공유 과제 시리즈의 일곱 번째 개최이며, 다중 방언 아랍어 음성 처리에 초점을 맞춘 두 번째 회차이다. 이번 회차는 자동 음성 인식(ASR), 구어 방언 식별(SDID), 텍스트 음성 변환(TTS), 구어 언어 번역(SLT), 구어 언어 이해(SLU)에 걸친 다섯 가지 과제와 여덟 개의 하위 과제로 구성된다. NADI 2026은 저대역폭, 혼합 방언, 코드 스위칭, 도메인 외(out-of-domain), 제로샷(zero-shot) 설정을 통한 현실적인 평가를 강조하며, 시리즈에 TTS, SLT, SLU를 처음으로 도입한다. 공유 과제에는 최소 13개국에서 온 21개 참가 팀이 참여했고, 테스트 단계 제출 48건과 시스템 설명 논문 14편이 제출되었다. 결과는 도메인 외 일반화가 여전히 주요 병목임을 보여 주며, 최근 아랍어 특화 음성 모델, 멀티모달 방언 식별 접근, 앙상블 방법의 효과를 부각한다. 전반적으로 NADI 2026은 견고한 아랍어 방언 음성 처리를 위한 더 넓고 도전적인 벤치마크를 제공한다.
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
본 의견 논문에서 우리는 은유 번역 평가를 위한 오류 심각도 인식 주석(annotation) 프레임워크인 MetaHOPE를 제안한다. 은유는 의미적 복잡성, 문맥 의존성, 문화적 임베딩(cultural embeddings) 등의 특성으로 인해 기계 번역(MT)과 자연어 이해 및 처리(NLU, NLP)에 어려움을 제기하며, NLP 모델에서 모호성 문제를 야기할 수 있다. 최신(state-of-the-art) NLP 모델이 은유 번역에서 어떻게 수행되는지 조사하기 위해 GoogleMT, GPT5.4, Hunyuan-7b의 세 가지 대표 시스템을 신경망 기계 번역(NMT) 모델 및 LLM으로 선정하였다. 영어-중국어 및 중국어-영어 번역 목적으로 VUAMC와 PSUCMC를 포함한 두 개의 사람 주석 은유 코퍼스를 사용하였다. 사용한 원본 코퍼스는 단일언어(monolingual)이며, MetaHOPE 프레임워크를 이용해 오류 주석을 수행하고, 이중언어 활용을 위한 사람 후편집(post-edited) 골드 레퍼런스도 새 자료로 제작하였다. 은유 번역 주석을 위한 MetaHOPE 평가 프레임워크, 병렬 코퍼스 자료, 최신 자동 번역 모델에 대한 오류 분석이 은유 번역 연구 분야에 유용하고 일부 통찰을 제공할 수 있을 것으로 본다. 자료는 github.com/Jiahui84/MetaHOPE에서 공개한다.
우리는 각 변경 사항을 해석 가능하게 만드는 지속적 문서 작성(continual document authoring) 프레임워크인 지식 풀 리퀘스트(Knowledge Pull Requests, KPR)를 소개한다. 문서는 다른 출처, 언어 또는 시점에서 새로운 지식이 나타남에 따라 지속적인 수정이 필요하지만, 기존 접근법은 어떤 지식이 바뀌었는지에 대한 설명 없이 편집하거나 처음부터 다시 생성한다. KPR은 주장(claim)을 추출하고, 이를 필터링하여 각 섹션으로 라우팅하며, 기존 내용과의 충돌을 표시함으로써 새로운 지식을 문서에 통합한다. 그 결과 어떤 지식이 바뀌는지(주장 제안)와 텍스트가 어떻게 바뀌는지(문서 diff)를 분리하는 ChangeLog를 생성한다. 우리는 언어 간 위키백과(Wikipedia) 수정과 RAGTIME에서의 쿼리 기반 보고서 업데이트를 통해 KPR을 평가한다. KPR은 출처로부터 다시 작성하거나 처음부터 다시 생성하는 방식보다 더 많은 정보를 통합하고 기존 내용을 더 잘 보존하며, 생성된 토큰당 추가되는 정보량은 가장 많다. 또한 KPR로 수정된 문서는 검색을 사용하는 최첨단 모델(frontier model)보다 질의응답의 그라운딩(grounding)을 더 잘 수행하는데, 검색을 사용하는 최첨단 모델은 다른 언어로만 기록된 지식을 찾아내지 못한다.
LLM 기반 음성 번역에서 전사 기반 사고의 연쇄(CoT)는 지도 미세조정(SFT)에 사용되는 참조 전사와 추론 시 모델이 생성하는 전사 간 불일치로 인해 어려움이 있다. 이를 해결하기 위해 그룹 상대 정책 최적화(GRPO)를 통한 공동 인식 및 번역 미세조정을 제안한다. 전사와 번역 모두에 점수를 부여하며, 번역은 모델이 생성한 전사에 조건화한다. 세 가지 토큰 advantage 전략을 비교한다. Qwen2.5-Omni-3B를 네 개 언어에 걸쳐 사용하여, SFT와 GRPO 하에서 CoT를 직접 음성 번역(Direct ST)과 비교 평가한다. CoVoST 2에서 학습하고 CoVoST 2와 FLEURS에서 테스트한다. CoT GRPO는 CoVoST 2와 FLEURS에서 Direct ST GRPO보다 평균 BLEU가 각각 1.77점 및 0.83점 높다. CoT SFT 대비 GRPO는 BLEU를 0.82점 및 0.67점 향상시키고 단어 오류율(WER)을 상대적으로 8.8% 및 7.2% 감소시킨다. 이러한 결과는 강화 미세조정이 학습-추론 불일치를 완화하고 인식과 번역을 공동으로 개선하는 효과적인 방법임을 보여준다.
추측 디코딩(speculative decoding)은 경량 드래프트 모델과 타깃 검증기(target verifier)의 협업을 통해 대규모 언어 모델 추론을 가속한다. 기존 방법은 주로 드래프트 측을 개선하며, 타깃 모델은 일반적으로 밀집(dense) 상태 그대로 변경 없이 유지된다. 본 논문은 도메인 특화 추론에서 전체 깊이의 타깃 검증이 항상 최적의 선택은 아님을 보인다. 직관과 반대로, 선택된 타깃 층을 건너뛰면 검증 비용을 줄이는 동시에 드래프트 수용률을 높일 수 있으며, 하위 작업 성능도 유지하거나 오히려 향상시킬 수 있다. 이러한 관찰에 기반하여 추측 디코딩을 위한 타깃 측 희소화 프레임워크인 TSS를 제안한다. TSS는 수용률(acceptance)과 지표(metric)를 모두 고려하는 너비 탐색(breadth search)을 사용해, 두 목표 사이에 고정된 우선순위를 부과하지 않고 다중 층 건너뛰기 구성을 탐색한다. 선택된 구성은 도메인-구성 매핑에 저장되고 경량 스킵 컨트롤러(skip controller)에 의해 적용되므로, 재학습이나 영구적인 매개변수 가지치기 없이 하나의 완전한 타깃 모델이 여러 희소 검증 경로를 지원할 수 있다. 여러 도메인, 모델 규모, 추측 디코딩 방법에 걸친 Spec-Bench 실험에서 드래프트 수용률과 하위 작업 성능이 일관되게 향상됨을 확인했다. 번역(Translation) 설정에서 TSS는 평균 수용 길이(average accept length)를 2.70에서 4.53으로(+67.8%) 늘리고, BLEU를 0.131에서 0.237로(+80.9%) 향상시켰으며, 종단 간(end-to-end) 처리량을 75.6에서 127.3 tokens/s로 높여 1.68배의 속도 향상을 달성했다.
영어만 할 수 있는 사용자가 프랑스어 자동 번역문을 공유해도 될 만큼 좋은지 어떻게 판단할 수 있을까? 기존의 기계 번역(MT) 오류 탐지 및 품질 추정(QE) 기법은 이러한 실제 상황을 다루지 못한다. 본 논문에서는 핵심적인 MT 오류를 탐지하고 실행 가능한 피드백을 제공하도록 설계된 질문 생성 및 응답 프레임워크인 AskQE를 소개한다. AskQE는 사용자가 목표 언어에 대한 지식이 없더라도 MT 출력을 수용할지 거부할지 결정하는 데 도움을 준다. 우리는 COVID-19 도메인에서 대조적인 합성 MT 오류로 구성된 데이터셋인 ContraTICO를 사용하여 AskQE의 설계 선택지를 탐색하고, 질문 생성을 안내하기 위해 LLaMA-3 70B와 함의된 사실(entailed facts)에 의존하는 최적화된 버전을 개발한다. 그런 다음 실제로 발생한 MT 오류로 구성된 BioMQM 데이터셋에서 이 시스템을 평가하며, AskQE는 다른 QE 지표에 비해 사람의 평가와 더 높은 Kendall's Tau 상관관계 및 결정 정확도를 보인다.
대부분의 위기 언어는 기술 문법서가 존재함에도 불구하고 기계 번역에 필요한 병렬 데이터가 부족하다. 본 연구는 대규모 언어 모델(LLM)을 사용하여 문법서에서 문법 규칙, 예문, 어휘집을 추출하고 미세조정용 합성 병렬 코퍼스를 생성하는 파이프라인을 제안한다. 이는 기존 연구처럼 추론 시점에 문법 내용을 프롬프트에 제공하는 방식과는 다르다. 유형론적으로 다양한 세 저자원 언어—Kalamang(파푸아어), Tuatschin(로망스어), Mandan(수어)—에서 검증한 결과, 합성 데이터 미세조정은 Kalamang에서 75%, Tuatschin에서 59%의 설정에서 시드 데이터 기준선 대비 개선을 보였으며, 최적의 경우 ChrF++는 각각 +8.8, +5.3, +3.3만큼 향상되었다. 목표 품사, 검색 세분성, 샘플 규모를 달리한 96개 설정에 대한 체계적인 요인 실험을 통해, 어떤 요인 조합이 성능 향상을 이끌고 어디에서 효과가 한계에 이르는지 밝혔다. 이 결과는 정적 언어학 문헌을 기계 번역 미세조정에 재활용할 수 있음을 보여 주며, 극도로 자원이 부족한 언어를 위한 번역 도구 구축이라는 실용적 경로를 제시한다.
서로 다른 언어 간에 말장난(wordplay)을 번역하는 것은 전문 인간 번역가와 기계 번역(machine translation) 시스템 모두를 오랫동안 당혹스럽게 만든 독특한 도전 과제를 제시합니다. 본 연구는 최첨단 대규모 언어 모델(LLM)과 말장난 생성을 위한 특화된 기법을 결합하여 영어를 프랑스어로 말장난(pun) 번역하는 새로운 접근 방식을 제안합니다. 제안하는 방법론은 3단계 접근 방식을 채택합니다. 첫째, 새로운 대조 학습(contrastive learning) 데이터셋 기반의 피드백을 통해 여러 최전선 대규모 언어 모델을 사용하는 기준선(baseline)을 구축합니다. 둘째, 음성-의미론적 결합 임베딩을 활용한 유도형 사고의 연쇄(Chain-of-Thought) 파이프라인을 구현합니다. 셋째, 피드백을 바탕으로 말장난을 평가하고 재생성하는 다중 에이전트(multi-agent) 생성자-판별자 프레임워크를 구현합니다. 직역의 한계를 넘어, 본 방법론의 주요 목표는 단순히 어휘를 복제하는 것이 아니라 원문 말장난의 언어적 창의성과 유머를 포착하는 데 있습니다. 본 연구의 최고 성능 모델들은 프랑스어 원어민 전문가들의 수작업 평가로 진행된 CLEF JOKER 2025 태스크 2 대회에서 1위와 2위를 차지했습니다. 본 연구는 말장난 번역을 위한 언어학적 정보 기반 기법을 구현함으로써 번역학과 전산언어학 간의 격차를 해소하며, 성공적인 유머에 필요한 의미적 모호성, 음성적 유사성, 암묵적인 문화적·언어적 인식 간의 복잡한 상호작용을 처리하는 데 언어 모델을 어떻게 활용할 수 있는지에 대한 이해를 넓힙니다.
타밀어와 같은 저자원 언어에 대한 기계 번역의 과제는 주로 이러한 언어에 대한 병렬 데이터의 제한된 양, 그리고 상당한 도메인 변이와 형태론적 복잡성에 기인한다. 본 연구는 NTREX, EnTamV2, WikiMatrix, PMIndia 등 여러 데이터셋에 걸친 영어-타밀어 및 타밀어-영어 번역에서 여러 다국어 번역 모델의 성능에 대한 포괄적 평가를 제시한다. 본 연구는 BLEU 및 chrF 지표를 모두 사용하여 지도 학습 NMT 시스템인 NLLB와 mBART를 평가하고, 이러한 시스템이 서로 다른 품질 수준과 도메인의 데이터에서 어떻게 수행되는지 검토한다. 본 연구는 영어 원문과 타밀어 번역문(및 그 역방향)의 토큰 정렬을 시각화하여 번역이 어떻게 이루어지는지에 대한 통찰을 제공함으로써 모델 해석 가능성을 높이기 위해 어텐션 기반 분석을 수행한다. 본 연구는 또한 문맥 내 프롬프팅(in-context prompting)을 사용하면 타밀어에 특화된 TamilLaMA 모델을 이용한 영어-타밀어 및 타밀어-영어 퓨샷(few-shot) 번역을 수행하는 우수한 방법이 될 수 있음을 보여주며, 이를 지도 학습 접근법과 정성적으로 비교한다. 이러한 결과는 데이터셋의 품질과 도메인과의 정합성이 모델 성능에 크게 영향을 미치며, 어텐션 기반 메커니즘이 설명 가능성(explainability) 향상에 도움이 될 수 있고, 퓨샷 대규모 언어 모델이 여전히 구조적으로 일관된 타밀어 번역을 생성할 수 있음을 보여준다.