기계 번역의 눈부신 발전에도 불구하고, 비전 언어 모델(VLM)은 저자원 음역, 고어 어휘, 잡음이 섞인 입력 신호와 같은 핵심 자연어 처리(NLP) 역량을 시험하는 영역인 역사 필사본에서 어려움을 겪는다. 본 연구는 필경사의 약기, 합자, 양피지 훼손으로 인해 깨끗한 텍스트 벤치마크에서는 드러나지 않는 실패 양상이 나타나는 중세 라틴어 필사본을 대상으로, 이미지에서 번역에 이르는 전체 파이프라인을 평가하는 체계적 프레임워크를 제시한다. CATMuS Latin 데이터셋에서의 벤치마킹은 전문화 격차를 보여 준다. 도메인 특화 광학 문자 인식(OCR) 모델은 파라미터 수가 수십~수천 배 적음에도 범용 VLM에 비해 문자 오류율을 최대 4.3$\times$ 낮춘다. 또한 정렬된 필사본 이미지 행, 전사문, 전문가 번역 1,383건으로 구성된 새로운 데이터셋 Interpres-Parallel-Corpus(IPC)를 소개하며, 이는 우리가 아는 한 중세 라틴어 분야 최초이다. 실험은 복잡성 역설을 보여 준다. 특화된 OCR 모델이 VLM에 직접 입력되는 가장 단순한 파이프라인이 모든 다중 구성요소 변형보다 우수하다. 검색 증강 생성(RAG)이나 OCR 후 교정을 추가하면 프롬프트 포화와 오류 전파가 발생하여 전체 번역 품질이 저하된다. 이러한 결과는 새로운 벤치마크와 함께 저자원 역사 환경에서 번역 시스템을 배치하기 위한 실용적 지침을 제공한다.
저자원 언어 번역에 대한 자동 평가는 병렬 코퍼스의 부족으로 어려움을 겪는다. 왕복 번역은 병렬 평가 코퍼스의 필요성을 완화하는 영리하고 간단한 기법으로 활용될 수 있다. 그러나 통계적 기계 번역(SMT) 시대에는 정방향 번역과 왕복 번역에 의한 평가 점수 간의 상관관계가 불분명하다는 관찰이 있었다. 본 논문에서는 왕복 번역이 참조 없이도 자동 평가에 사용될 수 있다는 놀라운 발견을 보고한다. 먼저 SMT 평가에서 왕복 번역을 다시 살펴본 결과, 오랫동안 이어져 온 오해가 본질적으로 복사 메커니즘에서 비롯되었음을 밝힌다. SMT에서 복사 메커니즘을 제거하면 왕복 번역 점수가 정방향 번역 성능을 적절히 반영한다. 이어서 왕복 번역이 여러 기계 번역 평가 과제에 도움이 될 수 있으므로 이러한 바로잡음이 늦었음을 보인다. 구체적으로, 왕복 번역은 i) 해당 정방향 번역 점수를 예측하고, ii) 최근 발전된 품질 추정 모델의 성능을 향상시키며, iii) 시스템 간 교차 검증을 통해 공동 과제에서 적대적 경쟁 시스템을 식별하는 데 사용될 수 있다.
수어 생성(SLP)은 언어적 입력으로부터 연속적인 수어 동작을 생성하며 수어 아바타와 같은 접근성 기술을 구동한다. 확산 모델을 포함한 현재의 생성기는 관절 좌표를 구조 없는 벡터로 회귀하므로, 생성된 신체가 해부학이나 운동의 역학을 따르도록 보장하는 요소가 없다. 물리학은 기하학적 손실 항을 통해서만 SLP에 도입되었으며 그 이점이 이해도에 미치는 영향은 검증되지 않았고, 수어를 하는 신체의 동역학은 모델링되지 않았다. 본 논문은 두 수준에서 물리 정보를 활용하는 확산 모델 PIDiffSign을 제안한다. 운동학 측면에서는 순기구학 헤드가 뼈의 방향과 길이를 출력하고 이를 조합하여 해부학적으로 정확한 골격을 구성한다. 동역학 측면에서는 인체측정학적 매개변수를 갖는 상체 강체 모델이 두 가지 학습 사전분포를 뒷받침한다. 운동 제어의 두 법칙을 포함하는 물리적 타당성 평가 모음이 생성된 수어를 평가한다. 통제된 프로토콜에서 이 헤드는 PHOENIX14T와 CSL-Daily에서 역번역 단어 오류율을 약 5포인트 낮추는 반면 기하학적 페널티는 측정 가능한 효과가 없으며, 대조 실험은 이득이 뼈 길이 보존이 아니라 운동학적 사슬 표현에서 비롯됨을 추적한다. 동역학 사전분포는 PHOENIX14T에서 물리적이지 않은 대응 대조군보다 약 1포인트 추가 이득을 주지만 CSL-Daily에서는 그렇지 않다. 생성된 수어는 운동 제어 법칙을 실제 수어만큼 근접하게 따르지만 운동 에너지는 현저히 적다. 정확한 골격은 리깅된 아바타를 직접 구동할 수 있으며, 이 평가 모음은 향후 SLP 시스템을 위한 물리적 벤치마크를 제공한다.
저자원 언어는 기계 번역에서 여전히 어려운 과제이며, 몽골어는 대표적인 사례이다. 몽골어는 두 가지 문자 체계를 쓰는 언어로서 키릴 문자와 전통 문자로 모두 표기되는데, 두 문자 간 데이터 가용성에 심각한 불균형이 있다. 키릴 문자는 상대적으로 자원이 풍부하지만, 전통 문자는 데이터가 극히 부족하고 표기상 모호하여 직접 번역에서 상당한 성능 저하가 발생한다. 우리는 이러한 내부 자원 위계를 활용하여 키릴 문자를 경유해 번역하는, 인지적 동기에 기반한 피벗 기반 번역 파이프라인 CoPiT를 제안한다. 이 파이프라인은 번역에 앞서 전통 문자에서 문자로 인해 발생하는 모호성을 명시적으로 해소하여, 더 안정적이고 정확한 의미 전달을 가능하게 한다. 여러 백본 모델과 목표 언어에 걸쳐 CoPiT는 대체로 직접 번역보다 향상되었으며, BLEU의 절대적 향상이 상당하고 COMET에서는 최대 1.5~1.6배의 향상을 보였다. 이러한 향상 덕분에 강력한 오픈소스 모델이 비교 가능한 평가 설정에서 GPT-4.1과 대등하거나 그보다 우수한 성능을 낼 수 있다. 추론 시점의 개선을 넘어, CoPiT는 전통 문자 텍스트로부터 직접 합성 병렬 데이터를 구축할 수 있게 하여 현실적인 저자원 시나리오에서 데이터 부족을 완화한다. 우리는 두 문자의 몽골어와 영어, 한국어, 러시아어를 포괄하는 새로운 다중 문자 병렬 데이터셋을 공개한다.
항공 비전-언어 내비게이션(VLN) 에이전트는 일반적으로 세부 사항이 풍부하고 궤적에 정렬된 명령으로 학습되는 반면, 사용자는 짧고 의도 중심적인 지시를 내립니다. 동결된(frozen) OpenFly 내비게이터에서 이러한 지시 간극(\emph{instruction gap})은 성공률(SR)을 $31.03\%$에서 $11.33\%$로 떨어뜨립니다. 번역기 학습을 확장하기 위해, 우리는 사람이 작성한 스타일 예시로 언어 모델에 프롬프트를 제공하여 원래 명령을 쌍을 이루는 의도 중심의 약한(Weak) 명령으로 변환하며, 이는 $15.27\%$의 SR을 산출합니다. 우리는 내비게이터를 동결된 상태로 유지하고 궤적 결과로부터 학습함으로써 약한 입력을 에이전트가 실행 가능한 명령으로 번역하는 프런트엔드인 궤적 기반 지시 번역기(\textbf{Trajectory-Grounded Instruction Translator, TGIT})를 소개합니다. 결과적으로 약한 명령으로 학습된 번역기는 약한 입력의 SR을 $37.93\%$로 끌어올리고 실제 사람의 지시로 제로샷 전이($11.33\%{\rightarrow}32.51\%$)됩니다. 또한 배제된(held-out) OpenFly를 개선($4.95\%{\rightarrow}20.79\%$)하고 CityNav 및 AirVLN에서 성능 회복을 이끌어냅니다.
데이터 오염(data contamination)은 모델이 진정한 일반화가 아니라 암기된 평가 내용으로부터 이득을 얻을 때 벤치마크 평가를 무효화할 수 있다. 그러나 노출된 콘텐츠가 평가 벤치마크와 언어가 다를 경우 오염을 감사하기는 어렵다. 우리는 네 개의 오픈 가중치(open-weight) 인스트럭션 튜닝 LLM을 MMLU와 XQuAD 평가 항목의 아랍어 번역본에 점차 증가하는 노출 수준으로 의도적으로 노출시킨 다음, 원래의 영어 과제에서 이를 평가함으로써 이러한 실패 양상을 연구한다. 이 통제된 설정은 실제 사전학습(pre-training) 유출을 재구성한 것이 아니라 오염에 대한 대리(proxy) 지표이다. 우리는 먼저 영어 중심의 사후(post-hoc) 프로브인 TS-Guessing과 Min-K%++ 두 가지를 테스트하여, 번역된 노출 상황에서 이들의 신호가 대부분 사라진다는 것을 발견했다: TS-Guessing은 MMLU에서의 모델별 위치 재현율(recall)을 제외하고는 약하게 유지되며, Min-K%++는 우연 수준(chance) 이하 또는 그 수준에 머문다. 동시에, 영어 MMLU 성능은 아랍어 노출과 함께 증가하여, 영어 오염 신호의 부재가 노출 효과의 부재를 의미하지 않음을 보여준다. 이어서 우리는 언어 간 예측 일관성(cross-lingual prediction consistency)과 선택지 재정렬(choice reordering)에 기반한, 학습 데이터가 필요 없는 진단 기법인 번역 인지 오염 탐지(Translation-Aware Contamination Detection, TACD)를 제안한다. 언어 간 일관성은 독립성 기준선(baseline)보다 상당히 높으며, 일반적으로 깨끗한(clean) 조건에 비해 증가하지만, 그 정도는 모델에 따라 다르고 엄격하게 단조적이지는 않다. 이러한 결과는 번역이 영어 전용 프로브로부터 오염 관련 효과를 숨길 수 있음을 보여주며, 확정적인 멤버십 테스트가 아니라 오염과 일치하는 행동의 증거로 명확히 규정된 다국어 진단 기법의 필요성을 시사한다.
대규모 언어 모델(LLM)은 개인 맞춤형 학습을 대규모로 지원하기 위해 수학 문장제 문제를 각색하는 데 점점 더 많이 활용되고 있지만, 이러한 각색이 모델 간에 일관적인지, 대규모 환경에서 문화적 다양성을 보존하는지, 그리고 모델이 어떤 문화적 개체를 가장 두드러진 것으로 취급하는지를 밝혀내는 문제는 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 Claude Opus 4, GPT-4.1, Gemini 2.5 Pro가 60개의 영어 수학 문장제 문제를 벵골어, 힌디어, 펀자브어(인도), 우르두어, 신디어(파키스탄), 이탈리아어, 시칠리아어(이탈리아)로 어떻게 각색하는지 분석합니다. 이 언어 구성은 고자원 언어인 이탈리아어 및 힌디어부터 연구가 부족한 신디어, 시칠리아어, 펀자브어에 이르기까지 전체 자원 스펙트럼을 아우릅니다. 저자들은 6,489개의 개체 변환을 주석 처리하여, 모델이 이름, 음식, 장소와 같은 개체를 보존하는지, 현지화하는지, 일반화하는지, 생략하는지, 혹은 변경하는지 코딩했습니다. 모델들은 변환 유형에 대해서는 62.5%의 사례에서 일치했으나, 구체적인 대체 항목에 대해서는 33.5%에서만 일치했는데, 이는 모델 선택이 학생들이 접하는 문화적 세계를 직접적으로 형성함을 의미합니다. 21개의 모든 언어-모델 조합에서 엔트로피 붕괴가 나타났으며, 각색 과정에서 문화적 다양성이 확장되기보다는 압축되었습니다. 모델들은 이름, 음식, 통화와 같은 표면적 표지를 우선시하는 반면, 문화적으로 특정한 가정을 내포하는 학년제 시스템과 같은 더 깊은 구조적 특징은 그대로 유지했습니다. 대상 국가를 명시한 프롬프트에도 불구하고, 모델들은 인도 벵골어권 학생들에게 방글라데시 타카를 사용하는 등 지역적 맥락을 잘못 귀속시키고, 달걀 찾기를 이드 활동으로 각색하는 것과 같은 문화 간 교차 오염을 유발했습니다. 일부 실패 사례는 개별 번역에서 명확히 드러납니다. 다양성 붕괴, 표면적 표지에 대한 체계적 선호, 일관된 지역적 오귀속을 포함한 다른 실패 요소들은 말뭉치 수준의 분석을 통해서만 드러납니다. 각색된 문제를 올바르게 보이게 만드는 표면적 타당성이야말로 오히려 더 깊은 수준의 실패를 쉽게 간과하게 만드는 요인입니다.
동시 수어 번역(Simultaneous Sign Language Translation, SLT)은 실시간 소통에 매우 중요하지만, 기존 방법들은 사전 분절된 입력을 가정하는 문장 단위의 오프라인 환경에 대체로 국한되어 있습니다. 이러한 가정은 연속적이고 분절되지 않은 비디오 스트림이 수반되는 실제 환경에서의 배포를 저해합니다. 본 논문에서는 실제 스트리밍 환경에 맞추어 학습(training)과 추론(inference)을 정렬하는, 분절되지 않은 장문 수어 비디오 대상의 동시 SLT를 위한 통합 프레임워크인 ReSCUE를 제시합니다. ReSCUE는 부분적 입력, 비수어 휴지기, 다중 문장 문맥을 처리하기 위한 추론 인지 학습, 출력 깜빡임(flicker)을 줄이면서도 수정 가능한 예측을 통해 저지연을 가능하게 하는 안정화된 재번역, 그리고 온라인 분절 및 메모리 관리를 위한 문장 확정(sentence commitment) 메커니즘을 결합합니다. 표준 문장 단위 벤치마크에서의 실험 결과, ReSCUE는 저지연 환경에서 더 낮은 지연 시간과 최고의 번역 품질을 달성함을 보여줍니다. 또한 분절되지 않은 장문 데이터셋에서 ReSCUE는 정답(ground-truth) 문장 경계를 사용하는 오라클 오프라인 시스템의 번역 품질에 근접하면서도 훨씬 낮은 지연 시간으로 동작하여, 실제 스트리밍 시나리오에서의 실용성을 입증합니다.
병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.
교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
비유적 언어 식별에 대한 다국어 접근법은 새롭지 않지만, 단일 언어로 구성된 학습 데이터를 넘어서려면 번역된 다국어 지도(supervision)의 기여에 대한 더 명확한 이해가 필요하다. 본 연구는 7개 언어에 걸쳐 번역된 6,787개 인스턴스를 아우르는 742개의 속담 개념을 사용하여 이 질문을 조사한다. 저자들은 다국어 인코더와 인스트럭션 튜닝(instruction tuning)된 대규모 언어 모델(LLM)을 포함한 5개 모델을 대상으로, 다국어 지도의 수준을 점진적으로 높여 가며 평가한다. 또한 속담을 은유적(Metaphorical), 도덕/조언적(Moral/Advisory), 인과적(Cause-Effect), 문화 특수적(Culture-Specific)이라는 상호 보완적인 네 가지 비유 형태로 특징짓는 속담용 다차원 주석 프레임워크를 제안한다. 연구 결과, 전반적으로 다국어 학습(training) 데이터를 50% 이상 추가할 때 추가적인 성능 향상은 제한적이었으나, 최적의 지도 수준은 모델(model)과 언어에 따라 상이했다. 또한 다양한 비유 형태를 결합할 때 전반적인 성능이 가장 높게 나타남을 보인다. 주목할 만한 발견은 발생 빈도가 가장 낮은 비유 형태인 문화 특수적 형태가 다국어 지도 하에서 가장 큰 성능 향상을 보였다는 점이다. 나아가 속담의 도덕/조언적 형태와 문화 특수적 형태는 인스트럭션 튜닝된 LLM의 전반적인 비유 식별 성능에 더 크게 기여한다. 이러한 결과는 다국어 비유 식별 연구가 은유 중심의 분류 체계를 넘어, 문맥을 대표하는 상호 보완적인 비유적 의미 형태를 명시적으로 모델링하는 개념 수준의 다차원 프레임워크로 나아가도록 동기를 부여한다.
본 의견 논문에서 우리는 은유 번역 평가를 위한 오류 심각도 인식 주석(annotation) 프레임워크인 MetaHOPE를 제안한다. 은유는 의미적 복잡성, 문맥 의존성, 문화적 임베딩(cultural embeddings) 등의 특성으로 인해 기계 번역(MT)과 자연어 이해 및 처리(NLU, NLP)에 어려움을 제기하며, NLP 모델에서 모호성 문제를 야기할 수 있다. 최신(state-of-the-art) NLP 모델이 은유 번역에서 어떻게 수행되는지 조사하기 위해 GoogleMT, GPT5.4, Hunyuan-7b의 세 가지 대표 시스템을 신경망 기계 번역(NMT) 모델 및 LLM으로 선정하였다. 영어-중국어 및 중국어-영어 번역 목적으로 VUAMC와 PSUCMC를 포함한 두 개의 사람 주석 은유 코퍼스를 사용하였다. 사용한 원본 코퍼스는 단일언어(monolingual)이며, MetaHOPE 프레임워크를 이용해 오류 주석을 수행하고, 이중언어 활용을 위한 사람 후편집(post-edited) 골드 레퍼런스도 새 자료로 제작하였다. 은유 번역 주석을 위한 MetaHOPE 평가 프레임워크, 병렬 코퍼스 자료, 최신 자동 번역 모델에 대한 오류 분석이 은유 번역 연구 분야에 유용하고 일부 통찰을 제공할 수 있을 것으로 본다. 자료는 github.com/Jiahui84/MetaHOPE에서 공개한다.
대규모 언어 모델(LLM)의 안전성(safety) 평가는 여전히 영어 중심적이어서, 저자원 언어(LRL), 특히 아프리카 언어에 대한 탐색은 심각하게 부족한 상황이다. 본 논문에서는 JBB(JailbreakBench) 프롬프트의 인간 번역, 아프리카 맥락에 맞춘 영어 각색 후 인간 번역, GPT-5.2와의 상호작용을 통해 검증된 인간 큐레이션 프롬프트, 그리고 영어와 아프리카 언어를 결합한 코드 스위칭 프롬프트의 네 가지 설정을 통해 단순 번역을 넘어 JailbreakBench(JBB)를 확장한 7개 아프리카 언어 대상 탈옥 벤치마크인 TUKABENCH를 소개하며, 언어, 문화적 그라운딩(cultural grounding), 프롬프트 회피성이 모델 안전성에 미치는 영향을 분리하여 분석한다. 폐쇄형 및 오픈형 모델 전반에서 아프리카 언어로 프롬프팅할 경우 영어 대비 거부율이 감소하며, 문화적으로 각색된 프롬프트가 가장 낮은 거부율을 보였다. 또한 본 평가는 저자원 언어에서의 모델 이해 실패와 LLM-as-a-judge 신뢰도 저하라는 두 가지 구조적 한계를 드러낸다. 첫 번째 문제를 포착하기 위해 저자들은 Refused(거부) 및 Jailbroken(탈옥)과 함께 Deflection(회피/빗겨가기)을 도입하고, 두 번째 문제를 평가하기 위해 인간 주석으로 출력을 검증하여 자원이 더 부족한 언어와 덜 보편적으로 지원되는 문자 체계에서 판정관과 인간 간의 일치도가 떨어진다는 점을 보여준다.
비전-언어-행동 모델(VLA)은 사람이 조향할 수 있는 자율주행을 가능하게 할 것으로 기대되지만, 학습은 자연어 지시문과 짝지어진 프레임이 부족하다는 점에서 병목을 겪습니다. 카메라 스트림과 전문가 궤적은 대규모로 기록되는 반면, 언어 어노테이션(예: 교차로에서 좌회전)은 여전히 부족하고 확보하는 데 비용이 많이 듭니다. 이 문제를 해결하기 위해 우리는 풍부한 비라벨 관측-궤적 쌍을 언어 조건부 제어의 기반으로 변환하는 3단계 파이프라인인 Latent Action Driving Annotations(LADA)를 제안합니다. 첫째, 벡터 양자화(vector-quantised) 병목을 가진 잠재 행동 모델(latent action model)을 학습하여 상위 수준의 차량 의도를 담은 간결한 코드북을 만듭니다. 둘째, 언어 어노테이션이 있는 소규모 부분집합을 사용해 관측과 언어 지시문을 이 코드북으로 매핑하는 비전-언어 번역기를 학습합니다. 셋째, 라벨이 없는 전체 코퍼스에 대해 관측-잠재 행동 쌍으로 주행 VLA를 학습합니다. LADA는 언어 어노테이션의 5% 미만만 사용하고 보조적인 사고의 연쇄(chain-of-thought) 추론이나 시각 질의응답 스트림을 전혀 활용하지 않으면서도, 폐루프(closed-loop) Bench2Drive 벤치마크에서 Driving Score 87.98, Success Rate 70.46%를 달성하여 완전 지도학습 기반 베이스라인과 대등하거나 이를 능가합니다.
LLM 기반 음성 번역에서 전사 기반 사고의 연쇄(CoT)는 지도 미세조정(SFT)에 사용되는 참조 전사와 추론 시 모델이 생성하는 전사 간 불일치로 인해 어려움이 있다. 이를 해결하기 위해 그룹 상대 정책 최적화(GRPO)를 통한 공동 인식 및 번역 미세조정을 제안한다. 전사와 번역 모두에 점수를 부여하며, 번역은 모델이 생성한 전사에 조건화한다. 세 가지 토큰 advantage 전략을 비교한다. Qwen2.5-Omni-3B를 네 개 언어에 걸쳐 사용하여, SFT와 GRPO 하에서 CoT를 직접 음성 번역(Direct ST)과 비교 평가한다. CoVoST 2에서 학습하고 CoVoST 2와 FLEURS에서 테스트한다. CoT GRPO는 CoVoST 2와 FLEURS에서 Direct ST GRPO보다 평균 BLEU가 각각 1.77점 및 0.83점 높다. CoT SFT 대비 GRPO는 BLEU를 0.82점 및 0.67점 향상시키고 단어 오류율(WER)을 상대적으로 8.8% 및 7.2% 감소시킨다. 이러한 결과는 강화 미세조정이 학습-추론 불일치를 완화하고 인식과 번역을 공동으로 개선하는 효과적인 방법임을 보여준다.
원격 탐사(RS) 멀티모달 대규모 언어 모델(MLLM)은 영어로만 학습(training) 및 평가(evaluation)되는 반면, 텍스트 전용 인스트럭션 데이터는 100개 이상의 언어를 포괄합니다. 본 논문에서는 다국어 RS 예시가 단 하나도 없이도 영어 RS MLLM에 새로운 언어를 추가하는 방법론인 MODL(Mutually Orthogonal Domain-Language composition)을 제안합니다. 이는 영어 RS 영상으로 학습된 도메인 LoRA와 텍스트만으로 학습된 언어 LoRA를 함께 학습하되, 학습 전반에 걸쳐 모든 층(layer)에서 두 업데이트가 상호 직교하도록 유지하는 단일 손실(loss) 항 하에서 공동 학습됩니다. 이 제약 조건이 해당 방법론의 핵심 요소입니다. 이 제약이 없으면 동일한 학습을 진행하더라도 RS 질문에 정답을 맞히지만 영어로 답하게 되며, 베이스 모델(model)의 다국어 텍스트 능력을 크게 훼손하고 세 번의 시드 중 한 번은 발산합니다. 학습이 필요 없는 병합부터 기존의 직교성 변형 기법에 이르는 16가지 대안들 역시 동일한 방식으로 실패합니다. MODL은 모든 시드에서 이러한 실패를 모두 해결합니다. 최상의 대안이 27%에 도달하고 대부분 8% 미만에 머무는 반면, MODL은 56-71%의 확률로 대상 언어로 올바른 답변을 생성하며, 텍스트 능력은 학습되지 않은 베이스 모델 수준을 유지하고, 스페인어의 경우 다국어-멀티모달 데이터 없이도 Qwen2.5-VL-7B를 능가합니다. 단일 5개 언어 어댑터는 세 가지 시드 전반에서 영어, 스페인어, 베트남어의 성능을 온전히 유지하지만, 비라틴 문자는 여전히 미해결 과제로 남아 있습니다.
LLM이 자연어를 형식화(formalize)할 때, 그 출력이 원문에 충실한지 어떻게 알 수 있을까? 본 논문은 정답 주석(ground-truth annotation)을 필요로 하지 않는 라운드트립 검증(roundtrip verification) 방식을 제안한다. 이 방식은 문장을 형식화하고, 그 결과를 다시 자연어로 번역한 뒤, 이를 재형식화하여 형식 도구(formal tool)로 논리적 동치성을 검사한다. 두 형식화 결과가 일치하면 이는 충실한 형식화임을 뒷받침하는 증거가 된다. 두 결과가 일치하지 않으면 단계 수준(stage-level) 진단을 통해 오류가 발생한 특정 번역 단계를 국소화하고, 범위 한정 수정 연산자(scoped repair operator)가 해당 단계를 바로잡으려 시도한다. 우리는 두 가지 법령 도메인(텍사스 교통법(Texas Transportation Code)과 텍사스 공원·야생동물법(Texas Parks and Wildlife Code))에서 두 가지 LLM(Claude Opus~4.6과 GPT-5.2)과 세 가지 수정 베이스라인을 사용하여 이 프레임워크를 평가한다. 진단 기반 범위 한정 수정이 가장 효과적인 방법이었으며, 그 효과는 진단 함수의 신뢰성에 좌우된다. 두 도메인과 두 모델 전반에서, 우리의 전체 수정 시스템 하에서 동치성 검사를 통과하지 못한 규칙은 통과한 규칙보다 자연어 추론(NLI) 드리프트(drift)가 1.4배에서 2.5배 더 크게 나타난다.
동시 음성 번역(SimulST)은 부분적인 음성 입력을 처리하면서 번역을 점진적으로 생성한다. 대규모 언어 모델(LLM)은 오프라인 번역 작업에서 강력한 성능을 보여 왔지만, 이를 SimulST에 적용하는 것은 상당한 도전 과제를 제기한다. 기존 LLM 기반 SimulST 접근법은 양방향 음성 인코더의 반복 인코딩으로 인해 상당한 계산 오버헤드를 발생시키거나, 고정된 read/write 정책에 의존하여 효율성과 성능을 제한한다. 본 연구에서는 음성 인코더와 LLM 모두를 포함하는 완전 단방향 아키텍처를 갖춘 Efficient and Adaptive Simultaneous Speech Translation(EASiST)을 제안한다. EASiST는 의미적으로 정렬된 SimulST 학습 샘플을 생성하기 위한 다중 지연(multi-latency) 데이터 큐레이션 전략을 포함하며, 명시적 read/write 토큰을 사용하는 교차(interleaved) 생성 작업으로 SimulST를 재정의한다. 적응형 추론을 위해 read/write 동작을 동적으로 예측하는 경량 정책 헤드(policy head)를 통합한다. 또한 음성-텍스트 모달리티를 정렬하고 번역과 정책 행동을 모두 최적화하기 위한 다단계 학습 전략을 사용한다. 도메인 내(MuST-C) 및 도메인 외(Europarl-ST) En-De, En-Es 데이터셋에서의 실험 결과, EASiST는 여러 강력한 베이스라인 대비 우수한 지연-품질(latency-quality) 트레이드오프를 제공함을 보여준다.
영어만 할 수 있는 사용자가 프랑스어 자동 번역문을 공유해도 될 만큼 좋은지 어떻게 판단할 수 있을까? 기존의 기계 번역(MT) 오류 탐지 및 품질 추정(QE) 기법은 이러한 실제 상황을 다루지 못한다. 본 논문에서는 핵심적인 MT 오류를 탐지하고 실행 가능한 피드백을 제공하도록 설계된 질문 생성 및 응답 프레임워크인 AskQE를 소개한다. AskQE는 사용자가 목표 언어에 대한 지식이 없더라도 MT 출력을 수용할지 거부할지 결정하는 데 도움을 준다. 우리는 COVID-19 도메인에서 대조적인 합성 MT 오류로 구성된 데이터셋인 ContraTICO를 사용하여 AskQE의 설계 선택지를 탐색하고, 질문 생성을 안내하기 위해 LLaMA-3 70B와 함의된 사실(entailed facts)에 의존하는 최적화된 버전을 개발한다. 그런 다음 실제로 발생한 MT 오류로 구성된 BioMQM 데이터셋에서 이 시스템을 평가하며, AskQE는 다른 QE 지표에 비해 사람의 평가와 더 높은 Kendall's Tau 상관관계 및 결정 정확도를 보인다.