비전-언어-행동 모델(Vision-Language-Action models, VLA)은 언어 조건 로봇 조작(language-conditioned robotic manipulation)에서 강력한 성능을 보여주었으나, 언어적 변화에 대한 강건성(robustness)은 아직 잘 이해되지 않았습니다. 본 연구에서는 LIBERO 벤치마크를 10개 언어로 번역하여 VLA 모델에 대한 최초의 체계적인 다국어 평가를 수행하였으며, 이를 통해 비영어 지시(non-English instructions) 하에서 성공률이 30-50% 감소하는 등 심각한 성능 저하가 발생함을 확인했습니다. 작업 수행에 대한 정밀한 분석을 통해 언어 영향력이 단계별로 매우 불균형하다는 사실을 발견했습니다. 즉, 특정 단계는 강한 언어 의존성을 보이며 전체 작업 실패의 주원인이 되는 반면, 다른 단계들은 대부분 언어 무관(language-agnostic)한 특성을 보입니다. 이러한 통찰을 바탕으로, 단계별 언어 민감도에 따라 표현(representations)을 정렬하는 단계별 추론 시점 개입(step-wise inference-time intervention) 방법을 제안하여, 언어적 변화 하에서의 성능을 크게 향상시켰습니다. 우리의 결과는 VLA 모델의 언어 강건성이 근본적으로 단계별 제어 문제임을 시사하며, 신뢰할 수 있는 임베디드 에이전트(embodied agents)를 위해서는 시간적으로 구조화된 분석의 중요성을 강조합니다.
대규모 언어 모델(LLM)은 번역 작업에 새로운 가능성을 제시하지만, 저자원 언어를 처리할 때 종종 성능 저하를 겪습니다. 이러한 제한을 해결하기 위해, 우리는 저자원 언어인 쿠팡 말레이어(Kupang Malay)에 대해 LLM을 미세조정하는 접근 방식을 제안합니다. 우리의 접근 방식은 이중 언어 사전에서 명시적인 어휘 및 의미적 특징을 활용하여 지시 세트를 설계하고, 반복적인 지시 기반 학습을 가능하게 하는 학습 패러다임인 지속적 지시 미세조정(CIT)을 도입하는 것을 포함합니다. 실험 결과, Lius라고 명명된 우리의 모델은 표준 지시 미세조정 모델보다 4-6점 더 높은 성능을 기록하여 현저한 개선을 보였으며, 여러 평가 지표에서 신경망 기계 번역(NMT) 및 다국어 LLM 모델보다 10-13점 더 높은 성과를 보였습니다. 이러한 발견은 저자원 언어 번역에서 대규모 병렬 데이터에 대한 의존도를 완화하는 우리 접근 방식의 잠재력을 강조합니다.
프롬프트 기반 재작성이 번역 품질을 저하시킬 수 있는 문제를 해결하기 위해, 번역 품질 향상을 보상으로 사용하여 소스 텍스트 재작성 모델을 학습시키는 RLSR(Reinforcement Learning for Source Rewriting) 프레임워크를 제안한다. 4B 규모의 RLSR 모델은 동일 규모의 기준 모델을 능가하며 235B 대규모 언어 모델(LLM) 기반 기준 모델과 경쟁력 있는 성능을 보였다.
소형 언어 모델(SLM)의 다국어 성능 저하 문제를 해결하기 위해 온라인 시퀀스 수준 신호와 토큰 수준 신호를 결합하고 교차 언어 버벌라이저를 활용하는 DuDi 프레임워크를 소개한다. SEA-HELM 벤치마크에서 수행된 실험 결과, DuDi는 다양한 설정에서 기존 증류 기법보다 일관되게 우수한 성능을 달성했다.
본 논문에서는 OECD 국제 학생 평가 프로그램(PISA)에서 파생된 소형 고품질 다국어 추론 벤치마크인 mmPISA-bench를 소개합니다. 이 벤치마크는 정답을 맞히기 위해 추론이 필요한 25개의 객관식 문제로 구성됩니다. 각 문제는 43개 언어로 된 공식적인 인간 번역으로 제공되며, 기계 번역된 버전으로 보완됩니다(즉, 총 2,150개 데이터 포인트). 우리는 언어, 추론 노력 수준, 번역 유형에 따라 두 가지 주요 상용 대규모 언어 모델(LLM)의 문제 해결 능력을 평가했습니다. 결과에 따르면 최신 대규모 언어 모델(LLM)은 평가된 모든 언어에서 효과적으로 추론할 수 있으며 인간 응시자와 유사한 정확도를 달성하지만, 대상 언어 간에는 일부 성능 차이가 존재합니다. 또한 기계 번역된 문제는 공식 인간 번역 대비 정확도 저하를 유발하지 않는다는 점을 발견했는데, 이는 공식 번역이 없는 대규모 다국어 추론 평가에서 고품질 기계 번역(합성 데이터)이 종종 충분할 수 있음을 시사합니다. 마지막으로 토큰 사용량과 관련 추론 비용을 분석한 결과, 일부 언어에서 대규모 언어 모델(LLM)의 사용이 동시에 더 비싸고 덜 정확하다는 것을 확인했습니다.
자연어 생성(NLG)을 위한 평가 지표 검증은 일반적으로 비용이 많이 들고 시간이 소요되는 인간 주석에 의존하며, 이는 주로 영어 데이터셋에만 존재합니다. 우리는 대규모 언어 모델(LLM)을 메타 판사(Meta-Judge)로 활용하는 방법을 제안합니다. 이는 실제 데이터의 제어된 의미적 저하를 통해 합성 평가 데이터셋을 생성하여 인간 판단을 대체하는 확장 가능한 프레임워크입니다. 우리는 메타 상관관계를 사용하여 이 접근 방식을 검증하며, 이는 합성 데이터에서 도출된 지표 순위와 표준 인간 벤치마크의 순위 간의 정렬을 측정합니다. 기계 번역, 질의응답, 요약에 걸친 실험은 합성 검증이 인간 판단의 신뢰할 수 있는 대리 수단 역할을 함을 보여주며, 다국어 질의응답에서 0.9를 초과하는 메타 상관관계를 달성하고 인간 판단을 이용할 수 없거나 획득하기에 너무 비용이 많이 드는 상황에서 실행 가능한 대안임을 입증합니다. 우리의 코드와 데이터는 https://github.com/eiglerl/meta-judge에서 공개적으로 제공됩니다.