다국어 LLM이 언어마다 추론·답변이 달라지는 문제를 줄이기 위해, 영어를 피벗으로 비영어와 영어의 소프트 토큰(soft token) 표현을 공유 임베딩 공간에서 정렬하는 지도 미세조정 보조 목적 SOLAR를 제안한다. 네 개의 다국어 추론 벤치마크에서 기본 모델 대비 최대 +17.7점, 표준 SFT 대비 +3.8점 정확도가 오르고 저자원 언어에서 이득이 가장 크며, 최종 층 교차 언어 유사성과 일관성도 개선된다.
추론 언어 모델(RLM)은 추론 지향 학습 데이터가 가장 풍부한 언어인 영어로 추론할 때 가장 강한 성능을 발휘합니다. 그러나 추론 트레이스(reasoning trace)는 모델 해석 가능성과 안전성을 위한 단서이며, 모델 사용자와 개발자 모두에게 실용적으로 유용합니다. 따라서 강력한 추론 성능을 유지하면서도 사용자가 선택한 언어로 추론하는 모델을 개발할 수 있는 것이 바람직합니다. 이를 위해 본 연구는 일본어로 추론하는 모델 학습의 실현 가능성을 조사합니다. 우리는 Qwen-3-8B로부터 지속적으로 사전학습된 일본어 대규모 언어 모델(LLM)인 Qwen-3-Swallow-8B의 일본어 추론 변형 모델을 GRPO를 이용해 개발하고, 코딩·수학·과학 벤치마크에서 평가합니다. 연구 결과, GRPO로 일본어 지속 사전학습 모델을 학습시킴으로써 추론 언어 제어가 실현 가능함을 보여줍니다. 그러나 성능은 여러 벤치마크에서 강력한 영어 추론 기준선(baseline)과 동등한 수준에 그칩니다. 또한 학습된 모델을 일본 문화 관련 벤치마크에서 평가한 결과, 기준선 모델보다 성능이 낮아, 일본어 추론이 문화적으로 관련된 과제에서의 성능을 자동으로 향상시키지는 않음을 시사합니다.
수학적 추론은 추론 대규모 언어 모델(LLM)을 평가하고 튜닝하는 핵심 과제로 자리잡았으나, 기존 벤치마크는 사전학습 코퍼스와 평가 스위트 모두에서 영어와 중국어가 지배적인 고자원 언어 편향이 심하다. 최근 공개된 PolyMath(Wang et al., 2025) 데이터셋은 중요한 진전을 이루었지만, 여전히 18개의 고자원 언어에만 국한되어 있다. 이 공백을 해소하기 위해 우리는 PluraMath를 소개한다. PluraMath는 PolyMath를 6개 어족에 걸친 18개의 추가 저대표 언어로 확장한 것으로, 중간 자원에서 극저자원 환경까지 포괄한다. 우리는 원어민이 사전 계산된 번역을 철저히 검증하는 인간 큐레이션 파이프라인을 통해 데이터셋을 구축하였다. PluraMath를 활용하여 소형, 중형, 대형, 클로즈드소스 앙상블의 네 가지 모델 규모에 걸쳐 27개의 추론 LLM을 벤치마크하였으며, 다양한 언어 조건에서 최신 모델의 다국어 수학적 추론 능력을 탐색하였다. 세밀한 분석 결과, 고자원 언어와 저대표 언어 간의 수학적 추론 성능 격차가 지속적으로 존재하며, 높은 성능은 대체로 더 나은 인스트럭션 튜닝 능력과 연관됨을 확인하였다. 우리는 저대표 커뮤니티를 위한 다국어 벤치마크 개발의 장벽을 낮추는 것을 목표로 데이터셋, 데이터 수집 파이프라인, 평가 프레임워크를 완전히 오픈소스로 공개한다.
추론을 위한 번역 캐스케이드(translation cascade)는 다른 언어의 쿼리를 영어로 번역하고, 영어로 추론한 후, 답변을 원래 언어로 다시 번역한다. 이는 다국어 추론에 경쟁력 있는 접근 방식이지만, 구조적으로 손실이 발생한다. 각 단계에서 이후 단계가 필요로 할 수 있는 정보, 즉 문화적 그라운딩(cultural grounding), 문체(register), 중의성 해소(disambiguation) 단서 등이 버려지기 때문이다. 우리는 간단하고 학습이 필요 없는 개입의 이점을 검토한다: 문맥 인식 번역 캐스케이드(context-aware translation cascade)로, 원본 질문, 영어로 번역된 질문, 그리고 추론 트레이스를 최종 번역 모듈의 컨텍스트에 추가로 제공한다. 우리는 다양한 태스크 유형을 포함한 9개의 다국어 벤치마크, 3개의 백본 모델, 그리고 285개의 고자원·중자원·저자원 언어에 걸쳐 성능 향상을 평가하며, 모델과 자원 환경 전반에 걸쳐 개방형 생성(open-ended generation)에서 강력한 성능 향상을 입증한다. 우리는 원본 언어 질문이 유익한 컨텍스트의 대부분을 제공함을 보인다. 본 연구는 오류 전파를 완화하기 위해 기계 번역 캐스케이드에서 정보 흐름을 더 잘 설계할 필요성을 강조하며, 간단하고 실행 가능한 기본 전략을 제시한다: 파이프라인 끝까지 원본 사용자 질문을 보존하라.
다국어 모델과 추론 모델을 고정 비율로 병합하면 소스 모델 간 충돌로 입력·언어별 최적 균형을 맞추기 어렵다. ST-Merge는 게이트형 크로스 어텐션(gated cross-attention)으로 두 소스 모델의 기여도를 입력에 따라 조절하며, 21개 언어에 걸친 네 가지 다국어 추론 벤치마크에서 여러 강력한 베이스라인을 일관되게 능가한다.
본 논문에서는 OECD 국제 학생 평가 프로그램(PISA)에서 파생된 소형 고품질 다국어 추론 벤치마크인 mmPISA-bench를 소개합니다. 이 벤치마크는 정답을 맞히기 위해 추론이 필요한 25개의 객관식 문제로 구성됩니다. 각 문제는 43개 언어로 된 공식적인 인간 번역으로 제공되며, 기계 번역된 버전으로 보완됩니다(즉, 총 2,150개 데이터 포인트). 우리는 언어, 추론 노력 수준, 번역 유형에 따라 두 가지 주요 상용 대규모 언어 모델(LLM)의 문제 해결 능력을 평가했습니다. 결과에 따르면 최신 대규모 언어 모델(LLM)은 평가된 모든 언어에서 효과적으로 추론할 수 있으며 인간 응시자와 유사한 정확도를 달성하지만, 대상 언어 간에는 일부 성능 차이가 존재합니다. 또한 기계 번역된 문제는 공식 인간 번역 대비 정확도 저하를 유발하지 않는다는 점을 발견했는데, 이는 공식 번역이 없는 대규모 다국어 추론 평가에서 고품질 기계 번역(합성 데이터)이 종종 충분할 수 있음을 시사합니다. 마지막으로 토큰 사용량과 관련 추론 비용을 분석한 결과, 일부 언어에서 대규모 언어 모델(LLM)의 사용이 동시에 더 비싸고 덜 정확하다는 것을 확인했습니다.