PolyWorkBench는 5개 도메인(커머스, 지식 작업, 법률, 로컬라이제이션, 제조)에 걸친 67개 다국어 장기 수평(long-horizon) 업무 워크플로우 태스크로 구성된 LLM 에이전트 평가 벤치마크로, 구조적 채점·실행 검증·LLM 기반 의미 평가를 결합한 하이브리드 평가 프레임워크를 제안한다. 실험 결과 최신 LLM 에이전트들은 단일 언어 환경 대비 다국어 워크플로우에서 유의미한 성능 저하를 보이며, 다국어성이 추론·도구 사용·출력 생성 전 단계에 걸쳐 복합적인 오류 전파를 유발함을 보인다.
Cohere와 LG CNS가 공동 개발한 111B 파라미터 하이브리드 추론 모델 LuckyStar 111B는 새로운 사전학습 없이 Command A를 기반으로 다국어 SFT, 검증 가능한 보상을 활용한 강화학습(RLVR), 언어 일관성 보상, 4비트 양자화를 결합해 한국어-영어 기업용 에이전트 환경에 적응시켰다. 영어로 추론하고 한국어로 최종 답변을 생성하는 혼합 언어 전략을 통해 수학적 추론, 함수 호출, NL2SQL 성능을 크게 향상시키면서도 단일 GPU 서빙이 가능한 메모리 효율을 달성했다.
동남아시아(SEA)를 위한 AI 개발 및 평가가 빠르게 성장하고 있음에도 불구하고, 지역 언어에서의 에이전트 역량은 주권 AI에 있어 중요성에 비해 여전히 충분히 이해되지 않고 있다. 이러한 공백을 메우기 위해 우리는 SEA 주권 AI를 위한 최초의 에이전트 중심 평가 프레임워크인 SEATauBench를 소개한다. SeaTau는 TauBench를 중국어(보통화), 베트남어, 태국어, 인도네시아어, 필리핀어 등 다섯 개 언어에 적용하고, 사용자-에이전트 상호작용 언어, 도구 명세, 태스크 도메인을 달리하는 점진적 현지화 설정 전반에 걸쳐 에이전트를 평가한다. 최근 세 가지 모델에 대한 실험 결과, 대화 언어만 변경될 경우 영어 에이전트 역량이 비교적 잘 전이되는 반면, 더 많은 태스크 컨텍스트가 현지화될수록 품질과 견고성이 급격히 저하되며, 전체 도메인 적응에서 가장 큰 성능 저하가 나타남을 확인하였다. 또한 우리는 SEA 언어에서의 에이전트 역량 측정을 위한 영어 전용 에이전트 평가의 한계를 밝힌다. 더 나아가 SeaTau는 언어적으로 다양한 지역을 위한 신뢰할 수 있는 다국어 에이전트 구축을 위한 진단 벤치마크 및 재사용 가능한 적응 파이프라인을 제공한다. 데이터와 코드는 github.com/SEACrowd/SEATauBench에서 접근할 수 있다.