Multilingual European Language Models: Benchmarking Approaches and Challenges
원문 초록
The breakthrough of generative large language models (LLMs) that can solve different tasks through chat interaction has led to a significant increase in the use of general benchmarks to assess the quality or performance of these models beyond individual applications. There is also a need for better methods to evaluate and also to compare models due to the ever increasing number of new models published. However, most of the established benchmarks revolve around the English language. This paper analyses the benefits and limitations of current evaluation datasets, focusing on multilingual European benchmarks. We analyse seven multilingual benchmarks and identify four major challenges. Furthermore, we discuss potential solutions to enhance translation quality and mitigate cultural biases, including human-in-the-loop verification and iterative translation ranking. Our analysis highlights the need for culturally aware and rigorously validated benchmarks to assess the reasoning and question-answering capabilities of multilingual LLMs accurately.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
HRIBench: Benchmarking Vision-Language Models for Real-Time Human Perception in Human-Robot Interaction
TransLaw: 홍콩 판례의 전문 번역을 시뮬레이션하는 대규모 데이터셋 및 멀티 에이전트 벤치마크
TransLaw: A Large-Scale Dataset and Multi-Agent Benchmark Simulating Professional Translation of Hong Kong Case Law
홍콩 법원 판결문을 영어에서 번체 중국어로 번역하는 것은 기본법 제8조 및 제9조에 의해 규정되어 있으나, 병렬 리소스의 부족과 법률 용어, 인용 형식, 사법적 스타일에 대한 엄격한 요구 사항으로 인해 여전히 제약이 있습니다. 우리는 홍콩 판례를 위한 첫 번째 대규모 문장 단위 정렬 병렬 말뭉치인 HKCFA Judgment 97-22를 소개하며, 이는 1997년부터 2022년까지의 344개의 전문 번역된 판결문(11,099개 문장 쌍; 210만 토큰)으로 구성되어 있습니다. 이 리소스를 기반으로, 우리는 번역을 단어 수준 표현, 문장 수준 번역, 다차원 검토로 분해하는 TransLaw라는 멀티 에이전트 프레임워크를 제안합니다. 이 프레임워크는 전문 홍콩 법률 용어 데이터베이스, 검색-증강 생성(RAG), 반복적 피드백을 통합하며, 의미적 정렬, 용어, 인용, 스타일을 포괄하는 4차원 전문가 검토를 수행합니다. 13개의 오픈 소스 및 상용 대규모 언어 모델(LLM)에 대한 벤치마킹 결과, TransLaw는 평가된 모든 모델에서 단일 에이전트 기준선을 유의미하게 상회하며 3회 이내의 반복에서 수렴함을 입증했습니다. 제안된 Legal ACS 지표를 사용하여 10명의 공인 법률 번역가가 수행한 인간 평가 결과, 법률-의미적 정확도의 향상이 확인되었으나, TransLaw는 문체적 자연스러움 측면에서는 여전히 인간 전문가에게 미치지 못하는 것으로 나타났습니다. 해당 데이터셋과 벤치마크 코드는 https://github.com/xuanxixi/TransLaw에서 확인할 수 있습니다.
Benchmarking Multimodal LLMs on Recognition and Understanding over Chemical Tables
OVQA: A Clinically Generated Visual Question Answering Dataset
SenseShift6D: Multimodal RGB-D Benchmarking for Robust 6D Pose Estimation across Environment and Sensor Variations
리피드 나노입자(LNP) 전입 효율 예측을 위한 머신러닝 벤치마킹 프레임워크
A Machine Learning Benchmarking Framework for Lipid Nanoparticle Transfection Efficiency Prediction
효율적인 리피드 나노입자(LNP) 매개 RNA 전달을 위한 새로운 이온화성 리피드(ionizable lipid)의 발견은 RNA 치료제 개발에서 여전히 주요 병목으로 남아 있다. 최근 발전은 리피드 구조로부터 직접 전입(transfection) 효율을 예측할 수 있는 머신러닝(ML) 모델의 잠재력을 보여주며, 이는 고처리량 가상 스크리닝을 가능하게 하고 후보 물질(lead) 선별을 가속한다. 그러나 LNP 전입 예측을 위한 새로운 모델이 계속 등장함에 따라, 엄격하고 표준화된 벤치마킹의 부재는 상당한 위험을 초래하며, 발견(discovery) 목적에서의 신뢰성에 대한 확신을 약화시킬 수 있다. 여기서 우리는 이온화성 리피드 구조에 기반한 전입 예측 모델을 평가하기 위한 견고한 ML 벤치마킹 프레임워크를 제시한다. 이 프레임워크는 전통적인 모델, 순전파 신경망(feedforward neural network), 그리고 최신(state-of-the-art) 그래프 기반 방법에 이르는 광범위한 ML 아키텍처와 결합된 다양한 분자 표현(molecular representation)을 체계적으로 벤치마킹한다. 또한, 제시된 프레임워크는 모델 일반화(generalization) 평가를 지원하며, 표준 회귀(regression) 지표를 넘어 예측 신뢰성을 평가한다. Xu et al.이 최초로 보고한 HeLa 전입 데이터셋에서 파생된 1,100개의 고유 이온화성 리피드 구조로 구성된 큐레이션 데이터셋을 사용하여, 이 프레임워크 내에서 명시적 분자 부분구조(substructure) 인코딩을 활용하는 모델들이 지속적으로 최고의 예측 정확도를 달성하며, 보다 정교한 새로운 모델 개발을 위한 필수 베이스라인으로 기능해야 함을 보여준다. 반면, AGILE, Chemprop, KPGT를 포함한 일부 현재의 그래프 기반 모델들은 비교적으로 낮은 정확도를 보이는 경향이 있다. 제시된 프레임워크는 표준화되고 투명하며 포괄적인 벤치마킹 자원을 제공하여, 새롭게 등장하는 아키텍처의 의미 있는 비교를 가능하게 하고 리피드 기반 RNA 전달에서의 예측 모델 향후 개발을 위한 강력한 베이스라인을 확립한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.