PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts
원문 초록
In this paper, we introduce PolyMath, a multilingual mathematical reasoning benchmark covering 18 languages and 4 easy-to-hard difficulty levels. Our benchmark ensures difficulty comprehensiveness, language diversity, and high-quality translation, making it a highly discriminative multilingual mathematical benchmark in the era of reasoning LLMs. We conduct a comprehensive evaluation for advanced LLMs and find that even Qwen-3-235B-A22B-Thinking and Gemini-2.5-pro, achieve only 54.6 and 52.2 benchmark scores, with about 40% accuracy under the highest level From a language perspective, our benchmark reveals several key challenges of LLMs in multilingual reasoning: (1) Reasoning performance varies widely across languages for current LLMs; (2) Input-output language consistency is low in reasoning LLMs and may be correlated with performance; (3) The thinking length differs significantly by language for current LLMs. Additionally, we demonstrate that controlling the output language in the instructions has the potential to affect reasoning performance, especially for some low-resource languages, suggesting a promising direction for improving multilingual capabilities in LLMs.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
모든 증명이 동등하지 않다: 정확성 너머의 LLM 증명 품질 평가
Not All Proofs Are Equal: Evaluating LLM Proof Quality Beyond Correctness
대규모 언어 모델(LLM)은 어려운 문제에 대해 올바른 증명을 내놓는 경우가 많을 만큼 유능한 수학 문제 해결자가 되었다. 그러나 정확성만으로는 충분하지 않다. 수학적 증명은 명료하고, 통찰력이 있으며, 전이 가능한 지식을 담고, 독자에게 전반적으로 유용해야 한다. 증명의 질은 주관적이며 독자와 맥락에 따라 달라지지만, 그 구성 요소 중 상당수는 구체화할 수 있다. 본 연구에서는 이러한 구성 요소를 식별하고, 어려운 경시대회 문제에서 선별하여 증명 품질의 확장 가능한 대리 지표 여러 가지를 측정하는 벤치마크인 ProofRank를 소개한다. 해당 지표는 (i) 간결성: 증명이 불필요한 단계를 피하는지 정량화, (ii) 계산 용이성: 증명이 지루한 계산에 의존하는 정도, (iii) 인지적 단순성: 사용된 증명 기법에 얼마나 접근하기 쉬운지, (iv) 다양성: 한 문제에 대한 모델의 증명이 얼마나 다양한지, (v) 적응성: 모델이 지정된 기법을 얼마나 잘 따를 수 있는지이다. 증명 품질은 정확성이 대체로 포착하지 못하는 차원에서 모델마다 크게 다르다는 것을 확인했다. 모든 증명 수준의 대리 지표는 프롬프팅으로 조절할 수 있으나, 대체로 정확성이 어느 정도 희생된다. 따라서 ProofRank는 정확성을 넘어서는 수학적 증명의 중요한 측면을 포착하며, 올바를 뿐만 아니라 가치 있는 증명을 생성하는 모델의 필요성을 보여 준다.
Step-wise Policy for Rare-tool Knowledge (SPaRK): Offline RL that Drives Diverse Tool Use in LLMs
Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination
A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning
Exploring Design of Multi-Agent LLM Dialogues for Research Ideation
SAMark: 단락 수준 패러프레이즈 견고성을 갖춘 자기 고정(self-anchored) 텍스트 워터마킹
SAMark: A Self-Anchored Text Watermarking with Paragraph-Level Paraphrase Robustness
의미 수준 워터마킹(SWM)은 문장을 기본 단위로 취급하여 텍스트 수정에 대한 견고성을 향상시킨다. 그러나 단락 수준 패러프레이즈(paraphrasing)에 대한 견고성은 여전히 어려운 문제로 남아 있다. 이러한 공격은 문장 순서를 변경함으로써 워터마크 신호를 전역적으로 교란하기 때문이다. 본 연구에서는 SAMark를 제안한다. 이는 의미 공간(semantic space)에 단계 독립적(step-independent) green region을 설정함으로써 문장 순서에 대한 의존성을 제거하는 자기 고정(self-anchored) 워터마킹 프레임워크이다. 탐지성(detectability)을 향상시키기 위해, 워터마크 신호를 증폭하면서 약하게 정렬(aligned)된 후보에서 발생하는 노이즈를 억제하는 다채널 쌍곡(hyperbolic) 스코어링 메커니즘을 도입한다. 또한 단순 n-gram 반복 필터를 넘어 의미적 중복(semantic redundancy)을 다루기 위해 hard filtering과 soft 정규화(regularization)를 결합한 다양성 인식(diversity-aware) 필터링 전략을 제안한다. 실험 결과, SAMark는 일반적인 단락 수준 패러프레이즈 공격 하에서 최대 90.2% TP@FP1%를 달성하며, 평균적으로 가장 강력한 선행 기준선(baseline)보다 30% 이상 우수한 성능을 보인다. 동시에 워터마크가 없는 텍스트와 경쟁할 만한 생성 품질을 유지하며, 기존 방법을 제한하던 견고성-품질 트레이드오프(robustness-quality trade-off)를 깬다. 코드는 https://github.com/Z1zs/SAMark 에서 공개될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.