arXiv:2606.11009v2 cs.CL

누가 이드(Eid) 축제에 부활절 달걀을 가져왔는가? 언어 및 지역 전반에 걸친 수학 문장제 문제의 LLM 생성 문화적 번역 감사

Who Brought Easter Eggs to Eid? Auditing LLM-Generated Cultural Translation of Math Word Problems Across Languages and Regions

Parisa Suchdev, Juniper Lovato

제출 2026-06-09

저자 비고

arXiv Comments

18 pages total with references and appendix, 9 figures, accepted at AIES

한국어 초록

대규모 언어 모델(LLM)은 개인 맞춤형 학습을 대규모로 지원하기 위해 수학 문장제 문제를 각색하는 데 점점 더 많이 활용되고 있지만, 이러한 각색이 모델 간에 일관적인지, 대규모 환경에서 문화적 다양성을 보존하는지, 그리고 모델이 어떤 문화적 개체를 가장 두드러진 것으로 취급하는지를 밝혀내는 문제는 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 Claude Opus 4, GPT-4.1, Gemini 2.5 Pro가 60개의 영어 수학 문장제 문제를 벵골어, 힌디어, 펀자브어(인도), 우르두어, 신디어(파키스탄), 이탈리아어, 시칠리아어(이탈리아)로 어떻게 각색하는지 분석합니다. 이 언어 구성은 고자원 언어인 이탈리아어 및 힌디어부터 연구가 부족한 신디어, 시칠리아어, 펀자브어에 이르기까지 전체 자원 스펙트럼을 아우릅니다. 저자들은 6,489개의 개체 변환을 주석 처리하여, 모델이 이름, 음식, 장소와 같은 개체를 보존하는지, 현지화하는지, 일반화하는지, 생략하는지, 혹은 변경하는지 코딩했습니다. 모델들은 변환 유형에 대해서는 62.5%의 사례에서 일치했으나, 구체적인 대체 항목에 대해서는 33.5%에서만 일치했는데, 이는 모델 선택이 학생들이 접하는 문화적 세계를 직접적으로 형성함을 의미합니다. 21개의 모든 언어-모델 조합에서 엔트로피 붕괴가 나타났으며, 각색 과정에서 문화적 다양성이 확장되기보다는 압축되었습니다. 모델들은 이름, 음식, 통화와 같은 표면적 표지를 우선시하는 반면, 문화적으로 특정한 가정을 내포하는 학년제 시스템과 같은 더 깊은 구조적 특징은 그대로 유지했습니다. 대상 국가를 명시한 프롬프트에도 불구하고, 모델들은 인도 벵골어권 학생들에게 방글라데시 타카를 사용하는 등 지역적 맥락을 잘못 귀속시키고, 달걀 찾기를 이드 활동으로 각색하는 것과 같은 문화 간 교차 오염을 유발했습니다. 일부 실패 사례는 개별 번역에서 명확히 드러납니다. 다양성 붕괴, 표면적 표지에 대한 체계적 선호, 일관된 지역적 오귀속을 포함한 다른 실패 요소들은 말뭉치 수준의 분석을 통해서만 드러납니다. 각색된 문제를 올바르게 보이게 만드는 표면적 타당성이야말로 오히려 더 깊은 수준의 실패를 쉽게 간과하게 만드는 요인입니다.

원문 초록

Large language models are increasingly used to adapt math word problems for personalized learning at scale, but it remains an open question whether those adaptations are consistent across models, preserve cultural diversity at scale, and reveal which cultural entities models treat as most salient. We analyze how Claude Opus 4, GPT-4.1, and Gemini 2.5 Pro adapt 60 English math word problems into Bengali, Hindi, Punjabi (India), Urdu, Sindhi (Pakistan), Italian, and Sicilian (Italy), a language set spanning the full resource spectrum, from high-resource Italian and Hindi to under-studied Sindhi, Sicilian, and Punjabi. We annotate 6,489 entity transformations, coding whether models preserve, localize, generalize, omit, or change entities such as names, foods, and places. Models agree on transformation type in 62.5% of cases and on specific substitutions in only 33.5%, meaning model choice directly shapes which cultural world students encounter. All 21 language-model combinations show entropy collapse, with adaptation compressing rather than expanding cultural diversity. Models prioritize surface markers such as names, foods, and currencies while preserving deeper structural features such as grade-level systems that embed culturally specific assumptions. Despite prompts specifying target countries, models misattribute regional context by using Bangladeshi taka for Indian Bengali students and produce cross-cultural contamination, such as adapting egg hunts as Eid activities. Some failures are visible in individual translations. Others, including diversity collapse, systematic preference for surface markers, and consistent regional misattribution, emerge only through corpus-level analysis. The surface plausibility that makes adapted problems look correct is precisely what makes deeper failures easy to overlook.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11009v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13672v2cs.CL공통 태그 Math, Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.13370v1cs.CL공통 태그 Large Language Model, low-resource languages

전문가 선택 편향을 통한 데이터 불균형 극복

Overcoming Data Imbalances with Expert Selection Biases

전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.

arXiv:2610.13594v1cs.AI공통 태그 Math, Large Language Model

MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습

MENTOR: Learning from Failure with On-Policy Pedagogical Intervention

검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.

arXiv:2610.02488v2cs.LG공통 태그 Math, Large Language Model

LLM을 에이전트로 활용하기: 비용은 얼마인가?

Harnessing LLMs as Agents: What Does It Cost?

언어 모델 에이전트는 제한된 컨텍스트(bounded context), 영속 메모리(persistent memory), 도구, 검증, 반복 실행을 관리하는 하네스(harness)에 점점 더 의존하고 있지만, 기존의 모델 능력 개념은 이러한 메커니즘이 소비하는 계산 자원을 정량화하지 못한다. 우리는 기저 의미론적 모델(semantic model)은 고정한 채 하네스 수준의 자원을 명시적으로 과금하는 자원 제약 추상화인 언어 모델 에이전트 머신(Language Model Agent Machine, LAM)을 도입한다. 우리는 네 가지 범주의 결과를 확립한다. 통신(Communication): LAM 실행은 동시적인 호출-전송 예산(call-transfer budget) 하에서 적-청 페블링(red-blue pebbling)과 인스턴스 단위로 동등하며, 이는 고전적인 입출력 하한(I/O lower bound)을 컨텍스트-메모리 트래픽으로 전이시킨다. 접근(Access): 메모리 인터페이스는 포인터 체이싱(pointer chasing)에서 무작위 접근과 비추측적(non-speculative) 순차 접근 사이의 $Θ(n)$ 격차를 포함하여 점근적 분리(asymptotic separation)를 유발한다. 재계산(Recomputation): 비트 반전(bit-reversal) DAG는 컨텍스트 용량 $C$와 영속 메모리 용량 $S$ 하에서 $Θ(n^2/(C+S)+n)$회의 모델 호출을 필요로 하며, 이는 저장된 중간 상태가 반복적인 의미론적 계산을 언제 피할 수 있는지를 정량화한다. 신뢰성(Reliability): 우리는 엄밀한 단계별(stage-local) 샘플링 한계, 불완전 검증(imperfect-verification)의 정확한 비용, 그리고 닫힌 형태의 최적 검증 간격을 갖는 영-데일리(Young-Daly) 유형의 체크포인트 법칙을 유도한다. GPT-6 Astra에 대한 통제 실험과 홀드아웃(held-out) 실험은 체크포인트 최적값, 프로그래밍적 검사(programmatic checking) 하에서의 정책 선택, 그리고 연쇄 MATH 과제에서 호출 단위(call granularity), 논리적 입력 트래픽, 신뢰성 간의 트레이드오프를 포함하여 통신 및 신뢰성 예측을 검증한다. 종합적으로, 이 결과들은 언어 모델 에이전트 하네스의 계산 비용에 대한 자원 이론(resource theory)을 제공한다.

arXiv:2610.01140v2cs.AI공통 태그 Math, Large Language Model

ReSolve: 선택적 생성 조정을 통한 후보 추론 재사용

ReSolve: Reusing Candidate Reasoning through Selective Generative Moderation

여러 해법을 샘플링하는 것은 최종 답변뿐만 아니라 중간 연역 과정과 미완성된 논증에도 연산량을 소모합니다. 본 논문에서는 선택적 생성 조정(selective generative moderation)을 통해 이러한 후보 추론 과정을 재사용하는, 학습(training)이 필요 없는 추론(inference) 절차인 ReSolve를 소개합니다. 답변 분포 제어기는 후보 간 의견이 일치하지 않거나 파싱 가능한 답변이 부족할 때 모델을 호출하여 기존 유도 과정을 검토하게 한 뒤, 생성된 해법을 유계 루프(bounded loop)에 통합합니다. 독립적으로 샘플링된 두 개의 후보 풀로 평가한 130개의 경시대회 수학 문제에서 Hybrid 점수 체계 기준, ReSolve는 동일한 4개의 후보에 대한 투표 방식이 기록한 91개 및 92개와 비교해 각각 100개와 99개의 정답을 얻었으며, 두 풀 모두에서 해당 투표 대비 정답이 오답으로 바뀐 경우는 없었습니다. 8개 샘플을 사용한 자기 일관성(self-consistency)은 실질적으로 훨씬 더 많은 토큰을 소비하면서 94개 및 96개의 정답을 얻은 반면, ReSolve는 두 평가에서 토큰을 각각 46.3% 및 47.2% 적게 사용했습니다. 정답 키, 투표 수, 상태별 출력 제한 규칙은 유지한 채 가시적인 유도 과정을 제거한 통제된 절제 연구(ablation)에서는 연산량이 증가했음에도 정답 수가 100개에서 93개로 감소하여 정확도가 떨어졌습니다. 선택적 조정과 항상 켜져 있는 균일(Uniform) 조정은 모두 97개의 문제를 해결했으나, 선택성을 적용함으로써 조정 토큰을 약 54%, 전체 파이프라인 토큰을 6.2% 줄였습니다. 이러한 결과는 후보 추론 과정이 재사용 가능한 추론 연산이라는 점을 뒷받침합니다. 다만 추가 샘플링 대비 정확도 우위나 특화된 경로 지침의 뚜렷한 이점을 입증하지는 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.