arXiv:2606.06526v1 cs.AI

CrowdMath: 크라우드소싱 수학 연구 토론 데이터셋

CrowdMath: A Dataset of Crowdsourced Mathematical Research Discussions

Sherin Muckatira, Jesse Geneson, Slava Gerovitch, Pavel Etingof, Mikhail Gronas, Anna Rumshisky

제출 2026-06-02

한국어 초록

대규모 언어 모델(LLM)은 수학적 추론에서 상당한 진전을 이루었으나, 기존 벤치마크는 대부분 최종 답변, 단계별 풀이, 또는 완전한 증명이 있는 명확히 정의된 문제를 평가한다. 이러한 벤치마크는 협력적 미해결 문제 풀이, 즉 참가자들이 부분적 논증을 제안하고, 이전 단계의 오류나 빈틈을 파악하고, 결함 있는 추론을 수정하며, 점진적 기여를 증명으로 종합해 나가는 환경을 포착하지 못한다. 우리는 CrowdMath를 소개한다. 이는 MIT PRIMES--Art of Problem Solving(AoPS) CrowdMath 프로그램(2016-2025)에서 수집한 164개의 전문가 주석 진행 체인(progress chain)으로 구성된 데이터셋으로, 해당 프로그램의 토론은 동료 심사 논문으로 이어진 협력 연구 이니셔티브이다. 각 체인은 미해결 문제 진술에서 완성된 증명에 이르는 다중 참가자 포럼 토론을 추적한다. 게시물은 진화하는 풀이 과정에서의 기능적 역할에 따라 부분 진행, 증명 완성, 오류 추론, 오류 식별 등으로 레이블링된다. 우리는 평가 태스크를 정의하고 6개의 최신 프론티어 모델을 벤치마크한다. 모델들은 다음 게시물 예측에서 83-88%의 정확도를 달성하여 수학적 토론의 지역적 흐름을 따를 수 있음을 보여준다. 그러나 개별 기여의 기능적 중요성을 파악하는 데는 어려움을 겪으며, 최고 모델도 게시물 역할 분류(post-role classification)에서 매크로 F1 0.42를 달성하는 데 그쳤다. CrowdMath는 명확히 정의된 수학 문제를 푸는 것과 전개되는 협력적 수학 진행 과정을 이해하는 것 사이의 간극을 드러낸다.

원문 초록

Large language models have made substantial progress on mathematical reasoning, but existing benchmarks typically evaluate well-specified problems with final answers, step-by-step solutions, or complete proofs. They do not capture collaborative open-problem solving: a setting in which participants propose partial arguments, identify gaps or errors in prior steps, repair flawed reasoning, and gradually synthesize incremental contributions into a proof. We introduce CrowdMath, a dataset of 164 expert-annotated progress chains from the MIT PRIMES--Art of Problem Solving (AoPS) CrowdMath program (2016-2025), a collaborative research initiative whose discussions have led to peer-reviewed publications. Each chain traces a multi-participant forum discussion from an open-problem statement to a completed proof. Posts are labeled by their functional roles in the evolving solution process, including partial progress, proof completion, erroneous reasoning, and error identification. We define evaluation tasks and benchmark six frontier models. Models achieve 83-88% accuracy on next-post prediction, suggesting that they can follow the local flow of mathematical discussion. However, they struggle to identify the functional significance of individual contributions with the best model achieving only 0.42 macro-F1 on post-role classification. CrowdMath exposes a gap between solving well-specified mathematical problems and understanding collaborative mathematical progress as it unfolds.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06526v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15897v3cs.CL공통 태그 Benchmarking, Math, Large Language Model

검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리

Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines

수학 문제에서 Qwen3-8B가 Llama-3.1-8B를 검토하면 정확도가 33.2점 상승하지만, Qwen3-8B 단독의 정확도가 그 결과보다 6.4점 더 높다. 다른 모델의 답을 검토하는 방식은 보통 생성 모델 대비 향상 폭으로 평가된다. 본 연구는 이러한 평가가 검증(verification)과 능력 전이(capability transfer)를 혼동한다는 점을 보인다. 검증은 어느 한 모델 단독보다 더 높은 정확도를 더하는 것이고, 능력 전이는 더 강한 검토 모델이 스스로도 낼 수 있었던 답을 제공하는 것이다. 수학, 지식, 코드, 추론 영역에서 12개 오픈 웨이트 모델(3B~72B)의 48개 쌍에 대해 더 강한 모델 단독과 비교해 측정한 결과, 검토 방식이 이를 능가하는 경우는 96개 검토 방향 중 9개에 불과했으며, 능력 격차가 클수록 성능이 더 나빠졌다. 그 원인은 앵커링이다. 검토 모델이 대체로 생성 모델을 따라가면서 자신의 올바른 답을 버린다. 검토 방식은 더 강한 모델 단독 대비 2.6~2.8배의 비용이 드는 반면, 동일한 두 번의 호출을 사용하는 선택기(selector)는 검토 방식보다 2.7~4.2점 더 정확하면서 비용도 더 저렴하다. 검증에 관한 연구는 생성 모델 대비 향상 폭만이 아니라 더 강한 모델 단독의 성능도 함께 보고해야 한다.

arXiv:2610.13672v2cs.CL공통 태그 Math, Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.02945v2cs.AI공통 태그 Math, Mathematical Reasoning

AI 지원 수학적 발견을 위한 연속 그래프 메모리와 커뮤니티 인프라

Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery

수학적 발견에는 부분적인 아이디어와 그 재사용을 뒷받침하는 증거를 보존하는 것이 필요하다. 본 논문은 모델이 수용한 주장과 의존 관계를 선별된 탐색과 분리하는 연속 그래프 메모리를 갖춘 연구 하니스인 Ansatz와, 이러한 작업을 검사하고 안내하며 점검하기 위한 커뮤니티 플랫폼인 Ansatze를 제시한다. First Proof에서 Ansatz는 10문제씩 두 배치 각각에서 국소 검증기 종결 9건을 기록했으며, Second Batch의 부분 결과 하나도 연구의 기준에 따라 통과로 계산되었다. 이러한 모델 평가 결과에는 지속된 탐색이 포함되어 있으며 전문가 검증과는 다르다. 구성 요소 연구와 재검토는 불일치와 그 의존 관계의 파급 범위를 드러낸다. 미해결 문제 탐구에서는 후보 결과가 도출되었으며, 다섯 건의 Lean 형식화가 보고되었다. 이 플랫폼은 문제 발견, 연구 기록, 원고 분석, 형식 검증을 연결하면서 서로 구별되는 증거 상태를 보존한다. 이러한 시스템들은 지속적인 탐구와 검사 가능한 기여를 통해 인간-AI의 누적적 연구를 뒷받침한다.

arXiv:2610.15884v4cs.AI공통 태그 Benchmarking, Large Language Model

RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리

RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use

외부 도구를 호출하는 LLM 에이전트는 도구 호출이 시간 초과될 때 어떻게 할지 결정해야 한다. 재시도는 중복 부작용의 위험이 있고, 재시도하지 않으면 작업이 미완료로 남을 수 있다. 본 연구는 도구를 사용하는 LLM 에이전트의 재시도 결정과 실패 복구를 위한 평가 프로토콜인 RetryBench를 제시한다. 각 결정은 관측과 일치하는 모든 숨겨진 실행 세계에서 재생하여 재시도 허용 여부(재시도가 멱등성 키 보장이나 미실행 증명으로 정당화되는가?), 확정된 효과(중복과 누락), 완료 여부에 대해 채점된다. 네 가지 합성 소프트웨어 엔지니어링 과제에서 두 가지 통제된 프롬프트 민감도 연구(1,728건의 결정)를 수행한다. 연구 1(멱등성 키 설명): 계약을 고정한 상태에서 GPT-5.6 Luna는 추가 키가 "Candidate recovery key"로 설명될 때 40건 중 10건에서 유효한 멱등성 키를 재사용하지만, "Alternative key string"으로 설명될 때는 40건 중 39건에서 재사용한다. 계열별로 세 가지 표현을 추가했을 때 격차는 27/120 대 113/120이다. GPT-5.6 Sol과 Terra는 상한에 도달해 있다(40/40). 연구 2(행동 순서): 조회 보장이 불충분하게 명시된 조건에서, 재시도가 먼저 나열될 때 GPT-5.6 Terra와 GPT-5.4의 재시도율이 주로 두 과제에서 17~27 퍼센트포인트 낮아지며(선택지 순서 편향), 어느 행동이 더 나은지에 대해서는 주장하지 않는다. 연구 결과는 연구자가 선택한 표현, 네 가지 과제, 고정되지 않은 모델 별칭에 한정된다. 코드와 모든 모델 응답을 공개한다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.15710v1cs.AI공통 태그 Benchmarking, Large Language Model

제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가

Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate

어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.