PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.13217v2cs.AI

VeRA: 실행 가능한 명세를 통한 추론 벤치마크 갱신

VeRA: Renewing Reasoning Benchmarks with Executable Specifications

추론 벤치마크(benchmark)는 신선도(freshness)와 헤드룸(headroom, 성능 향상 여지)이라는 두 축을 따라 갱신될 필요가 있습니다. VeRA는 각 항목을 자연어 템플릿, 입력 생성기, 결정론적 정답 프로그램으로 구성된 태스크 패밀리(task family)로 변환하여 두 축 모두를 실행 가능하고 감사 가능하도록 만듭니다. VeRA-E는 패밀리 내에서 새로운 인스턴스를 추출하고, VeRA-H는 패밀리를 수정하여 더 어려운 태스크로 변형하며, VeRA-H Pro는 시드(seed)당 검증(validation)된 최대 5개의 제안 중 심사자가 순위를 매긴 후보 하나를 선정합니다. 실행 확인, 시드 앵커링, 정답 변별력, 독립적인 인간 풀이를 통해 명세와 항목을 검증합니다. 승인된 프로그램은 로컬 연산을 통해 라벨이 지정된 추가 인스턴스를 생성합니다. 16개 모델 전반에서 AIME-2024 정확도는 시드의 84.46%에서 VeRA-E 변형의 70.25%로 감소하여, 고정 항목에서의 성공과 새로운 인스턴스에 대한 강건성 사이의 격차를 드러냅니다. AIME-2024-II에서는 인간 감사를 거친 VeRA-H Pro 릴리스가 정확도를 84.91%에서 58.57%로 낮춥니다. 세 가지 난이도 강화 소스 전반에서 H Pro는 H보다 평균 정확도가 낮습니다. AMO-Bench에서는 평가된 예산 하에서 두 릴리스 모두 시드보다 평균 정확도가 높게 나타납니다. 초기 감사에서는 난이도가 강화된 후보의 75.4%가 승인되었으며, 표적화된 수정을 통해 사용 가능한 수율이 95.1%로 상승합니다. 따라서 실행 가능한 패밀리는 반복 가능한 벤치마크 갱신을 지원하며, 검증은 태스크 품질을 향상시키고 선택(selection)은 제공되는 도전 과제의 난이도를 형성합니다.

arXiv:2607.12982v1cs.AI

FormalAnalyticGeo: 멀티모달 해석 기하학 문제 생성을 위한 신경-기호 기반 프레임워크

FormalAnalyticGeo: A Neural-Symbolic Based Framework for Multimodal Analytic Geometry Problem Generation

수학적 추론은 멀티모달 대규모 언어 모델(MLLM)의 급속한 발전으로 상당한 진전을 이루었으나, 해석 기하학은 주로 주석된 샘플의 부족으로 인해 여전히 많은 부분이 탐구되지 않은 상태로 남아 있다. 기존의 다이어그램 생성 접근법은 해석 기하학에서 어려움을 겪는다: 템플릿 기반 방법은 제약 조건 기반 레이아웃을 다룰 수 없고, 생성 모델은 주석이 달린 원뿔곡선을 정확하게 렌더링할 데 필요한 기하학적 정밀도가 부족하다. 우리는 멀티모달 해석 기하학 문제의 완전 자동 생성을 위한 확장 가능한 프레임워크인 FormalAnalyticGeo를 제시한다. 형식 언어의 엄밀함을 활용하여, 우리는 프레임워크를 CDL(Condition Description Language, 조건 기술 언어)을 중심으로 설계한다. CDL은 Signed Distance Field(SDF) 엔진을 통해 자유 형식의 문제 텍스트와 정밀한 다이어그램 렌더링을 연결하는 형식적 중간 표현이다. 이 프레임워크는 순차적으로 네 가지 특화된 LLM 구성 요소를 사용한다: 다양한 해석 기하학 문제를 생성하는 Generator, 각 문제를 SDF 기반 렌더링을 위해 CDL로 변환하는 Formalizer, 렌더링된 다이어그램에 대한 비전 기반 측정을 통해 정답(ground truth)을 추출하는 Measurer, 그리고 세 단계에서 출력을 검증하는 Quality Verifier. Quality Verifier의 구조화된 피드백이 자동 재시도를 유도하여, 인간 주석이 전혀 필요 없는 폐쇄 루프를 형성한다. FormalAnalyticGeo를 대규모로 적용하면 AnalyticGeo7K가 생성되며, 이는 각각 텍스트, 다이어그램, 형식적 주석, 정답이 정렬된 7K개 이상의 검증된 멀티모달 문제로 구성된 데이터셋이다. 실험 결과, 생성된 문제들은 정답 기준 중앙 상대 오차 0.70%를 달성하며, 답의 82.3%가 정확한 기호 해(symbolic solution)의 5% 이내에 들어선다. 우리의 프레임워크와 데이터셋은 공개될 예정이다.

arXiv:2511.00602v4cs.CL

OpenSIR: 개방형 자기 개선 추론기

OpenSIR: Open-Ended Self-Improving Reasoner

강화학습을 통한 대규모 언어 모델(LLM) 추론의 최근 발전은 검증 가능한 보상을 위해 주석이 달린 데이터셋에 의존하며, 이는 모델이 인간 수준의 성능을 초월하는 능력을 제한할 수 있다. 셀프 플레이(self-play)는 유망한 대안을 제시하지만, 기존 방법들은 사후학습된 모델에서 미미하거나 오히려 부정적인 성능 향상을 보이는데, 이는 새로운 개념을 발견하기보다 친숙한 개념 주변에 집중된 문제를 생성하기 때문이다. 우리는 단일 LLM이 교사와 학생 역할을 번갈아 수행하여 외부 검증기나 주석 데이터 없이 새로운 문제를 생성하고 풀어내는 셀프 플레이 프레임워크인 OpenSIR(Open-Ended Self-Improving Reasoner)을 소개한다. 단일 시드 문제에서 시작하여, OpenSIR은 모델을 낯선 개념으로 유도하는 다양성 보상과 문제를 학습 가능한 수준으로 유지하는 난이도 조정을 통해 개방형 탐험을 지속한다. 7개의 수학 벤치마크에 걸쳐, OpenSIR은 모든 모델에서 일관되게 성능을 향상시키며 인스트럭션 모델에서 평균 +3.6점, 추론 모델에서 +3.1점을 기록하는 반면, 최근의 셀프 플레이 기준선들은 미미하거나 오히려 부정적인 성능 향상을 보인다. 단일한 사소한 시드에서 시작하여, 7천 개 이상의 주석 예제로 학습된 GRPO 기준선도 능가한다. 자기 생성된 수학 데이터만으로 학습함에도 불구하고, OpenSIR은 일반 추론으로 전이되는 유일한 셀프 플레이 방법으로, 추론 모델에서 최소 +4.4점의 성능 향상을 달성한다.

arXiv:2606.29985v1cs.CL

전략을 측정하는가, 표현을 측정하는가? 대규모 언어 모델 수학적 추론에서 표면 수준과 접근 수준 다양성의 격차

Are We Measuring Strategy or Phrasing? The Gap Between Surface- and Approach-Level Diversity in LLM Math Reasoning

대규모 언어 모델(LLM) 수학적 추론에서의 다양성은 탐험(exploration)에 있어 핵심적이지만, 일반적인 다양성 지표들은 문제를 풀어나가는 방식의 차이보다는 표면적 변형을 주로 포착한다. 우리는 접근 수준 다양성(approach-level diversity)—동일한 문제에 대한 정답들 전반에 걸친 전략의 변이—을 도입함으로써 이 격차를 해소한다. 인간 보정 LLM 판정자 프레임워크를 사용하여, 기존 다양성 측정 지표들이 접근 수준 다양성의 신뢰할 수 없는 대리 지표임을 보이며, 이 불일치는 다양성 인식 RLVR로까지 이어진다—목표 지표는 유지되는 반면 접근 수준 다양성은 하락한다. 접근 수준 다양성이 언제 도움이 되는지, 그리고 직접 유도될 수 있는지를 조사하여, 접근 다양성이 있는 후보 집합이 테스트 시간 스케일링(test-time scaling)을 향상시킴을 발견한다. 그러나 학습(training) 중 LLM 판정자 다양성 보상(reward)을 최적화하면 정책이 접근 방식을 넓히기보다는 판정자 특화 선호도를 활용하게 되어, 접근 수준 다양성의 직접적인 최적화는 미해결 문제로 남는다. 종합적으로, 본 연구는 접근 수준 다양성의 개념을 도입하고 표면 수준과 접근 수준 신호 간의 체계적인 괴리를 밝혀, 진정으로 다양하고 인간과 유사한 방식으로 추론하는 LLM을 향한 한 걸음을 내딛는다.

arXiv:2606.19636v1cs.LG

어려운 것인지, 단순히 도달하지 못한 것인지? 수학 추론 난이도 추정에서의 샘플링 사각지대 진단

Hard or Just Unreached? Diagnosing the Sampling Blind Spot in Math-Reasoning Difficulty Estimation

수학 및 과학 추론 벤치마크는 정답(gold)에 도달하는 샘플링된 체인의 비율인 pass@k를 표준적인 예제별 난이도 신호로 의존합니다. 동일한 신호는 검증 가능한 보상을 사용하는 강화학습(RL), 수학 데이터 큐레이션, 합성 커리큘럼, 검증기(verifier) 학습을 주도합니다. 우리는 이 프록시가 가장 어려운 계층에서 지속적인 사각지대(blind spot)를 가짐을 보여줍니다: 우리가 테스트한 8개의 자유 형식 수학 셀(4개의 오픈 가중치 모델에 대한 GSM8K 및 MATH)에서, 6번의 시도 동안 어떤 샘플링 시드도 해결하지 못한 예제의 10.3-22.9%는 대신 6체인 결정론적 체제에 의해 동일한 연산량으로 해결됩니다. 이들은 탐욕적 디코딩(greedy decoding)과 활성화 그래프팅(activation grafting)을 통해 적용된 5가지 저렴한 잔차 스트림(residual-stream) 섭동의 조합이며, 탐욕적 디코딩만으로는 이 수학 셀에서 최대 6%만 해결합니다. 복구는 추가적인 예산에 따라 비례하며, 우리는 12개의 모든 셀에 걸쳐 섭동의 기계적 구별성을 확인했습니다(모든 설정에서 교차 종류 수정 집합 Jaccard <= 0.47). 활성화 그래프팅(activation grafting)은 디코딩 방법이 아니라 내부 표현에 대한 개입으로 사용됩니다. 우리는 이것을 순수하게 진단 및 다양화 도구로 사용하며, 우리가 복구한 항목들은 pass@k= 0 % 계층이 수정되지 않은 모델이 일반적인 추론(inference) 하에서 도달하는 것이 아니라 잔차 스트림에서 구조적으로 식별 가능함을 보여줍니다.