Ten Digits on a Train: AI-Assisted Verification of Two Eigenvalue Problems
원문 초록
Accurate numerical eigenvalues are often difficult to certify, especially in singular or non-normal settings. This article reports a human--AI collaboration on two such computations. For a singular self-adjoint Schrödinger operator, a verified zero count and Dirichlet--Neumann bracketing certify the complete negative spectrum to ten decimal places. For a delicate non-normal atom--molecule benchmark, a previously unresolved resonance pair is separated, with each member enclosed to ten digits. The second result is achieved not by increasing the precision of one-way shooting, but by reformulating the problem as a global matching system for projective solution lines. The infinite tail is encoded as uncertainty in the terminal projective data, and a componentwise, tail-robust Krawczyk--Brouwer inclusion supplies the certificate. This gives a reusable architecture for analytic boundary-value systems with ill-conditioned propagation and uncertain asymptotic data. The collaboration also exposes the strengths and limits of AI assistance. AI rapidly produced accurate candidates and plausible proof strategies, but several failed, including one apparently complete tail argument that omitted the componentwise check required by a nonuniform polydisc. Validated computation is a stringent test of AI-assisted mathematics: the output is not merely a number, but a number with a proof. These examples show why the proof object matters, and why human mathematical judgment remained decisive. More broadly, as AI makes code, exposition, and plausible numerical claims inexpensive, standards for verification, attribution, peer review, and training must adapt. The implications are unsettling; the opportunity is extraordinary.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.23821v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
부분 검증 조건에서의 등각 예측
Conformal Prediction under Partial Verification
등각 예측(Conformal prediction)은 유한 표본 보장을 제공하는 예측 집합을 산출하지만, 캘리브레이션에 필요한 라벨 검증 비용은 매우 클 수 있습니다. 본 연구에서는 완전 검증과 정확히 동일한 예측 집합을 반환하는 부분 검증 기법을 개발합니다. 등각 임계값을 결정하기에 충분한 검증 정보인 캘리브레이션 인증서(calibration certificate)의 특성을 규명하고, 여러 캘리브레이션 예시 간의 검증을 조율하는 절차를 설계합니다. 높은 커버리지에서의 유한한 임계값에 대해, 후보군을 순서대로 확인할 때 본 방법의 검증 비용은 최소 인증서 비용의 2배 미만입니다. 검색, 수학 문제 풀이, 구성 평가 전반에서 이 방식은 동일한 예측 집합을 생성하면서도 캘리브레이션 예시를 하나씩 검증하는 방식 대비 검증 비용을 15~82% 절감합니다.
대규모 언어 모델(LLM) 추론을 위한 테스트 시점 캘리브레이션 학습
Test-time Calibration Learning for Large Language Model Reasoning
신뢰할 수 있는 대규모 언어 모델(LLM)은 정확한 답변을 생성하는 것뿐만 아니라, 정답일 확률을 충실히 반영하는 신뢰도(confidence)를 표현해야 한다. 이러한 캘리브레이션(calibration)은 불확실한 예측을 식별하고 실제 배포 환경에서의 신뢰할 수 있는 의사결정을 지원하는 데 필수적이다. 최근 연구들은 캘리브레이션 학습을 강화학습에 결합하여, 정답 여부에 대한 정답(ground-truth) 정확성 감독(supervision)을 이용해 답변 정확성과 언어로 표현된 신뢰도(verbalized confidence)를 공동으로 최적화한다. 그러나 이러한 접근법은 레이블이 있는 데이터에 의존하기 때문에, 정답 레이블을 사용할 수 없고 캘리브레이션이 새롭게 접하는 목표 과제(target task)에 적응해야 하는 실제 테스트 시점(test-time) 환경에서의 적용 가능성이 제한된다. 이러한 문제를 해결하기 위해, 우리는 레이블이 없는 목표 과제 데이터에서 직접 추론 정확도와 언어로 표현된 신뢰도를 공동으로 적응시키는 레이블-프리(label-free) 프레임워크인 테스트 시점 캘리브레이션 학습(Test-Time Calibration Learning, TTCL)을 제안한다. 구체적으로, TTCL은 다수의 모델 생성 응답으로부터 정답 여부와 캘리브레이션 모두에 대한 자기 감독(self-supervision) 신호를 도출하여, 정답 레이블 없이도 테스트 시점에서의 캘리브레이션 학습을 가능하게 한다. 이론적 분석을 통해 TTCL이 이상적인 캘리브레이션 목적함수에 대한 경계가 있는(bounded) 대체 목표(surrogate)임을 추가로 입증한다. 수학적 추론과 사실 기반 질의응답(factual question answering)에 대한 광범위한 실험을 통해, TTCL이 다양한 모델과 과제에서 정확도와 캘리브레이션을 일관되게 향상시킨다는 것을 보인다. 기본 모델(base model)에서 TTCL은 8개의 벤치마크에서 평균 상대 정확도 개선 +40.13%와 ECE(Expected Calibration Error) 감소 +70.80%를 달성한다. 더불어 TTCL은 이미 캘리브레이션된 모델에 대해서도 도메인 변화(domain shift) 상황에서 정확도와 캘리브레이션을 더욱 개선할 수 있으며, 특히 소스 도메인(source-domain)의 캘리브레이션이 목표 과제로 잘 전이되지 않는 경우에 효과적이다. 수학-사실 기반 질의응답(math-to-factQA) 설정에서 TTCL은 평균 상대 정확도 향상 +20.35%를 달성하고 ECE를 +53.83% 감소시킨다. 소스 코드는 https://github.com/tmlr-group/TTCL 에서 공개되어 있다.
잔차 기반 적응형 GMsFEM을 위한 가우시안 프로세스 대리 지표
Gaussian-process surrogate indicators for residual-based adaptive GMsFEM
고대비(high-contrast) 타원형 문제에 대한 잔차 기반 적응형 GMsFEM은 모든 coarse 이웃에서 국소 가중 $H^{-1}$ 지표를 반복적으로 평가하므로, 반복 쿼리(repeated-query) 설정에서 지표 평가가 반복되는 비용이 된다. D\"orfler marking에 사용되는 지표 점수에 대해 비침투적(non-intrusive) 가우시안 프로세스(GP) 대리 모형을 도입한다. 운영 예측량은 GP 사후 평균이며, 명시된 규약 하에서 커널 릿지 회귀(KRR) 추정량과 대수적으로 동등하다; 다중스케일 해법, 국소 스펙트럼 구성, 또는 기저 enrichment를 바꾸지 않고 압축된 국소 해와 스펙트럼 특징을 사용한다. 비균일 perturbed-marking 결과는 점별 점수 오차가 대리 모형이 선택한 이웃이 포착하는 정확한 지표 질량(indicator mass)에 미치는 영향을 정량화하고, 조건부 bounded-discrepancy KRR 경로는 이러한 점수 경계에 대한 충분한 가정을 밝힌다. 통제된 held-out in-distribution 테스트에서, 대리 모형이 안내하는 방법은 고전적 $H^{-1}$-잔차 오프라인 적응성과 비교 가능한 오차 대 자유도(DoF) 추세를 보이며, 오프라인 데이터 생성 및 GP 학습을 제외하면 온라인 지표 구성 요소 평가가 2.0–2.1배 빠르다.
신뢰도 라우팅이 실제로 하는 일: 멀티 에이전트 숙의에서의 라우팅, 보정, 커밋먼트 감사
What Confidence Routing Is Actually Doing: Auditing Routing, Calibration, and Commitment in Multi-Agent Deliberation
일반적인 멀티 에이전트(multi-agent) 설계는 에이전트에게 신뢰도(confidence)를 보고하게 하고 가장 높은 점수를 받은 에이전트가 다음에 발언하도록 하는데, 이는 하나의 스칼라 값을 대화 라우팅과 불확실성 추정 모두에 암묵적으로 사용하는 방식이다. 우리는 이러한 신뢰도 기반 라우팅 브로드캐스트 프로토콜을 세 가지 트레이스 수준의 질문으로 나누어 감사한다. 즉, 올바른 후보를 선택하는지(라우팅), 보고된 신뢰도가 확률처럼 동작하는지(보정, calibration), 그리고 선택된 에이전트가 해당 턴에서 채택된 답을 공개적으로 진술하는지(커밋먼트)이다. 주요 연구는 gpt-oss-120b의 올림피아드 수학 트레이스 4,181개를 대상으로 하며, gemma-4-31B-it와 생물학 객관식 벤치마크를 추가한 2×2 액터-벤치마크 그리드에서 동일한 감사를 반복한다. 주요 셀에서 신뢰도는 정답 후보와 오답 후보를 구별하지만(AUROC 0.72) 심하게 과신하는 경향이 있다(평균 진술 신뢰도 79% 대비 정확도 52%). 교차 적합(cross-fitted)되고 티어별로 층화된 아이소토닉(isotonic) 절차는 보류된 후보에서 기대 보정 오차(Expected Calibration Error)를 0.278에서 0.008로 낮추지만, 부족한 변별력을 회복시키지는 못한다. 두 Gemma 셀에서 원본 AUROC는 각각 0.537과 0.440에 불과하다. 라우팅 역시 설정에 따라 달라진다. gpt-oss/수학에서는 고정 라우터 간 차이가 최대 1.1퍼센트포인트에 불과한 반면, Gemma 셀에서는 원본 신뢰도 argmax가 유효 후보 무작위 선택보다 각각 5.6, 11.2포인트 낮은 성능을 보인다. 커밋먼트는 또 다른 양상을 보인다. 주요 셀에서 투표(poll) 답과 발화된 답은 유효 쌍의 20.4%에서 달라지며, 이러한 수정 중 62.4%는 새로 생성된 것이고, 무조건부 정답률 변화는 -1.7포인트이다. 반면 나머지 세 셀은 +0.9에서 +12.2포인트 범위를 보인다. 이로부터 얻을 수 있는 일반화 가능한 교훈은 절차적이다. 배포 의사결정에 원본 신뢰도를 사용하기 전에 라우팅 변별력, 확률 보정, 공개적 커밋먼트를 각각 별도로 측정해야 한다.
DeepLook: 선행 탐색(Lookahead)을 통한 더 깊은 사고
DeepLook: Deeper Thinking with Lookahead
추론 시점 스케일링(inference-time scaling)은 대규모 언어 모델의 추론 능력을 향상시키는 강력한 패러다임으로 부상했으며, 어려운 추론 과제에서는 종종 매개변수 스케일링만으로 얻는 것보다 더 큰 이득을 제공한다. 그러나 기존 접근법은 추론 궤적 내에서 연산을 할당하는 방식이 여전히 비효율적이다. 추론 실패가 잘못된 답이 명시적으로 드러나기 전에 불확실성이 조기에 나타나는 경우가 많다는 관찰에 동기를 부여받아, 우리는 DeepLook을 제안한다. DeepLook은 학습 없이 모니터링하고 개입하는 디코딩 프레임워크로, 불확실성 병목 지점에 선행 탐색(lookahead) 연산을 집중한다. DeepLook은 토큰 수준의 신뢰도를 구간 수준 신호로 집계하고, 최근 이력 대비 신뢰도가 하락할 때 트리거되며, 고정 수평선 선행 탐색으로 후보 연속을 탐색한다. 분기는 롤아웃 연속에 대한 구간 수준 신뢰도의 평균인 평균 선행 탐색 신뢰도(Average Lookahead Confidence, ALC)로 순위를 매기고, 가지치기한 뒤 투표를 통해 집계한다. DeepSeek-R1-8B, Qwen3-32B, GPT-OSS-20B, GPT-OSS-120B에 걸친 4개의 경쟁형 수학 벤치마크에서 DeepLook은 정확도-토큰 비용 파레토 프론티어를 이동시킨다. 16개 설정 중 11개에서 DeepConf-low 대비 정확도를 개선하면서, 평균적으로 데이터셋 수준 토큰 생성을 87.3% 줄였으며, Qwen3-32B에서 AIME25 +3.1, GPT-OSS-20B에서 BRUMO25 +8.8의 향상을 포함한다. 이러한 결과는 선택적이고 미래를 고려한 개입이 완전한 추론 궤적을 균일하게 스케일링하는 것보다 실질적으로 더 강한 정확도-비용 트레이드오프를 제공함을 보여준다. 코드는 여기에서 이용 가능하다.
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.