그래디언트 플로우 최적화를 랜덤 효과 모델(random-effects model)의 통계적 추론 문제로 재해석하여, 학습 시간을 분산 성분(variance component) 매개변수로 다루는 이론적 프레임워크를 제시한다. 이를 기반으로 REML(restricted maximum likelihood) 기반 조기 종료(early stopping) 규칙을 도출하였으며, UK Biobank 프로테오믹스 데이터 실험에서 검증 데이터 분할 없이도 경쟁력 있는 예측 정확도를 달성함을 보인다.
최근 정형 데이터(tabular data)를 위한 딥러닝 모델이 많은 연구적 관심을 받고 있지만, 회귀 작업에서의 목적 함수(objective function) 선택은 여전히 충분히 연구되지 않은 자유도로 남아 있습니다. 여러 연구에서 표준 평균 제곱 오차(MSE)의 대안을 제시하고 있으나, 데이터셋, 백본 및 평가 프로토콜의 차이로 인해 실제적인 이점을 비교하기 어렵습니다. 본 연구에서는 광범위한 기존 정형 데이터셋 모음과 여러 신경망 백본 전반에 걸쳐 회귀 목적 함수를 체계적으로 재평가함으로써 이러한 격차를 해소합니다. 비교 결과, 제안된 많은 목적 함수가 적절히 튜닝된 MSE 기준선(baseline) 대비 제한적이거나 일관되지 않은 향상만을 제공하는 반면, 분위수 손실(quantile loss)은 테스트된 백본 전반에서 MSE 대비 일관된 종합적 성능 향상을 보이는 것으로 나타났습니다. 이어 우리는 이 강력한 목적 함수에서도 여전히 존재하는 한계를 밝혀냈습니다. 타깃 노이즈 수준이 서로 다른 영역들은 서로 다른 학습(training) 에포크에서 최적의 예측 성능에 도달할 수 있다는 점입니다. 결과적으로, 목적 함수가 이분산적(heteroskedastic) 타깃 분포를 표현할 수 있더라도 단일 전역 조기 종료(early stopping) 체크포인트는 불확실성 영역 간의 절충을 강제할 수 있습니다. 이러한 한계에 착안하여, 우리는 잠재적 해결책으로 입력 의존적 레이블 스무딩(label smoothing)을 사용하는 분위수 손실의 이분산성 인식 확장을 도입하였으며, 여러 백본에서 분위수 손실보다 향상된 성능을 거두었습니다. 전반적으로 본 연구 결과는 정형 딥러닝을 위한 회귀 목적 함수의 현대적인 실증적 그림을 제공하며, 불확실성 영역 간 최적 종료 시점의 차이가 전역 조기 종료의 효과를 어떻게 제한할 수 있는지를 강조합니다. 코드는 https://github.com/yandex-research/tabular-regression 에서 이용할 수 있습니다.
확산 언어 모델(Diffusion language models)은 반복적인 정제 과정을 통해 텍스트를 생성하지만, 많은 토큰이 최종 노이즈 제거(denoising) 단계에 도달하기 훨씬 전에 안정화되기 때문에 종종 계산상 비효율적입니다. 본 논문에서는 각 위치에서 독립적으로 수렴(convergence)을 식별하는 학습(training)이 필요 없는 토큰 수준 조기 종료(early stopping) 접근 방식을 소개합니다. 제안하는 방법은 모델(model)의 예측과 로컬 컨텍스트에서 파생된 경량 신호를 활용하여 개별 토큰(token)을 확정할 수 있는 시점을 동적으로 결정합니다. 이를 통해 작업별 미세조정(fine-tuning) 없이도 적응형 토큰별 동결(freezing)이 가능해지며, 필요한 총 확산 단계 수를 크게 줄입니다. 수학적 추론, 일반 질의응답, 과학적 이해를 아우르는 다양한 벤치마크 전반에서 본 접근 방식은 생성 품질을 보존하면서도 상당한 효율성 향상을 달성합니다.
대규모 언어 모델(LLM)은 추론 능력이 크게 향상되었지만, 때로는 과잉 추론하여 불필요한 추론 단계를 생성하기도 하며, 특히 불확실성이 있는 상황에서 또는 ill-posed이거나 모호한 질의가 주어졌을 때 그렇다. 우리는 생성 과정에서 불확실성 신호를 모니터링하여 이 문제를 완화하는 통계적으로 정당화된 조기 종료 방법을 제안한다. 첫 번째 접근법은 모수적이다: 불확실성 키워드의 발생 간격을 갱신 과정(renewal process)으로 모델링하고 조기 종료를 위해 순차 검정을 적용한다. 두 번째 접근법은 비모수적이며, well-posed 질의에서 너무 일찍 중단할 확률에 대한 유한 표본 보장을 제공한다. 우리는 여러 도메인과 모델에 걸친 추론 과제에서 실증 평가를 수행한다. 결과는 불확실성 인식 조기 종료가 LLM 추론의 효율성과 신뢰성을 모두 개선할 수 있음을 보여 주며, 특히 수학 추론에서 상당한 이득을 관찰한다.
우리는 Re-FORC를 제안한다. 이는 쿼리가 주어졌을 때 향후 사고 토큰 수의 함수로 기대되는 미래 보상을 예측할 수 있게 하는 적응형 보상 예측 방법이다. Re-FORC는 추론 모델에 경량 어댑터를 학습시키며, 더 긴 추론과 더 큰 모델에서 예측 성능이 향상됨을 보여준다. Re-FORC는 다음을 가능하게 한다: 1) 유망하지 않은 추론 체인의 조기 종료로, 정확도를 유지하면서 고정 예산 중단 대비 최대 26%의 연산을 절감, 2) 최적화된 모델 및 사고 길이 선택으로 단독 최대 모델을 능가하며—최대 정확도에서 1.7퍼센트포인트 더 높은 정확도에 도달하고, 최대 모델의 정확도에 맞추는 데 최대 12% 적은 연산이 필요, 3) 적응형 테스트 시간 스케일링으로, 신뢰도 기반 baseline 대비 (최대 연산에서 평균적으로) 정확도를 9.9퍼센트포인트 향상. Re-FORC는 토큰당 비용 임계값을 통해 길이 제어가 가능한 동적 추론을 허용하며, 연산 시간을 사전에 추정한다.
최근 몇 년간 언어 추론 모델(LRM) 분야는 매우 활발했으며, 학습 및 추론 기법의 발전으로 LRM이 더 길고 더 정확하게 추론할 수 있게 되었다. 그러나 점점 더 많은 연구들이 LRM이 여전히 비효율적이며, 검증 및 반성(reflection) 단계를 과도하게 생성한다는 것을 보여준다. 이 문제에 대응하기 위해, LRM이 생성하는 추론 단계의 유형을 실시간으로 주석화할 수 있는 경량 문장 분류기인 Step-Tagging 프레임워크를 제안한다. 추론 행동을 모니터링하기 위해, 추론 단계에 대한 새로운 분류 체계인 ReasonType을 도입했다. 이 프레임워크를 기반으로, 특정 단계 수의 온라인 모니터링이 LRM 추론의 효과적이고 해석 가능한 조기 종료 기준을 만들 수 있음을 입증했다. Step-Tagging 프레임워크를 표준 벤치마크 데이터셋 MATH500, GSM8K, AIME 및 비수학적 과제(GPQA, MMLU-Pro)에 대해 세 개의 오픈 소스 추론 모델로 평가했다. 표준 생성과 비슷한 정확도를 유지하면서 20~50% 토큰 감소를 달성했으며, 가장 큰 이득은 계산량이 더 많은 과제에서 관찰되었다. 이 연구는 LRM 생성에 대한 제어를 강화하는 새로운 방법과 LRM 행동을 연구하는 새로운 도구를 제공한다.
DNN 테스트 시 레이블링 예산을 사전에 정해야 하는 문제를 해결하기 위해, AdaStop은 한계 결함 발견율(marginal fault discovery rate)을 슬라이딩 윈도우로 추정하고 이 비율이 비용-편익 임계값 τ=c/v 아래로 떨어지면 레이블링을 자동 중단하는 프레임워크다. 다양한 데이터셋, 아키텍처, 선택 전략에서 실험한 결과, 전체 레이블링 예산의 9–31%만 사용하여 결함의 65–84%를 발견할 수 있음을 보였다.
LLM 에이전트가 실패할 에피소드를 초기에 예측하기 위해, 히든 활성화(hidden activations)에 경량 프로브를 적용하는 재현율 제어 중단 캐스케이드(abort cascade)를 제안한다. TextCraft 환경에서 Qwen-2.5-7B와 Llama-3.2-3B 모델에 대해 90% 재현율 목표 달성 시 각각 47.1%, 37.2%의 추론 연산을 절감하며, 이는 최적 단일 게이트 대비 1.6~1.7배 수준이다.
선형 회귀에서 이산 전체 배치 경사하강법의 동역학을 최소한의 분포 가정 하에 분석하여, 임의의 학습률 스케줄과 유한 시간 범위에서의 조기 종료(early stopping) 해가 일반화된 릿지 회귀(ridge regression)의 최소 노름(minimum norm) 해와 동치임을 증명하였다. 또한 다양한 학습률 스케줄과 임의 스펙트럼 데이터에서 조기 종료가 일반화 성능 향상에 유익함을 이론적으로 보이고, 최적 종료 시점 추정치를 제안하여 실험적으로 검증하였다.
랜덤화 스무딩(RS)은 아키텍처 제약 없이 신경망에 대한 엄격한 견고성 보장을 제공하지만, 극심한 계산 비용으로 인해 채택이 제한됩니다. 표준 RS는 입력당 수만 번의 모델 평가를 요구하며, 실무자가 사전에 고정된 표본 크기에 확정적으로 commit해야 합니다. 본 연구에서는 계산 자원을 적응적으로 배치하는 anytime-valid 인증 견고성을 위한 새로운 메타학습 프레임워크를 제안합니다. 경량 메타-러너를 사용해 순차 E-process에 대한 이미지별 사전분포를 예측함으로써, 엄격한 통계적 보장을 유지하면서 기존 방법 대비 표본 복잡도를 20배 줄였습니다. 순수한 효율성을 넘어, anytime-validity가 응용별 위험 임계값에 따라 계산을 적응적으로 할당할 수 있게 하며, 이는 기존 인증 프레임워크에서는 불가능한 형태의 자원 분류(triage)임을 보여줍니다. 이것이 유사한 인증 성능도 함께 제공하면서 달성 가능하다는 점은, 본 접근법이 실시간·안전-중요 인증 배포를 위한 경로를 제공함을 보여줍니다.
다중 에이전트 LLM 루프의 고정 반복 상한(max_iterations) 대신, 연속 초안 임베딩의 코사인 거리와 품질 신호로 의미 수렴 시 조기 종료하는 semantic early-stopping(SHP)을 제안한다. HotpotQA 60문항 테스트에서 판정자 없는 변형은 max_iterations 대비 운영 토큰을 38% 줄이면서 품질은 동등했고, 최적 라운드를 고르는 오라클이 모든 실용 정책보다 Information Score +0.115를 달성해 핵심 과제가 언제 멈출지가 아니라 어느 라운드가 최적인지로 재구성됨을 보였다.
병렬 테스트 타임 스케일링의 계산 오버헤드를 줄이기 위해 중간 체크포인트에서 추론 경로를 모니터링하여 조기 종료 시점을 결정하는 MARS를 제안한다. 이 방법은 자기 일관성(self-consistency) 토큰을 25-47% 절감하면서도 전체 예산을 사용한 기준 모델과 동일한 정확도를 달성한다.