PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.19376v5cs.AI

생성적 재귀 추론

Generative Recursive Reasoning

How should future neural reasoning systems implement extended computation? Recursive Reasoning Models (RRMs) offer a promising alternative to autoregressive sequence extension by performing iterative latent-state refinement with shared transition functions. Yet existing RRMs are largely deterministic, following a single latent trajectory and converging to a single prediction. We introduce Generative Recursive reAsoning Models (GRAM), a framework that turns recursive latent reasoning into probabilistic multi-trajectory computation. GRAM models reasoning as a stochastic latent trajectory, enabling multiple hypotheses, alternative solution strategies, and inference-time scaling through both recursive depth and parallel trajectory sampling. This yields a latent-variable generative model supporting conditional reasoning via $p_\theta(y \mid x)$ and, with fixed or absent inputs, unconditional generation via $p_\theta(x)$. Trained with amortized variational inference, GRAM improves over deterministic recurrent and recursive baselines on structured reasoning and multi-solution constraint satisfaction tasks, while demonstrating an unconditional generation capability. https://ahn-ml.github.io/gram-website

arXiv:2605.06639v2cs.LG

재귀적 에이전트 최적화

Recursive Agent Optimization

본 논문에서는 재귀적 에이전트(recursive agent), 즉 자기 자신의 새로운 인스턴스를 생성하여 하위 작업을 재귀적으로 위임할 수 있는 에이전트를 학습시키기 위한 강화학습 접근법인 재귀적 에이전트 최적화(Recursive Agent Optimization, RAO)를 소개합니다. 재귀적 에이전트는 분할 정복(divide-and-conquer)을 통해 에이전트가 더 긴 컨텍스트로 자연스럽게 확장되고 더 어려운 문제로 일반화될 수 있도록 하는 추론 시점 스케일링(inference-time scaling) 알고리즘을 구현합니다. RAO는 모델이 이러한 재귀적 추론을 최대한 활용할 수 있도록 학습시키는 방법을 제공하며, 에이전트에게 위임 및 소통의 시점과 방법을 가르칩니다. 이러한 방식으로 학습된 재귀적 에이전트는 더 우수한 학습 효율성을 보이고, 모델의 컨텍스트 윈도우(context window)를 넘어서는 작업으로 확장될 수 있으며, 에이전트가 학습된 것보다 훨씬 더 어려운 작업으로 일반화될 수 있을 뿐만 아니라 단일 에이전트 시스템에 비해 총 소요 시간(wall-clock time)을 단축할 수 있음을 확인했습니다.

arXiv:2512.19905v3cs.LG

LLM-as-a-judge의 베일을 벗기다: 추론 시간 스케일링을 위한 해석적으로 다루기 쉬운 모델

Demystifying LLM-as-a-Judge: Analytically Tractable Model for Inference-Time Scaling

최근 대규모 언어 모델(LLM)의 발전은 상당한 비중의 계산 자원을 학습 시간에서 추론(inference) 시간으로 재배치하는 데서 비롯되는 이점을 보여주었습니다. 그러나 추론 시간 스케일링(scaling)의 배후에 있는 원리는 아직 잘 이해되지 않았습니다. 본 논문에서는 LLM-as-a-judge 시나리오를 모델링하여, 선형 모델로부터 보상(reward)이 결정되는 보상 가중치 샘플러 기반의 베이즈 선형 회귀라는 추론 시간 스케일링의 해석적으로 다루기 쉬운 모델을 도입합니다. 우리는 결정론적 등가물(deterministic equivalents)이 사후 예측 평균과 분산에 대한 닫힌 형식 표현(closed-form expression)을 결정하는 고차원 영역에서 이 문제를 연구합니다. 교사 모델(teacher model)로부터 학습 데이터가 샘플링될 때의 일반화 오차를 분석합니다. 우리는 $k$개의 추론 시간 샘플을 추출하고 이차 보상에 적용된 온도(temperature)에서의 소프트맥스(softmax)를 통해 선택합니다. 보상이 교사 모델과 크게 다르지 않을 경우, 일반화 오차는 추론 시간 샘플 수 $k$가 증가함에 따라 단조 감소합니다. 그러나 추론 시간 선택을 최적화하는 특정 보상은 일반적으로 교사 모델과 다릅니다. 대조적으로, 보상 오지정(misspecification)이 상당할 경우 유한한 최적 $k$가 유도되며, 이를 넘어서는 추가 샘플링은 일반화 오차를 증가시킬 수 있습니다. 고정된 $k$에 대해 최적의 샘플링 온도가 존재합니다. 우리는 추가적인 대규모 언어 모델을 판정자(judge)로 사용하는 대규모 언어 모델 추론에서 이러한 사실들을 실험적으로 검증합니다. 교사 모델을 보상으로 사용하는 "best-of-$k$" 극한에서, 일반화 오차가 $Θ(1/k^2)$으로 감쇠함을 이론적으로 보이고 극값 이론(extreme value theory)을 통해 최고차 계수를 결정합니다. 이러한 공식들은 추론 시간 연산을 스케일링하는 것이 더 많은 데이터를 수집하는 것보다 증명 가능하게 유리한 영역을 명확히 보여줍니다. 마지막으로, 과제 난이도가 높아질수록 앞서 언급된 추론 시간 연산의 이점이 감소함을 입증합니다.

arXiv:2608.26480v2cs.MA

GVS5H: LLM 코딩 성능 향상을 위한 원장 기반 제어의 제로샷 자기 오케스트레이션

GVS5H: Zero-Shot Self-Orchestration with Ledger-Based Control for Improved LLM Coding Performance

최첨단 코딩 성능은 일반적으로 크고 비용이 많이 드는 독점 모델을 통해 달성된다. 본 연구에서는 단일 모델의 새로운 인스턴스들이 문제를 분해하고 공유 파일 시스템을 통해 조율하는 무학습(training-free) 방식인 원장 기반 제로샷 자기 오케스트레이션(GVS5H)을 소개한다. 최신 고난도 LiveCodeBench 100개 문제에 대해 11개의 오픈 및 클로즈드 가중치(weight) 모델을 대상으로 실험한 결과, 이 방식은 최대 25.6점의 향상을 보이며 여러 저렴한 모델을 최첨단 수준의 성능으로 끌어올린다. 오케스트레이션이 적용된 Qwen3.8 Flash Next는 Fable 5의 90.4% 대비 9%에 불과한 비용으로 93.0%를 기록하며, 더 작은 Qwen3.8-27B는 92.4%에 도달한다. 성능 향상이 모든 모델에 보편적인 것은 아니며, 일부 모델은 성능 변화가 없거나 악화되기도 한다. 트랜스크립트 분석 결과 이러한 향상은 문제 분해와 지속적 컨텍스트에 기인하는 것으로 나타났다. 추론(inference) 시점의 조직화를 통해 자체 호스팅 가능한 가중치로도 훨씬 적은 비용으로 최첨단 코딩 정확도에 도달하거나 이를 뛰어넘을 수 있다.

arXiv:2607.22602v1cs.AI

DeepLook: 선행 탐색(Lookahead)을 통한 더 깊은 사고

DeepLook: Deeper Thinking with Lookahead

추론 시점 스케일링(inference-time scaling)은 대규모 언어 모델의 추론 능력을 향상시키는 강력한 패러다임으로 부상했으며, 어려운 추론 과제에서는 종종 매개변수 스케일링만으로 얻는 것보다 더 큰 이득을 제공한다. 그러나 기존 접근법은 추론 궤적 내에서 연산을 할당하는 방식이 여전히 비효율적이다. 추론 실패가 잘못된 답이 명시적으로 드러나기 전에 불확실성이 조기에 나타나는 경우가 많다는 관찰에 동기를 부여받아, 우리는 DeepLook을 제안한다. DeepLook은 학습 없이 모니터링하고 개입하는 디코딩 프레임워크로, 불확실성 병목 지점에 선행 탐색(lookahead) 연산을 집중한다. DeepLook은 토큰 수준의 신뢰도를 구간 수준 신호로 집계하고, 최근 이력 대비 신뢰도가 하락할 때 트리거되며, 고정 수평선 선행 탐색으로 후보 연속을 탐색한다. 분기는 롤아웃 연속에 대한 구간 수준 신뢰도의 평균인 평균 선행 탐색 신뢰도(Average Lookahead Confidence, ALC)로 순위를 매기고, 가지치기한 뒤 투표를 통해 집계한다. DeepSeek-R1-8B, Qwen3-32B, GPT-OSS-20B, GPT-OSS-120B에 걸친 4개의 경쟁형 수학 벤치마크에서 DeepLook은 정확도-토큰 비용 파레토 프론티어를 이동시킨다. 16개 설정 중 11개에서 DeepConf-low 대비 정확도를 개선하면서, 평균적으로 데이터셋 수준 토큰 생성을 87.3% 줄였으며, Qwen3-32B에서 AIME25 +3.1, GPT-OSS-20B에서 BRUMO25 +8.8의 향상을 포함한다. 이러한 결과는 선택적이고 미래를 고려한 개입이 완전한 추론 궤적을 균일하게 스케일링하는 것보다 실질적으로 더 강한 정확도-비용 트레이드오프를 제공함을 보여준다. 코드는 여기에서 이용 가능하다.

arXiv:2607.21591v1cs.CV

점진적 시드 가지치기를 통한 디퓨전 모델의 추론 시 스케일링

Inference-Time Scaling of Diffusion Models via Progressive Seed Pruning

디퓨전 및 flow-matching 모델이 조건부 이미지 생성을 지배하고 있지만, 이러한 모델에 대한 추론 시 스케일링은 자기회귀(autoregressive) 언어 모델에 비해 훨씬 덜 발전되어 있다. 최종 품질이 초기 노이즈 시드에 매우 민감하기 때문에, 많은 접근법은 블랙박스 보상 하에서 시드 탐색이나 재샘플링에 추가 연산을 투입하지만, 일반적으로 추론 전반에 걸쳐 일정한 메모리 사용량을 유지한다. 우리는 이 제약을 완화하면 아직 충분히 탐구되지 않은 추론 시 스케일링 축을 활성화할 수 있음을 보인다: 탐험을 앞단에 집중하고, 초기에 많은 시드를 평가하며, 공격적으로 가지치기함으로써 고정된 연산 예산을 더 효과적으로 사용할 수 있다. 점진적 시드 가지치기(Progressive Seed Pruning, PSP)는 중간 디노이징 추정치에 점수를 매기고 후보 집합을 점진적으로 좁혀 유망한 궤적만 완전히 디노이징하며, 모델 평가 총 횟수는 고정된 상태를 유지한다. 디퓨전 및 flow-matching 백본 전반에서 PSP는 보상 유도 선택을 일관되게 개선하며, 동일한 연산량에서 best-of-N, importance-sampling, tree-search 기준선보다 더 높은 GenEval 점수(자동)와 프롬프트 정렬에 대한 더 나은 인간 평가를 달성한다. 프로젝트 페이지: https://www.vision.caltech.edu/psp. 코드: https://github.com/rogerioagjr/psp.

arXiv:2606.24437v1cs.AI

ReM-MoA: Reasoning Memory Sustains Mixture-of-Agents Scaling

Mixture-of-Agents (MoA) architectures improve inference-time scaling by organizing multiple LLM agents into layered reasoning pipelines. However, existing MoA variants fail to sustain gains as depth increases, exhibiting degradation, early plateauing, or saturation. We propose ReM-MoA, a memory-augmented MoA framework that sustains scaling through two mechanisms: (1) a Ranked Reasoning Memory that persistently stores and ranks reasoning traces from all layers using a comparative Reviewer Agent, and (2) a Curated Diversified Memory Routing scheme that exposes different agents to distinct combinations of successful and failed traces, preserving exploration diversity while propagating high-quality reasoning. We further introduce an optional multi-domain Reviewer distillation pipeline that improves ranking quality through frontier-model supervision. Across five reasoning benchmarks spanning math, formal logic, code, knowledge, and commonsense, ReM-MoA consistently outperforms prior MoA variants across both depth and width scaling, and its advantage widens with depth, establishing structured cross-layer reasoning memory as a key missing mechanism for scalable multi-agent inference.