PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29150v1cs.AI

Flow Reasoning Models: Scaling Reasoning Through Iterative Self-Refinement

Discrete flow models have recently shown promising performance on few-step text generation; however, when naively applied to structured reasoning tasks such as Sudoku and Zebra puzzles, they converge confidently to incorrect answers (solving only $\sim$36% of Sudoku puzzles). We introduce Flow Reasoning Models (FRMs), a training and test-time-scaling framework for structured reasoning with flow models. We make the observation that, despite their poor solve rate, flow models can act as their own verifiers. A correct answer is a stable fixed point of the denoising dynamics, returning to itself when re-noised and re-solved. This enables a test-time-scaling paradigm: propose many candidate solutions and keep those that are dynamically stable, which alone reaches high solve rates on Sudoku-Shah (~$100\%$) and Zebra ($95.9\%$). This even generalizes to harder out-of-distribution puzzles like Sudoku-Extreme ($96.1\%$), without ever training on that distribution. This pure search, however, wastes a great deal of computation generating incorrect candidate solutions. We therefore design a training recipe to improve the base model's efficiency. First, we train flow models with a self-conditioning channel and close it at inference, letting them refine their own past predictions. Second, we train models to avoid their own failed generations using direct preference optimization. These changes substantially improve the base model's efficiency, letting it reach $99.2\%$ on Sudoku in just $7$ forward passes, over $8\times$ fewer than the strongest matched masked-diffusion baseline we compare needs for the same accuracy. When combined with test-time scaling, this lets flow models solve hard out-of-distribution puzzles (e.g. Sudoku-Extreme) far more efficiently.

arXiv:2606.27617v1cs.CL

마스킹 언어 흐름 모델

Masked Language Flow Models

마스킹 확산 모델(MDM)의 병렬 디코딩 한계와 흐름 언어 모델(FLM)의 다단계 추론 취약성을 동시에 극복하기 위해, 연속 확률 보간(continuous stochastic interpolant)으로 부분 마스킹 시퀀스와 클린 시퀀스를 연결하는 Masked Language Flow Models(MLFM)을 제안한다. 사전학습된 MDM을 경량 적응으로 MLFM으로 변환하고, 연속 디노이징과 확신 토큰의 이산적 언마스킹을 교대하는 새로운 샘플러를 통해 GSM8K와 MT-Bench에서 흐름 기반 언어 모델이 추론 및 인스트럭션 수행 과제를 처음으로 스케일링하여 해결할 수 있음을 입증하였다.

arXiv:2606.20404v1cs.CV

FlowBender: 자가 교정 조건부 플로우를 위한 피드백 인식 학습

FlowBender: Feedback-Aware Training for Self-Correcting Conditional Flows

조건부 확산 및 플로우 모델은 종종 해당 작업을 정의하는 제약 조건을 충족하지 못합니다. 예를 들어, 깊이(depth) 조건부 모델은 학습 및 추론 과정 모두에서 사용 가능한 순방향 연산자(forward operator)인 제약 조건을 정의하는 깊이 예측기에도 불구하고, 재추출된 깊이가 입력과 일치하지 않는 이미지를 생성하는 경우가 많습니다. 기존 접근 방식은 일반적으로 두 가지 범주로 나뉩니다. 하나는 조건 신호를 정적 단서(static cue)로 취급하여 추론 시 정렬 정보를 무시하는 지도 학습(supervised) 모델이고, 다른 하나는 수동으로 튜닝된 선형 업데이트를 통해 이를 참조하지만, 일반적으로 조건에 대한 충실도와 생성 샘플의 타당성 사이의 상충(trade-off)을 감수하는 가이던스 기반 방법입니다. 우리는 두 패러다임 모두의 근본적인 격차는 모델이 자체 정렬 오류를 활용하도록 학습된 적이 없다는 것이라고 주장합니다. FlowBender를 소개합니다. 이는 이러한 오류를 1급 입력으로 처리하여 네트워크가 추론 시점 피드백에 조건화된 교정 정책을 학습하도록 훈련시키는 폐루프(closed-loop) 프레임워크입니다. 각 단계에서 가이던스가 없는 미리보기(look-ahead) 패스는 깨끗한 신호를 추정하고, 순방향 연산자를 통해 작업 특화 편차가 계산되며, 정제(refinement) 패스는 이 신호를 사용하여 수정된 속도(velocity)를 생성합니다. 미분 가능한 연산자를 위한 그래디언트 기반 공식화와 JPEG 압축과 같은 미분 불가능한 설정을 위한 0차(zero-order) 변형을 포함하여 FlowBender의 여러 변형을 제안합니다. 효율적인 샘플링을 위해 최소의 추가 계산 비용으로 폐루프 교정을 가능하게 하는 이전 단계 지름길(prior-step shortcut)을 도입합니다. 이미지-투-이미지 변환, 복원, 3D 메시 텍스처링 전반에 걸쳐 FlowBender는 표준 지도 학습 기준선(baselines), 정렬 손실이 추가된 학습, 최신 추론 시점 가이던스를 일관되게 능가하며, 이를 상충시키는 대신 충실도와 타당성을 동시에 향상시킵니다.