PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03202v1cs.CV

컨텍스트 기반 플로우 매칭: 효율적인 시각적 생성을 위한 플로우 모델의 적응형 스텝 선택

Contextual Flow Matching: Adaptive Step Selection in Flow Models for Efficient Visual Generation

플로우 매칭(Flow Matching)은 연속 시간 동역학을 통해 고품질의 시각적 생성을 가능하게 하지만, 여러 번의 순차적 함수 평가로 인해 여전히 추론(inference) 비용이 많이 듭니다. 기존의 가속 기법들은 함수 평가 횟수를 줄이지만 추가적인 학습(training) 부담을 초래하거나 품질을 저하시키며, 입력에 따른 변동성을 고려하지 못하는 경우가 많습니다. 본 논문에서는 프롬프트(prompt) 특징을 기반으로 매 생성마다 스텝 수를 적응적으로 선택하는 추론 시점 기법인 COFLOW를 제안합니다. 컨텍스트를 인식하는 COFLOW는 추론 효율성과 생성 충실도의 균형을 맞추는 비지도 보상(reward)을 통해 온라인으로 학습됩니다. 본 기법은 플러그 앤 플레이(plug-and-play) 방식으로 기반 생성 모델(generative model)을 재학습할 필요가 없습니다. 이는 이미지 및 비디오 생성으로 일반화되며, 지각적 및 의미론적 품질을 유지하면서 2.5배 이상의 속도 향상을 달성합니다. 나아가 표준 정칙성 조건 하에서 O(1/K) 전향 오일러(forward-Euler) 이산화 오차 한계를 확립하는 이론적 분석을 제공합니다.

arXiv:2606.28661v1cs.LG

더 많은 샘플링이 오히려 해로울 때: 테스트-타임 스케일링의 최빈값 한계와 상관관계 한계

When More Sampling Hurts: The Modal Ceiling and Correlation Ceiling of Test-Time Scaling

사람이 과도하게 생각하듯, 언어 모델은 과도하게 샘플링하며 그 과잉 노력이 둘 모두를 더 나쁜 답으로 이끌 수 있다. 추론 시스템은 어려운 문제에 여러 번 샘플링하여 답변을 구하는데(테스트-타임 스케일링), 많이 뽑을수록 어딘가에서 정답이 나올 가능성이 높아져 커버리지—적어도 한 번이라도 정답이 나온 문제의 비율—가 상승하며 이것이 진보처럼 보인다. 그러나 실제 배포된 시스템은 하나의 답을 반환해야 하며, 어느 시도가 맞는지 모르는 상태에서 그것을 고르는 일이 바로 선택(selection)이다. 선택에는 상한이 있어 일정 시점을 넘으면 추가 샘플은 모델로 하여금 자신 있는 오답을 더욱 확신하게 만들 뿐이며, 그 동안 매 샘플마다 비용은 쌓인다. 커버리지의 상승과 선택 성능의 정체 사이의 간극—식별 불가능성 간극(identifiability gap)—은 모델이 생성할 수는 있지만 골라낼 수는 없는 답을 의미한다. 따라서 핵심 질문은 샘플링을 할 것이냐가 아니라 얼마나 할 것이냐이며, 그 답은 많지 않아도 된다는 것이다. 답을 고르는 목적에서는 수십 번의 시도 이내에 투표가 이미 수렴하는데 이를 최빈값 한계(modal ceiling)라 하고, 벤치마크 점수를 매기는 목적에서는 그보다 더 빨리 수렴하는 상관관계 한계(correlation ceiling)가 존재한다. 그 이후의 추가 샘플은 연산 비용만 늘리고 아무 이득도 없으며 오히려 답을 악화시킬 수 있다. 본 논문은 이 임계점을 하나의 수치—유효 샘플 수(effective number of samples)—로 정량화하며, 이 값은 이미 수행된 어떤 샘플링 실행에서도 도출할 수 있다. 병목은 정답을 생성하는 것이 아니라 정답을 알아보는 것에 있다.