PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.38806v2cs.LG

전역 제약 조건 문제에서 블랙보드 지능이 자기회귀 방식을 능가할 수 있다

Blackboard Intelligence Can Surpass Autoregressive on Globally Constrained Problems

다음 토큰 예측(next-token prediction)은 대규모 언어 모델(LLM)의 눈부신 발전을 이끌어왔으나, 점차 늘어나는 연구 결과들은 복잡한 전역 제약 조건(global constraints)이 지배하는 문제에서 이러한 모델들이 어려움을 겪을 수 있음을 시사합니다. 본 연구에서는 이러한 영역에 주목하여, 이 한계 중 일부가 다음 토큰 예측 자체가 유도하는 추론 인터페이스에서 비롯되는지 질문을 던집니다. 우리는 인과적(causal)이고 좌에서 우로 진행되는 궤적에 얽매이지 않고 고정된 수정 가능한 캔버스 위에서 작업하며 후보 해 상태를 탐색하는 추론 시점(inference-time) 관점인 블랙보드 지능(blackboard intelligence)을 통해 이 문제를 연구합니다. 우리는 임의 순서 예측 인터페이스를 통해 부분적으로 채워진 해 상태에 대한 예측을 자연스럽게 제공하는 확산 언어 모델(diffusion language model)로 이 개념을 구현합니다. 우리의 핵심 관찰은 표준 마스크 기반 확산 목적함수에서 얻을 수 있는 단순한 모델 내부 수치인 평균 신뢰도(mean confidence)가 전역 일관성(global coherence)에 대한 유용한 프록시 역할을 하며 추론 시점의 탐색과 수정을 안내할 수 있다는 점입니다. 실험적으로 ZebraLogic, 간호사 근무 일정 배정(Nurse Rostering), 작업장 스케줄링(Job-Shop Scheduling, JSSP) 전반에 걸쳐 Blackboard는 파인튜닝된 LLaDA-8B-Instruct 체크포인트를 고정한 상태에서도 일관되게 추론 성능을 향상시키며 동일한 규모의 자기회귀(autoregressive) 베이스라인을 크게 능가하여 ZebraLogic-Hard에서 90.4%의 정확도, Nurse Rostering에서 76.4%의 정확한 실행 가능성(exact feasibility), JSSP에서 80.2%의 최적성(optimality)을 달성했습니다. 더 강력한 자기회귀 탐색 및 정제 기법으로도 ZebraLogic-Hard에서의 격차를 좁히지 못했으며, Blackboard는 훨씬 더 큰 규모와 강력한 테스트 시점 추론 능력을 갖춘 테스트 대상 프론티어 LLM들을 ZebraLogic-Hard 및 JSSP에서 능가했습니다. 우리는 코드베이스를 https://github.com/jwoosang1/blackboard-intelligence 에 오픈소스로 공개합니다.

arXiv:2607.23159v2cs.AI

CachedSearch: 비디오 확산에서 테스트 시점 검색을 위한 학습 없는 캐시 기반 탐험

CachedSearch: Training-Free Cached Exploration for Test-Time Search in Video Diffusion

테스트 시점 검색은 소형 비디오 확산 모델이 더 큰 모델과 대등한 성능을 낼 수 있게 하지만, 비용은 2~10배 더 든다. 모든 후보는 완전히 디노이징되지만, 대부분은 폐기된다. 학습 없는 캐싱은 거의 무손실 품질로 각 롤아웃을 2~3배 빠르게 만든다. 손실성 캐싱이 검증기(verifier) 순위를 보존할 때만 결합이 안전하다. 우리는 비디오 테스트 시점 검색에서 캐싱이 후보 순위를 손상시키는지에 대한 최초의 연구를 제시한다. 적응형 캐싱 래퍼(후보당 약 2배 속도 향상)를 적용한 Wan2.1-T2V-1.3B에서 ImageReward가 시드가 일치하는 캐시 롤아웃과 전체 롤아웃을 채점한다. 프롬프트당 Spearman 순위 상관계수의 중앙값은 0.905이며, VBench 스위트에서 top-1 일치율은 72%이다. VBench-2.0은 더 어려운 스위트에서 이 결과를 재현한다. 캐시된 우승 후보를 전체 연산으로 재계산하면 전체 검색 이득의 90~94%를 유지한다. 오류는 거의 동점인 후보들 사이에 집중되어, 손상이 스스로 제한된다. 이 발견은 CachedSearch로 이어진다. CachedSearch는 공격적인 캐싱으로 모든 후보를 탐험한 뒤, 우승 후보만 전체 연산으로 재생성한다. N=8에서 비용의 63%로 best-of-N 이득의 94.7%를 포착한다. 포착률은 폭(width)이 커질수록 증가한다. 동일 예산에서는 38% 더 많은 이득을 위해 두 배 넓게 검색한다. 이 결과는 Wan, LTX, CogVideoX, Hunyuan의 4개 계열, 6개 모델에 걸쳐 1.3B~14B에서 성립한다. Wan2.1-14B는 1.3B 모델의 충실도와 일치한다. 중간 궤적 가지치기는 88.6% 포착률에서 탐험 절감을 3.11배로 증폭한다. 다른 모델 계열로 이식하려면 단일 매개변수 재보정만 필요하며, 이는 충실도가 매개변수 수보다 아키텍처를 따른다는 것을 보여준다. CachedSearch는 학습 없이, 검증기에 무관하며, 검색 알고리즘과 직교(orthogonal)하여 테스트 시점 스케일링을 위한 플러그인 배율기가 된다.

arXiv:2606.25274v1cs.LG

UC-Search: Risk-Aware Test-Time Search for Delayed Constrained Time-Series Control

시계열 모델은 예측 성능 중심으로 평가되지만, 실제 시스템은 불확실성과 엄격한 실행 가능성 제약 아래 지연된 결정이 필요하다. UC-Search는 백본 예측·행동 점수, 실행 가능성 오토마타, 인식론적·우연적 불확실성을 경로 위험으로 반영한 UC-Beam·UC-MCTS 탐색을 결합한 모델 불변 테스트 시점 래퍼로, 공개 지연 제어·재고 벤치마크에서 CEM, MPPI, 위험 인식 무작위 탐색 대비 우수한 성능을 보인다.