PyTorchKR Papers

최신 논문

총 6,647편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21609v2cs.AI

HierFlow: 자동 에이전트 워크플로 생성을 위한 계층적 결합 이중 공간 탐색

HierFlow: Hierarchical Coupled Dual-Space Search for Automatic Agentic Workflow Generation

구조화된 워크플로우는 대규모 언어 모델(LLM)이 복잡한 문제를 해결할 수 있게 해주지만, 이를 자동으로 생성하는 것은 방대한 조합적 탐색 공간으로 인해 심각하게 저해되며, 이는 종종 유연하지 않고 자원을 많이 소모하는 오프라인 학습 의존성을 초래한다. 이를 해결하기 위해, 우리는 워크플로우 생성을 상위 토폴로지 층이 하위 작업 경계를 규정하고 하위 수준의 실행 결과가 토폴로지 자체를 능동적으로 재형성하는, 토폴로지와 실행이 맞물린 탐색 패러다임으로 개념화한다. 이 기반 위에서, 우리는 피드백 기반 토폴로지 조정과 하위 워크플로우 최적화를 위한 빠른 MCTS(Monte Carlo Tree Search) 기반 트리 탐색을 결합하여 에이전트형 워크플로우 설계를 자동화하는, 학습 불필요·테스트 시점 계층적 탐색 아키텍처인 HierFlow를 제안한다. HierFlow는 맥락적 필요에 따라 실행 수준 탐색을 선택적으로 트리거하는 지능형 게이팅 모듈을 통해 효율성을 극대화하며, 우리는 작업 간 결합 정도가 계층적 분할의 효과에 미치는 영향을 상세히 분석함으로써 이 메커니즘을 추가로 뒷받침한다. 질의응답, 수학적 추론, 코드 생성 벤치마크에 걸친 종합적인 테스트는 HierFlow가 강력한 베이스라인을 지속적으로 능가하며, 추가 학습 부담 없이 고품질 결과와 계산 효율성의 최적 균형을 제공함을 확인한다.

arXiv:2607.20585v2quant-ph

밀도 행렬 임베딩 프레임워크 내 양자 선택 구성 상호작용을 위한 기계학습 기반 컴팩트 부분공간 생성

Machine-Learned Compact Subspace Generation for Quantum Selected Configuration Interaction within Density Matrix Embedding Framework

양자 선택 배치 상호작용(QSCI)의 확장인 샘플 기반 양자 대각화(SQD)는 분자 바닥 상태 에너지를 위한 유망한 하이브리드 양자-고전 패러다임이다. QSCI는 변분 최적화를 양자 샘플링으로 대체함으로써 불모의 고원(barren plateau)을 피하고 상관된 파동함수를 직접 재구성한다. 그러나 기존의 배치 복원은 물리적으로 가장 관련 있는 배치를 겨냥하지 않고 주로 대칭성 제약만을 부과하여, 과도하게 큰 부분공간과 비용이 큰 고전적 대각화를 초래하는 경우가 많다. 우리는 제한 볼츠만 머신(RBM)에 기반한 조밀한 부분공간 생성 프로토콜인 QSCI-RBM을 도입하고 이를 밀도 행렬 임베딩 이론(DMET)에 통합한다. RBM은 하드웨어 샘플로부터 지배적인 행렬식의 분포를 학습하여 확률이 높은 배치를 생성한다. 샘플링은 CH$_5$NO에는 IBM Heron R1(\texttt{ibm\_torino}), C$_2$H$_4$에는 R2(\texttt{ibm\_fez}), 더 큰 H$_2$O 벤치마크와 단백질-리간드 시스템에는 R3(\texttt{ibm\_boston})에서 수행되었다. 활성 공간 크기가 증가하는 이들 벤치마크에서 검증한 후, 열 개의 DMET 불순물로 분할된 SARS-CoV-2 주 단백질분해효소(M\textsuperscript{pro})에 결합한 억제제 Carmofur를 시뮬레이션한다. DMET-QSCI-RBM과 DMET-SQD 기준선 모두 네 번의 $\mu$ 반복 이내에 화학 퍼텐셜 자기일관성에 도달한다. 수렴된 화학 퍼텐셜에서 DMET-QSCI-RBM은 대칭성을 보존하는 배치 공간의 평균 $0.22\%$만 사용하면서 DMET-FCI와 $0.05\,\mathrm{mHa}$ 이내로 일치하는 반면, DMET-SQD는 $33.0\%$에서 $0.55\,\mathrm{mHa}$로, 약 153배의 부분공간 감소로 이어진다. 따라서 RBM 보조 확장은 동등하거나 더 나은 정확도에서 훨씬 더 조밀한 하드웨어 유래 행렬식 공간을 제공하며, 실제 하드웨어에서 생물학적 시스템의 확장 가능한 양자 임베딩을 위한 고전적 부담을 줄인다.

arXiv:2606.25986v2cs.LG

지정가 주문서 예측을 위한 추론-연산 프런티어

The Inference-Compute Frontier for Limit Order Book Prediction

우리는 FI-2010에서 지정가 주문서 예측에 대한 경험적 추론-연산 프런티어를 규명한다. 저연산 및 중연산 모델에 적합시킨 멱법칙은, 해당 적합에서 가장 큰 예산의 $56$--$2{,}515$배에 달하는 연산량을 가진, 제외된 MLPLOB 방식의 믹서 계열까지 외삽된다. 아홉 개의 폴드와 다섯 개의 예측 수평선에 걸쳐, 실현된 목표 프런티어에서 통합 $R^2$는 $0.934$이며 상수 종점 외삽보다 RMSE가 59\% 낮고, 제외된 모든 운용점에서는 $0.731$이다. 측정된 지연 시간은 더 약한 관계를 보이며 모델 계열의 순위를 바꾼다. 따라서 우리는 연산을 조밀한 시간 및 특징 혼합에 집약하도록 FastBiNLOB을 설계한다. H120은 다섯 개의 시드 모두에서 네 개의 수평선 중 두 개에서 발표된 최첨단 macro-F1을 능가한다. 우리의 CPU/MPS 프로토콜에서 H96은 W128 MLPLOB 기준 대비 중앙값 지연 시간을 23.6\% 줄이고, H120은 TLOB에서 착안한 이중 축 어텐션 기준 대비 60.2\% 줄인다.

arXiv:2606.24153v3cs.CV

차분 언폴딩: 비디오 스냅샷 압축 영상을 위한 효율적 복원

Differential Unfolding: Efficient Reconstruction for Video Snapshot Compressive Imaging

심층 언폴딩 네트워크(DUN)가 비디오 스냅샷 압축 영상(SCI)에서 주류를 이루고 있으나, 여전히 획일적인 설계 철학에 의해 제한된다. 기존 접근법은 복잡도가 높은 사전 정보를 동일한 구조로 반복적으로 쌓으며, 최적화 경로가 점차 거의 정적인 상태로 수렴한다는 사실을 간과한다. 그 결과 표현 정체가 발생하고, 작은 특징 갱신에 많은 계산 비용이 낭비된다. 이러한 비효율을 해결하기 위해 우리는 반복되는 작업을 무거운 단계와 가벼운 단계의 주기적 일정으로 대체하는 이종 프레임워크인 차분 언폴딩(Differential Unfolding, DU)을 제안한다. DU의 핵심은 차분 진화 프레임워크(Differential Evolutionary Framework, DEF)로, 언폴딩 절차를 구조적 앵커링과 차분 진화라는 두 가지 상호 보완적 역할로 나눈다. 이 방법에서는 매개변수가 많은 일반 단계를 드물게 사용하여 높은 충실도의 특징 기반을 형성한다. 반면 가벼운 차분 단계는 차분 표현 사전(Differential Representation Prior, DRP)을 사용하여 차분 메커니즘으로 이러한 기반 특징을 전달하고 정제한다. 진화하는 어텐션 맵을 위한 차분 표현 어텐션(Differential Representation Attention, DRA)과 특징 보정을 위한 차분 변조 FFN(Differential Modulated FFN, DM-FFN)을 통합함으로써, DRP는 최소한의 오버헤드로 단계 간 변화를 효과적으로 모델링한다. 높은 용량의 계산을 드물게 배치된 일반 단계에 집중하고 점진적 정제를 가벼운 차분 단계에 맡김으로써, DU는 정확도와 효율성 간의 우수한 균형을 달성한다. 광범위한 실험에서 DU-9stg는 최고 수준의 복원 품질을 달성하였고, DU-5stg는 가장 적은 매개변수와 FLOPs로 비교된 모든 방법을 능가하였다. 언폴딩 방법인 DADUN과 비교하면 DU-9stg는 매개변수가 약 절반, FLOPs가 4분의 1 정도만 필요하다. 코드: https://github.com/Muyuan-Zhang/DU

arXiv:2606.21633v3cs.LG

HERALD: CPU-GPU 협력형 KV 캐시 검색을 통한 고처리량 블록 확산 LLM 추론

HERALD: High-Throughput Block Diffusion LLM Inference via CPU-GPU Cooperative KV Cache Retrieval

블록 확산 LLM(block dLLM)은 토큰을 병렬로 생성하여 디코딩 처리량을 향상시키며, 자기회귀 LLM의 차세대 대안으로 부상하고 있다. 그러나 긴 컨텍스트에서는 KV 캐시가 메모리 대역폭과 용량 양면에서 여전히 주요한 처리량 병목이다. 자기회귀 LLM에서는 두 병목을 완화하기 위해 동적 희소 어텐션을 KV 오프로딩과 결합하는 경우가 많으며, 전체 KV 캐시를 CPU DRAM에 두고 핵심 부분집합만 GPU로 가져온다. 그러나 대역폭이 제한된 PCIe를 통한 KV 부분집합 선택과 검색은 상당한 오프로딩 오버헤드를 일으켜 GPU를 자주 정체시킨다. 우리는 KV 오프로딩을 지원하는 블록 dLLM용 최초의 동적 희소 어텐션 방법인 HERALD를 제시한다. HERALD는 블록 dLLM의 특성, 즉 블록마다 한 번 선택된 핵심 KV 부분집합이 해당 블록의 모든 디노이징 단계에서 재사용된다는 점을 활용하여, 다음 블록의 선택을 현재 블록의 디노이징 뒤에 숨길 수 있게 한다. HERALD는 실행 시스템과 함께 설계된 2단계 선택 알고리즘으로 이를 구현한다. GPU가 현재 블록을 디노이징하는 동안 CPU는 현재 블록의 B개 쿼리를 병합한 단일 쿼리로 다음 블록을 위해 전체 KV 캐시를 추측적으로 탐색하여 선택 연산을 Bx만큼 줄이고, 이후 GPU가 다음 블록의 실제 쿼리로 후보를 최종 top-K 부분집합으로 정제한다. K=1024에서 HERALD는 네 가지 블록 dLLM에 걸쳐 LongBench와 추론 과제에서 Dense 대비 거의 손실 없는 정확도를 달성하며, 디코딩 처리량을 Dense GPU 전용 추론 대비 최대 3.70배, 최신 블록 dLLM 희소 어텐션 방법인 MAGE 대비 2.59배, MAGE의 직접적인 KV 오프로딩 확장인 MAGE-Offload 대비 8.38배 향상시킨다.

arXiv:2606.18588v2cs.DC

Splaxel: 픽셀 수준 통신을 통한 대규모 장면 재구성을 위한 3D Gaussian Splatting의 효율적인 분산 학습

Splaxel: Efficient Distributed Training of 3D Gaussian Splatting for Large-scale Scene Reconstruction via Pixel-level Communication

3D Gaussian Splatting(3DGS)은 고충실도(high-fidelity) 및 실시간 3D 장면 재구성을 가능하게 하지만, 대규모 장면으로 학습(training)을 확장하려면 여러 GPU에 걸쳐 수억 개의 가우시안(Gaussian)을 최적화해야 합니다. 기존의 분산 접근 방식은 장면을 격리된 영역으로 분할하여 전역적 불일치(global inconsistency)를 유발하거나, 전역적 가우시안 수준 교환에 의존하여 GPU 간 통신이 급격히 증가하고 반복(iteration) 시간을 빠르게 지배하게 만듭니다. 우리는 픽셀 수준의 로컬 렌더링(local rendering)과 전역 합성(global composition)에 기반한 통신 효율적인 분산 3DGS 학습 프레임워크인 Splaxel을 제안합니다. 가우시안을 동기화하는 대신, 각 GPU는 로컬 부분 집합을 렌더링하고 부분적인 픽셀 값만 교환하며, 이는 장면 크기가 증가해도 통신 비용을 안정적으로 유지하면서 수학적 일관성을 유지합니다. Splaxel은 기하학적 및 투과율 가시성 예측(visibility prediction)을 통해 픽셀 수준의 중복성을 추가로 줄이고, 충돌 없는 카메라 뷰 통합(consolidation)을 통해 GPU 활용도를 향상시킵니다. 최대 1억 2천만 개의 가우시안이 포함된 대규모 데이터셋에서 평가한 결과, Splaxel은 높은 재구성 품질을 유지하면서 최첨단(state-of-the-art) 분산 3DGS 프레임워크 대비 최대 7.6배의 속도 향상을 달성했습니다.

arXiv:2606.18587v2cs.CL

지역 및 전역 어텐션을 위한 이중 차원성

Dual Dimensionality for Local and Global Attention

디코더 전용 Transformer는 이전 토큰들의 KV 캐시에 대해 어텐션을 계산한다. Key와 Value는 예측 대상과의 거리에 관계없이 일반적으로 동일한 차원으로 표현된다. 그러나 자연어에서는 다음 단어가 바로 앞의 토큰들에 의해 가장 강하게 영향을 받는다. 우리는 지역 토큰과 먼 토큰이 표현 용량에 대해 비대칭적인 요구를 가진다고 가설을 세운다. 즉, 지역 토큰은 즉각적인 출력 예측에 더 중요하므로 더 풍부한 표현이 필요한 반면, 먼 토큰은 주로 장거리 기억으로 기능하므로 더 낮은 차원의 표현으로 충분할 수 있다. 우리는 이 아이디어를 거리 적응형 표현(Distance-Adaptive Representation, DAR)으로 정식화한다. DAR은 지역 컨텍스트 윈도우 내에서는 전체 차원 표현을 유지하고, 그 윈도우를 벗어난 토큰에는 축소된 차원(예: 원래 차원의 1/2 또는 1/4)의 표현을 할당한다. 여러 사전학습 규모(70M~410M 파라미터)와 1B 규모 모델에서의 지속적 지도 미세조정에서 이 접근법은 전체 차원 기준선의 성능에 근접한다. 반면 모든 토큰 위치에 걸쳐 차원을 균일하게 줄이면 성능이 더 나빠진다. 이러한 결과는 key와 value의 차원이 토큰 위치에 관계없이 균일해야 한다는 통상적인 가정에 의문을 제기한다. 우리는 또한 DAR의 효율적인 구현을 개발하여, 평가한 모델에서 MLA 기준선과 비슷한 모델 품질을 달성하면서 8K 컨텍스트에서 평균 KV 캐시 크기를 68.8% 줄이고 128K 컨텍스트에서 최대 $1.9\times$의 디코딩 속도 향상을 얻었다. 본 연구 결과는 추론 중 KV 캐시를 줄이기 위해 토큰 거리에 따라 표현 용량을 할당하는 어텐션 아키텍처 설계의 새로운 방향을 시사한다.

arXiv:2606.17566v2cs.DC

AoiZora: 비디오 확산 트랜스포머를 위한 컴파일러 독립적이고 배치 인식적인 자동 병렬화

AoiZora: Compiler-Agnostic, Placement-Aware Auto-Parallelization for Video Diffusion Transformers

비디오 확산 트랜스포머(DiT)는 노이즈 제거 단계마다 수만 개의 시공간 토큰을 처리하므로, 저지연 추론과 학습은 일반적으로 여러 가속기에 분산하여 수행된다. 자동 병렬화 시스템은 논리 그래프 상에서 샤딩의 비용을 산정하지만, 실제 비용은 컴파일러가 생성하는 프로그램과, TPU 서브슬라이스와 같은 직접 네트워크에서는 각 논리 랭크를 어느 칩이 실행하는지에 따라 달라진다. 이 둘은 컴파일 이후에만 확인할 수 있는 반면 칩 할당은 그 이전에 확정되어야 한다. 우리는 컴파일러 독립적인 자동 병렬화 프레임워크 AoiZora를 제시한다. 이 프레임워크는 파티셔너가 샤딩하는 프로그램을 위한 IR과 컴파일러가 출력하는 프로그램을 위한 IR의 두 가지 IR을 기반으로 하며, 어떤 후보도 실행하지 않고 컴파일된 프로그램의 비용을 산정하여 샤딩되지 않은 모델의 논리 메시, 모든 텐서와 연산의 레이아웃, 장치 할당을 선택한다. AoiZora의 핵심은 증거(evidence)로, 이는 배치를 열어 둔 채 컴파일된 프로그램을 컴파일러 중립적으로 기록한 것이다. 이를 통해 한 번의 컴파일을 가속기 네트워크의 보정된 모델로 여러 배치에 대해 평가할 수 있으며, 배치가 어떤 샤딩이 선택될지를 결정할 수 있다. TPU v5e에서 AoiZora는 Wan 2.1과 HunyuanVideo의 노이즈 제거 지연 시간을 전문가 구성 및 Alpa 대비 평균 각각 1.23배, 1.32배 줄이며, 각 계획을 10분 이내에 찾는다. 또한 TPU v5p에서의 학습을 평균적으로 4개 칩에서 1.11배, 8개 칩에서 1.21배 가속하며, 동일한 핵심으로 GPU 상의 PyTorch 프로그램도 병렬화한다.

arXiv:2606.12074v2cs.CV

생성적 적대 신경망과 멤리스터 기반 분류기를 이용한 비정면 얼굴 인식

Non-frontal face recognition using GANs and memristor-based classifiers

얼굴 인식 시스템은 심층 학습(deep learning) 기법을 통해 크게 발전하여 복잡한 시나리오에서 높은 성능과 견고성을 제공하고 있다. 그러나 이러한 접근 방식은 상당한 연산 오버헤드를 수반하여, 비정면 얼굴 영상 처리 등의 과제를 해결해야 하는 드론과 같은 자원 제약적 플랫폼에서의 현장 적용성을 제한한다. 멤리스터 기반 뉴로모픽 시스템은 생물학적으로 영감을 받은 처리 방식과 효율적이고 확장 가능한 연산을 결합하여 엣지 AI 응용을 위한 유망한 접근법으로 부상하고 있다. 본 연구에서는 경량 생성적 적대 신경망(GAN) 기반의 포즈 정면화와 멤리스터 기반 뉴로모픽 인식을 통합하여 비정면 포즈 변화를 처리하는 얼굴 인식 프레임워크를 제안한다. 두 가지 데이터셋에 대한 실험 결과는 적대적 학습과 멤리스티브 기술의 결합이 효과적임을 입증하며, 최대 96%의 식별 정확도를 달성하였다. 제안된 접근 방식은 기존 AI의 연산 병목을 완화하고, 동적인 실세계 환경에서의 얼굴 인식을 위한 확장 가능하고 효율적인 솔루션을 제공한다.

arXiv:2606.11806v2cs.CL

프로덕션 LLM 시스템에서의 외부 경험 서빙: 품질-비용 트레이드오프에 대한 배치 지향 연구

External Experience Serving in Production LLM Systems: A Deployment-Oriented Study of Quality-Cost Trade-offs

프로덕션 대규모 언어 모델(LLM) 시스템은 재사용 가능한 운영 경험을 축적하지만, 실제 배치 문제는 단순히 그러한 경험이 도움이 되는지 여부가 아닙니다. 문제는 현실적인 제약 조건 하에서 서로 다른 서빙 전략들이 품질과 온라인 비용을 어떻게 상충(trade-off)시키는가입니다. 외부 경험을 주입하면 작업 품질을 향상시킬 수 있지만, 프롬프트 부담, 지연 시간(latency), 및 서빙 압력 또한 증가시킵니다. 우리는 외부 경험 서빙을 배치 지향 품질-비용 트레이드오프 문제로 연구합니다. 우리는 실제 프로덕션 모더레이션(moderation) 설정에서 이 문제를 평가하며, 서로 다른 출력-비용 체제(regimes)를 드러내는 보조 대비 작업으로 툴 사용(tool-use)과 GPQA를 사용합니다. 우리는 경험 없는 베이스라인, 무작위 경험 통제군, 전역 프롬프트 주입, 검색 기반 선택적 주입을 비교하고 작업 품질과 서빙 비용을 모두 분석합니다. 결과에 따르면, 경험이 사례 의존적이게 되면 선택적 검색이 무조건적인 전역 주입보다 더 강력한 운영 지점을 제공합니다. 또한 검색 품질이 단순히 Top-$K$를 늘리는 것보다 더 중요하며, 동일한 서빙 정책이 짧은 출력(short-output) 및 디코딩 집중(decode-heavy) 체제에서 상당히 다른 비용-편익 프로필을 나타낼 수 있음을 보여줍니다. 이러한 발견은 외부 경험을 보편적인 추가 기능이 아닌, 선택적이고 비용 인식적인 서빙 결정으로 취급하는 것이 가장 좋음을 시사합니다. 전반적으로, 여기서 연구된 설정에서 외부 경험은 서빙 인터페이스와 작업별 비용 구조가 품질 향상이 온라인 비용을 감당할 만한 가치가 있게 만들 때만 효과가 있습니다.

arXiv:2605.29310v3cs.AI

단계별 모델 라우팅을 위한 루브릭 기반 프로세스 보상

Rubric-Guided Process Reward for Stepwise Model Routing

단계별 모델 라우팅(stepwise model routing)은 각 추론 단계를 적합한 모델에 배정함으로써 대규모 추론 모델(LRM)의 효율을 높인다. 최근 방법들은 라우팅을 순차적 의사결정 과정으로 형식화하고 강화학습으로 라우터를 학습한다. 그러나 라우팅을 프로세스로 모델링함에도 불구하고, 라우터는 여전히 결과(outcome) 보상으로 지도된다. 이러한 보상은 최종 답의 정확성만 반영하며 중간 라우팅 결정을 평가하지 못해, 성능과 일반화를 약화시킬 수 있다. 이 공백을 메우기 위해, 우리는 단계별 모델 라우팅을 위한 루브릭 기반 프로세스 보상 프레임워크 RoRo를 제안한다. RoRo는 먼저 다양한 라우팅 궤적을 수집하고, 결과, 비용, 프로세스 품질을 바탕으로 선호 쌍(preference pairs)을 구성한다. 이어 Rubricor가 쿼리별 평가 루브릭을 생성하고 Judge가 이 루브릭 하에서 라우팅 궤적을 채점하도록 교대 최적화(alternating optimization)로 학습한다. 이렇게 얻은 프로세스 보상은 결과 보상과 결합되어 GRPO를 통해 라우팅 정책을 최적화한다. 동일 계열(same-family) 및 교차 계열(cross-family) 설정 모두에서 다섯 개의 추론 벤치마크에 대한 실험은 RoRo가 강력한 기준선들을 일관되게 능가하며 더 나은 정확도-비용 트레이드오프를 달성함을 보여준다.

arXiv:2605.07746v3stat.ML

계수 데이터를 위한 플로우 매칭

Flow Matching for Count Data

고차원 계수(count) 데이터는 단일세포 RNA 시퀀싱(single-cell RNA sequencing) 및 신경 스파이크 트레인(neural spike trains)과 같은 응용에서 나타나며, 연속적인 배치 또는 시점에 걸친 분포 간 매핑은 데이터 분석의 핵심 구성 요소를 이룬다. 이미지, 동영상, 텍스트에 대한 확산(diffusion) 및 플로우 기반 심층 생성 모델의 최근 성공은 이러한 아이디어를 계수 값 설정으로 확장할 동기를 주지만, 기존 방법의 다수는 각 계수를 범주형 상태로 취급하거나 계수를 연속 공간으로 변환하는데, 계수 범위가 클 때 이 둘 모두 자연스럽거나 효율적이지 않다. 우리는 국소 단위 점프를 갖는 연속 시간 출생-사망(birth-death) 과정에 기반한 계수 데이터용 플로우 매칭 프레임워크인 count-FM을 제안한다. count-FM은 조건부 전이율의 시뮬레이션 없는(simulation-free) 학습을 통해 계수 공간에서 주변 전이를 효율적으로 학습하여, 임의의 계수 분포를 따르는 소스 및 타깃 모집단 간 수송(transport)을 가능하게 한다. 시뮬레이션에서 count-FM 변형들은 훨씬 적은 파라미터를 사용하면서도 강한 샘플 품질을 달성한다. 또한 우리는 무조건 생성, 수송, 조건부 생성을 위해 count-FM을 scRNA-seq 및 신경 스파이크 트레인 데이터에 적용한다. 이러한 과제 전반에 걸쳐 count-FM은 향상된 샘플 품질, 더 큰 모델링 효율, 해석 가능한 수송 경로를 제공한다.

arXiv:2502.02928v3cs.SE

대규모 언어 모델 기반 자기 디버깅 코드 생성

Large Language Model Guided Self-Debugging Code Generation

자동 코드 생성은 지능형 컴퓨터 프로그래밍과 시스템 배포에서 점점 더 중요해지고 있다. 그러나 현재의 접근법은 계산 효율성 측면의 어려움을 겪는 경우가 많고 코드 파싱과 오류 수정을 위한 견고한 메커니즘이 부족하다. 본 연구에서는 Python 코드 생성을 위해 간단하면서도 효과적인 2-에이전트 파이프라인과 효율적인 자기 디버깅 모듈을 갖춘 새로운 프레임워크 PyCapsule을 제안한다. PyCapsule은 정교한 프롬프트 추론, 반복적 오류 처리, 사례 테스트를 특징으로 하여 높은 생성 안정성, 안전성, 정확성을 보장한다. 실험적으로 PyCapsule은 최신 방법 대비 HumanEval에서 최대 5.7%, HumanEval-ET에서 14.6%, BigCodeBench에서 최대 24.5%의 성공률 향상을 달성한다. 특히 PyCapsule은 오픈소스 Qwen2.5-Coder-Instruct 7B 모델이 HumanEval과 MBPP에서 GPT-4와 GPT-3.5의 단독 성능을 능가하도록 하면서, 경쟁 프레임워크에서 문제당 최대 17회의 API 호출이 필요한 것과 달리 평균 2회 미만의 API 호출만 요구한다. PyCapsule은 경량이면서 효율적인 코드 생성을 발전시키는 데 더 넓은 파급 효과를 보이며, 비용 효율적이고 로컬 배포가 가능한 오픈소스 모델로도 경쟁력 있는 자동 프로그래밍이 가능함을 보여준다.

arXiv:2609.23058v2cs.AI

LazyAgent: 수요 기반 구체화 및 에이전트 프로그램의 물리적 최적화

LazyAgent: Demand-Driven Materialization and Physical Optimization of Agentic Programs

행동에 앞서 계획을 세우는 에이전트 런타임은 각 단계가 준비되는 즉시 실행한다. 이러한 런타임도 그 벤치마크도 준비된 단계와 요청이 필요로 하는 단계를 구별하지 않으며, 그 차이는 크다. 154개의 프로덕션 워크플로에 대한 303개 요청에서, 목표가 달성되면 멈추는 즉시 실행(eager) 런타임은 CPU의 62.2%를 요청이 전혀 필요로 하지 않은 작업에 소비한다. LazyAgent는 우리가 아는 한 에이전트 런타임을 위한 수요 기반 실행의 최초의 완전한 정식화이다. 그 규칙은 준비된 단계를 현재 요청이 필요로 할 때만 실행하고, 계획이 바뀌어도 그 답을 정확하게 유지하는 것이다. 프로그램에서 도출된 수요 집합이 모델 호출 없이 한 번의 순회로 이를 결정하므로, LazyAgent는 요청 밖에서는 아무것도 소비하지 않는다. 수요가 정확하게 정의되기 때문에 그 동작이 증명되며, 빌더는 어떤 실행 이전에도 수요가 어디에서 절감해야 하고 어디에서 동률이어야 하는지 알 수 있다. 계획이 실행되기 전에 비용이 알려지므로, LazyAgent는 쿼리 옵티마이저로서 후보 워크플로 중에서 선택할 수 있다. 해당 즉시 실행 런타임과 비교한 실측에서, LazyAgent는 최첨단 LLM이 패치를 작성하는 릴리스 게이트에서 컨테이너 시간을 51.7%와 52.1% 절감하고, 동일한 품질의 DataSciBench 계획에서 토큰을 12.8%, 실제 LangGraph 애플리케이션에서 비용을 24.0% 절감하며, 손실은 없다. LLM이 실제 코드 실패 후 재계획할 때는 해결 가능한 모든 목표를 목표당 토큰 11.7% 적게 사용하여 해결한다. 프로덕션 워크플로에서는 CPU를 42.0% 절감하고, 요청이 전체 그래프를 필요로 하는 경우에는 정확히 동률이며, 오버헤드는 최대 0.43%이다. 동일한 집합이 모든 물리적 연산을 조정하는데, 프로젝션은 공유 CI 단계의 80-89%를 절감하는 반면 동일한 즉시 실행 대조군은 0.0%를 절감한다. 공개 에이전트 벤치마크는 즉시 실행 런타임과 같은 방식으로 설계되어 있어 이 차이를 보여줄 수 없다. 우리는 이들의 과제로 테스트 프로그램을 구성하였으며, 업계에 에이전트 워크플로가 얼마나 효율적으로 실행되는지를 측정하는 벤치마크를 구축할 것을 촉구한다.

arXiv:2607.22380v3cs.CV

IR275K: 효율적 원격 탐사를 위한 적외선 다중 프레임 초해상도 벤치마크

IR275K: A Benchmark for Infrared Multi-Frame Super-Resolution Toward Efficient Remote Sensing

적외선 다중 프레임 초해상도(MFSR)는 상보적인 관측을 활용해 공간적 세부 정보를 복원하지만, 그 평가는 데이터셋과 프로토콜에 따라 파편화되어 있다. 원본 영상의 약한 텍스처, 변화하는 열 대비, 잡음 하에서 복원 성능을 평가할 공통 벤치마크가 필요하다. 또한 프레임 간 변위 범위에 따른 복원 성능도 규명할 수 있어야 한다. 우리는 594개의 적외선 비디오 시퀀스와 275,196개의 프레임을 담은 선별된 벤치마크 IR275K를 소개한다. 이 벤치마크는 시퀀스 단위의 학습/검증/테스트 분할과 재현 가능한 x4 평가 프로토콜을 제공한다. 평가는 일곱 가지 학습 기반 기준 모델, CGMamba 참조 모델, 바이큐빅 보간을 사용하여 단일 프레임 및 다중 프레임 복원에 걸쳐 이루어진다. 모든 학습 기반 방법은 바이큐빅 열화와 합성 혼합 센서 잡음 두 조건에서 평가된다. 바이큐빅 열화에서는 EDVR가 전체 순위에서 선두이고, 혼합 센서 잡음에서는 MSDTGP가 선두이다. DBSR는 두 조건 모두에서 변위가 큰 UAV 부분집합에서 선두이다. CGMamba를 이용한 통제된 절제 실험에서, 실제 이웃 프레임은 중심 프레임 반복에 비해 PSNR을 바이큐빅 열화에서 1.04 dB, 혼합 센서 잡음에서 0.95 dB 향상시킨다. 중심 프레임 조건화 또한 두 조건 모두에서 복원 성능을 향상시킨다. 따라서 이 벤치마크는 복원 순위와 이웃 프레임의 이점이 평가 조건에 따라 달라짐을 보여준다. IR275K 전체 데이터셋은 https://github.com/InfraRecon7/IR275K 에서 공개되어 있다.

arXiv:2607.21535v2cs.LG

Windowed-MTP: 백만 토큰 컨텍스트에서 전체 컨텍스트 Draft-KV 부담 제거

Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context

추측 디코딩(speculative decoding)은 드래프트가 토큰을 제안하고 타깃이 이를 병렬로 검증하게 하여 자기회귀 생성을 가속한다. 최신 프런티어 모델은 검증에 비해 비용이 적다고 가정되는 다중 토큰 예측(MTP) 드래프트 헤드를 점점 더 많이 내장하여 출시한다. 그러나 출시된 풀 어텐션 MTP 헤드는 긴 컨텍스트에서 하이브리드 타깃에 비해 불균형적으로 비싸질 수 있다. 이 헤드는 디코드 단계마다 $\gamma$번의 드래프트 순전파 각각에서 전체 KV 캐시에 어텐션을 수행하는 반면, 타깃 레이어 중 풀 어텐션을 유지하는 것은 9-25%에 불과하므로, 단일 드래프트 레이어가 타깃 전체와 맞먹는 속도로 컨텍스트 읽기를 발생시킬 수 있다. 수락률이 낮은 어려운 워크로드에서는 심층 네이티브 MTP가 순손실이 되어, 추측을 하지 않는 경우보다 느려진다. 우리는 StreamingLLM 방식의 윈도와 어텐션 싱크를 드래프트에만 적용한다(Windowed-MTP). 타깃 검증은 전체 컨텍스트로 유지되므로 타깃 분포는 보존된다. 이 개입은 추가 학습이 필요 없으며 그대로 끼워 쓸 수 있다. SGLang에서 GPU 한 대로 1M 컨텍스트의 두 하이브리드 계열(Gated DeltaNet과 Mamba2) 모델 세 가지에 적용했을 때, 네이티브 MTP 대비 수락률과 무관하게 디코드 단계당 1.28-1.44배의 속도 향상을 보인다. 속도 향상은 컨텍스트가 길수록 커지며, 수락률이 같을 때 TPOT도 동일한 배율로 개선된다. 윈도는 드래프트 작업 집합의 대부분을 제거하고, 소형 링 버퍼는 이 감소를 실제 용량으로 전환한다. 즉, 그렇지 않으면 쓰이지 않는 드래프트 풀을 회수하는데, 이는 1M에서 전체 KV의 측정치 7.7-11.1%에 해당하며, Qwen-35B 배치 스윕에서 1M 요청 하나를 추가로 동시 처리할 여유를 만든다.

arXiv:2607.10495v3cs.CV

NanoVSR: 엣지 디바이스에서의 실시간 비디오 초해상도를 향하여

NanoVSR: Towards Real-Time Video Super-Resolution on Edge Devices

최근 비디오 초해상도(VSR) 방법들은 트랜스포머와 명시적 옵티컬 플로우에 크게 의존하며, 이는 TensorRT와 같은 하드웨어 가속기에의 배포를 저해하는 연산 오버헤드와 커스텀 연산을 야기한다. 이를 해결하기 위해, 우리는 리소스가 제한된 엣지 디바이스를 위해 설계된 확장 가능한 완전 합성곱 아키텍처인 NanoVSR을 소개한다. 구조적 재파라미터화(structural reparameterization)를 활용하여, NanoVSR은 추론 시 표준 합성곱으로 축약되어 원활한 하드웨어 호환성과 무시할 수 있는 수준의 런타임 오버헤드를 보장한다. 또한, 명시적 모션 보상이 없음에도 불구하고, 점진적 학습을 통해 시공간적 정렬을 암묵적으로 학습함으로써 경쟁력 있는 복원 품질을 유지한다. REDS4 벤치마크에서 평가한 결과, NanoVSR은 정확도와 연산 효율성 간의 탁월한 균형을 보여주며, 소형 아키텍처에서의 트레이드오프를 크게 개선한다. NanoVSR-644k 기준선은 NVIDIA Jetson Orin NX 16GB(25W)에서 27.2 FPS를 달성하면서 28.64 dB PSNR을 제공하여, 더 무거운 모델 대비 대폭적인 속도 향상을 제공한다. 확장된 NanoVSR-1.7M 변형은 19.58 FPS의 처리량으로 29.15 dB에 도달하여, 우수한 엣지 최적화 업스케일링을 제공한다. 코드는 https://github.com/filippawlicki/nanovsr 에서 확인할 수 있다.

arXiv:2607.12121v3cs.DC

FlashDiff: 확산 모델 서빙을 위한 효율적인 지역 실행 및 스케줄링

FlashDiff: Efficient Regional Execution and Scheduling for Diffusion Model Serving

확산 모델은 현대의 이미지, 비디오, 오디오 생성의 핵심 백본이 되었지만, 이를 효율적으로 서비스하는 것은 여전히 난제로 남아 있다. 자기 회귀(autoregressive) 디코딩과 달리, 확산 추론(inference)은 많은 노이즈 제거(denoising) 단계에 걸쳐 고차원 공간 또는 시간 잠재 변수(latent)를 반복적으로 갱신한다. 이 전체 영역(all-region) 실행 패턴은 생성 지연 시간을 높이고 서빙 처리량을 제한한다. 기존의 다중 GPU 병렬화 방법은 단계당 연산을 줄일 수 있지만, 종종 상당한 활성화(activation) 교환 오버헤드를 유발하여 통신 비용이 병렬 실행의 이점을 상쇄하거나 심지어 상회하기도 한다. 본 논문은 적응형 지역 실행 및 스케줄링을 통해 추론 효율을 향상시키는 확산 서빙 시스템 FlashDiff를 제안한다. FlashDiff는 확산 정제(refinement)가 잠재 변수 영역이나 노이즈 제거 단계 전반에 걸쳐 균일하지 않다는 관찰에 기반한다. 서로 다른 영역은 종종 서로 다른 속도로 안정화되며, 인접한 단계들은 강한 시간적 상관관계를 보인다. FlashDiff는 이러한 특성을 활용하여 추가 정제가 필요한 영역만 선택적으로 실행하고, 그로 인해 발생하는 연산 여유를 동시 서빙 요청들에 재할당한다. FlashDiff는 세 가지 메커니즘으로 구성된다. 첫째, 초기 단계 어텐션(attention) 신호를 사용하여 잠재 표현을 일관된 실행 영역으로 분해함으로써 의미 구조를 보존하면서 세밀한 병렬성을 드러낸다. 둘째, 경량 런타임 컨트롤러를 사용하여 영역 활성도를 추정하고, 추가 정제가 출력 품질에 영향을 줄 가능성이 낮을 때 영향이 적은 갱신을 우회한다. 셋째, 친화도 인식(affinity-aware) 온라인 스케줄러를 적용하여 의존적인 영역을 공동 배치(co-locate)하고, GPU 간 잔여 부하를 균형 있게 분배하며, 회수된 연산 용량을 재사용하여 서빙 효율을 향상시킨다. 실제 이미지, 비디오, 오디오 워크로드에서 FlashDiff는 종단 간 서빙 지연 시간을 30-97% 줄이고 처리량을 1.2-2.2배 향상시킨다.

arXiv:2606.18932v3astro-ph.EP

TransitNet: 저 SNR 트랜짓 블라인드 탐색을 위한 컴팩트한 어텐션 증강 심층 학습 프레임워크

TransitNet: A Compact Attention-Augmented Deep Learning Framework for Low-SNR Transit Blind Searches

중간에서 긴 주기를 갖는 지구 크기 행성들의 관측상 불완전성에 동기를 얻어, 저 SNR 트랜짓 블라인드 탐색을 위한 컴팩트한 어텐션 증강 심층 학습 프레임워크인 TransitNet을 제시합니다. 블라인드 탐색 조건 하에서 현실적인 방법 개발과 객관적인 임계값 보정을 가능하게 하기 위해, 통합된 데이터셋 구축, 벤치마킹 및 임계값 선택 프레임워크를 개발했습니다. 학습에 사용되지 않은(unseen) Kepler 타겟으로 구성된 회복 벤치마크에서 TransitNet은 도전적인 6~8의 SNR 범위에서 95.2%의 정확도를 달성했으며, 각각 0.974와 0.982의 ROC-AUC 및 PR-AP 값을 달성하여 TLS와 BLS 모두를 능가했습니다. 지구 크기 및 지구보다 작은 트랜짓 회복 실험에서 TransitNet은 93.0%의 회복율을 달성하여 TLS(63.1%)와 BLS(60.0%)의 결과를 상당히 초과했습니다. 검출 외에도 TransitNet은 어텐션 기반의 트랜짓 윈도우와 중간점 추정치를 제공합니다. 독립적인 평가 세트에서 주입된 트랜짓의 97.4%가 추정된 트랜짓 윈도우에 의해 완전히 포함되었습니다. 실제 Kepler 관측 데이터에 적용했을 때, 해당 모델은 평균 절대 트랜짓 중간점 오차 1.24시간으로 선택된 34개의 확인된 Kepler 행성을 모두 성공적으로 회복했습니다. 이 모델은 약 1.5 MB의 컴팩트한 용량과 높은 추론 효율성을 결합하여, CPU-TLS 대비 약 12~25배, CPU-BLS 대비 약 4~5배의 속도 향상을 보입니다. 이러한 결과는 TransitNet이 테스트된 영역에서 저 SNR 트랜짓 블라인드 탐색을 위한 정확하고 확장 가능하며 계산 효율적인 프레임워크를 제공함을 보여주며, 더 긴 주기의 지구 크기 행성 탐색으로의 확장을 정당화합니다.

arXiv:2407.05302v2cs.LG

Mamba Hawkes Process for Event Sequence Modeling

Modeling asynchronous event sequences is crucial in numerous real-world applications such as healthcare monitoring, financial transaction analysis, and so on. Traditional temporal point processes, including Hawkes Processes, often fail to capture complex dependencies due to their parametric limitations. While neural approaches like RNNs and Transformers have improved flexibility, they struggle with computational inefficiency, and attention saturation. In this paper, we introduce the Mamba Hawkes Process (MHP), the first framework to integrate selective state space model (Mamba) with temporal point processes. MHP leverages time-varying state transitions and input-dependent gating to efficiently encode event history and capture long-term dependencies with linear complexity. Importantly, we provide theoretical guarantees showing that MHP generalizes both classical multi-exponential Hawkes processes and exponential-decay gated RNNs, underscoring its expressive power and theoretical soundness. To address the inherent constraints of pure state space models in handling heterogeneous event interactions, we further develop Adaptive Mamba Hawkes Process (A-MHP) that incorporates two novel mechanisms: a Time-Scaling Mechanism that adaptively weights time intervals based on event type and history, and a Dual-Channel State Transition that adaptively processes event content and temporal dynamics for more refined state updates. Extensive experiments on synthetic and realworld datasets demonstrate that MHP and A-MHP consistently outperform state-of-the-art baselines in event prediction tasks, particularly in long-sequence scenarios. Our work establishes a scalable and theoretically grounded paradigm for event sequence modeling, with practical implications for predictive maintenance, anomaly detection, and dynamic system analysis.