대규모 언어 모델(LLM) 기반 코드 생성의 급속한 발전에도 불구하고, 하드웨어 가속기를 위한 정확하고 고성능인 커널을 작성하는 것은 현대 ML 워크로드를 스케일링하는 데 여전히 핵심 병목으로 남아 있다. 우리는 MKEvolve(Modular Kernel Evolve)를 제안한다. 이는 복잡한 PyTorch 모듈의 모듈형 분해와 각 서브모듈에 대한 LLM 생성 커널을 반복적으로 공진화하는 프레임워크로, 반복마다 분할과 융합을 통해 분해를 정교화하고 LLM 기반 빔 서치(beam search)로 각 서브커널을 독립적으로 개선한다. 결과 커널은 독립적으로 검증된 서브커널의 프로그램적 조합으로, 구성 가능(서브커널 구현체 교체 가능), 해석 가능(오류와 속도 향상을 특정 서브커널에 추적 가능), 관련 모델 아키텍처에 쉽게 적응 가능하다. Triton을 이용한 KernelBench L2 및 L3 실험(다중 연산자 시퀀스와 전체 모델 아키텍처를 포괄) 결과, MKEvolve는 end-to-end 직접 합성 기준선 대비 정확성과 속도 향상을 모두 개선하면서 LLM 토큰 사용량을 최대 35%까지 감소시킨다.
LLM 추론에서 샘플링은 투기적 디코딩(speculative decoding)을 위한 로짓 처리, 토큰 선택, 검증 연산의 조합적 집합으로 구성된다. 그러나 기존 구현은 이 파이프라인의 일부만 가속하거나, 여러 커널 실행에 의존하거나, 배치 전체에 걸쳐 동질적인 샘플링 동작을 가정하여 동적 서빙 워크로드 지원을 제한하고 효율적인 CUDA Graph 실행을 방해한다. 우리는 전체 샘플링 파이프라인을 고정된 워크로드 인식 실행 모델로 수직 융합하는 통합 타일 인식 Triton 커널 모음인 $\textbf{SonicSampler}$를 제안한다. 우리 커널은 문법 제약 디코딩, 반복, 빈도 및 존재 페널티, 로짓 바이어스, 온도 스케일링, top-$k$ / top-$p$ / min-$p$ 필터링, 투기적 검증을 포함한 동적 요청별 샘플링 동작을 단일 배치 커널 내에서 지원하면서 완전히 CUDA Graph 호환을 유지한다. 우리 접근법의 핵심은 경쟁 기준선 대비 최대 $\textbf{10배}$ 속도 향상을 달성하는 새로운 계층적 2단계 top-$k$ 알고리즘이며, LLM 출력의 낮은 엔트로피 구조를 활용하여 대규모 어휘에 대한 효율적인 선택을 가능하게 한다. 이질적인 투기적 디코딩 워크로드 전반에 걸쳐 SonicSampler는 유연한 배치 실행을 유지하면서 최신 기준선 대비 최대 $\textbf{16배}$ 속도 향상을 달성한다.
AI 에이전트는 연구 개발 작업 자동화에 점점 더 많이 사용되고 있지만, 기존 벤치마크는 일반적으로 정해진 워크플로 또는 좁은 행동 공간에서 이를 평가한다. 명목상 개방형(open-ended) 작업이라도 잘 알려진 레시피를 검색하고 몇 가지 하이퍼파라미터를 조정하는 것만으로 해결되는 경우가 많아, 우수한 결과가 진정한 최적화를 반영하는지 아니면 암기된 해법을 반영하는지 불분명하다. 우리는 에이전트가 OpenAI 호환 추론 서버를 배포하고 LLM 추론 속도를 최적화해야 하는 InferenceBench를 제안한다. 각 에이전트는 대상 LLM, H100 GPU 1대, 최적화 시나리오, 그리고 2시간의 실제 시간(wall-clock time) 예산을 받는다. 세 가지 최적화 시나리오는 추론의 서로 다른 병목(prefill 지연, decode 지연, 동시 요청 처리량)을 분리하고, 네 번째 시나리오는 세 가지를 동시에 균형 있게 다룬다. 15개의 최신 에이전트 구성에 걸쳐, 에이전트는 단순한 PyTorch 기준선 대비 안정적으로 개선(최대 $8.08\times$)하며 기본 설정의 서빙 엔진과 동등하거나 그 이상(vLLM에서 $4.05\times$)인 경우가 많지만, 동일한 시간 예산 하의 단순 하이퍼파라미터 탐색(최대 $11.53\times$)에는 여전히 미치지 못한다. 에이전트 궤적에 대한 정성적 분석은 에이전트가 관련 최적화 기법을 많이 열거하지만, 압도적으로 단일 추론 프레임워크로 수렴함을 보여준다. 이들은 소수의 서로 다른 구성만 시험하고, 남은 예산을 근본적으로 다른 전략을 탐색하기보다 재측정, 수정, 또는 하이퍼파라미터 최적화에 소비한다. 이는 병목이 도메인 지식이 아니라 다양한 구성을 제안하고, 체계적으로 평가하며, 식별된 최적 해법을 제출하는 능력에 있음을 시사한다. 전반적으로 InferenceBench는 암기된 해법이 제한적인 개선으로 이어지는 개방형 AI 엔지니어링 환경에서 에이전트가 작동하는 능력을 반영한다.
Beagle 프레임워크는 GPU 기반의 유전 프로그래밍(genetic programming) 프레임워크로, NVIDIA GPU를 활용하여 대규모 집단 크기(population size)로 매우 효율적인 유전 프로그래밍 탐색을 가능하게 한다. 본 기술 가이드는 Beagle 프레임워크에 대한 소개와 함께, 심볼릭 회귀(symbolic regression) 문제에 이 프레임워크를 활용하기 위한 상세한 지침을 제공한다.
전문가 혼합(MoE) 아키텍처는 계산 비용을 비례적으로 늘리지 않으면서 모델 용량을 키우며, 대규모 언어 모델(LLM)을 수조 매개변수 규모로 스케일링하는 핵심 구성 요소가 되었다. 이러한 MoE 모델의 효율적인 배포는 다중 GPU에 걸친 분산 실행에 의존하며, 각 MoE 층은 두 번의 all-to-all 통신을 수반한다: 토큰을 전문가 랭크로 디스패치하고 전문가 출력을 소스 랭크로 되돌리는 것이다. 기존 MoE 구현은 전문가 계산이 완료된 뒤 이 반환 all-to-all을 시작하여, 통신 지연을 크리티컬 패스에 노출시키고 GPU 활용률을 낮춘다. 우리는 타일 수준 신호 및 스케줄링을 통해 전문가 계산과 두 번째 all-to-all을 중첩하는 세밀한 접근법을 제시한다. 우리의 생산자-소비자 공동 설계는 다음을 결합한다: (1) 반복적인 커널 실행 오버헤드를 제거하고 원격-중요 타일을 우선 처리하는, 랭크 내 모든 로컬 전문가를 포괄하는 지속적인 per-rank 계산 커널(생산자), 및 (2) 타일이 준비되는 대로 세그먼트 단위 전송을 발행하는 스트리밍 멀티프로세서(SM)의 소규모 전용 파티션 상의 지속적인 통신 커널(소비자). 우리의 공동 설계는 기본 계산 연산자나 통신 원시 연산에 대한 침습적 변경을 피하여, 다중 GPU 시스템에서 분산 MoE 실행 효율을 개선하는 데 실용적이다. 4-A100 GPU 플랫폼에서 세 가지 MoE 모델에 대해 네 가지 최첨단 MoE 시스템과 비교 평가한 결과, 우리 접근법은 최대 2.64배 end-to-end 속도 향상과 2.74배 MoE-층 속도 향상을 달성한다. 기존의 비중첩 기준선과 비교하여, 우리 접근법은 다양한 GEMM 형태, 라우터 모드, 그리고 넓은 범위의 생산자/소비자 SM 파티션에 걸쳐 연산자 및 MoE-층 수준 성능을 일관되게 개선하면서 정확성을 보존한다.
기밀 컴퓨팅(confidential computing)은 민감한 입력을 처리하거나 독점 모델 자산을 보호해야 하는 AI 추론 워크로드에 있어 실질적인 배포 요구사항이 되고 있다. 그러나 GPU 가속 대규모 언어 모델(LLM) 서빙을 위해 기밀 실행(confidential execution)을 활성화할 때 발생하는 성능 비용은 여전히 워크로드에 따라 달라지며 운영상 중요한 요소이다. 본 논문은 Intel TDX 기밀 인스턴스에서 호스팅된 단일 NVIDIA H100 80GB GPU 상에서 표준 비기밀(non-confidential) 실행과 기밀 컴퓨팅 모드를 비교하는 벤치마크 연구를 제시한다. 평가는 Mistral-7B v0.1과 Qwen3-30B-A3B라는 두 대표적인 언어 모델을 사용하며, 동시성(concurrency) 증가 하에서 첫 토큰까지의 시간(TTFT, time to first token), 종단 간(end-to-end) 요청 지연(latency), 요청당 토큰 생성 처리량(throughput), 전역 토큰 처리량, 폐루프(closed-loop) 요청 처리량을 측정한다. 고정 요청률(fixed request-rate) 실험에서 기밀 모드는 Mistral-7B의 평균 TTFT를 21.8%, Qwen3-30B-A3B의 평균 TTFT를 27.8% 증가시키는 반면, 전역 토큰 처리량은 각각 17.7%와 21.1% 감소한다. 폐루프 동시성 실험에서 처리량 격차는 11.5-20.2% 범위에 머물지만, 더 큰 모델은 기밀 모드에서 포화(saturation) 임계점(knee)에 더 일찍 도달한다. 결과는 기밀 GPU 추론이 부하 하에서도 사용 가능한 처리량을 유지할 수 있음을 시사하지만, 용량 계획(capacity planning) 시 안정적인 처리량 페널티와 더 큰 모델에서 관찰되는 조기 포화 동작을 모두 고려해야 함을 나타낸다.
Structure-from-Motion (SfM) is a fundamental technique for recovering camera poses and scene structure from multi-view imagery, serving as a critical upstream component for applications ranging from 3D reconstruction to modern neural scene representations such as 3D Gaussian Splatting. However, most mature SfM systems remain CPU-centric and built upon traditional optimization toolchains, creating a growing mismatch with modern GPU-based, learning-driven pipelines and limiting scalability in large-scale scenes. While recent advances in GPU-accelerated bundle adjustment (BA) have demonstrated the potential of parallel sparse optimization, extending these techniques to build a complete global SfM system remains challenging due to unresolved issues in metric scale recovery and numerical robustness. In this paper, we implement a fully GPU-based and PyTorch-compatible global SfM system, named InstantSfM, to integrate seamlessly with modern learning pipelines. InstantSfM embeds metric depth priors directly into both global positioning and BA through a depth-constrained Jacobian structure, thereby resolving scale ambiguity within the optimization framework. To ensure numerical stability, we employ explicit filtering of under-constrained variables for the Jacobian matrix in an optimized GPU-friendly manner. Extensive experiments on diverse datasets demonstrate that InstantSfM achieves state-of-the-art efficiency while maintaining reconstruction accuracy comparable to both established classical pipelines and recent learning-based methods, showing up to ${\sim40\times}$ speedup over COLMAP on large-scale scenes.
우리는 디지털 캐릭터의 음성 제어를 지원하는 실시간 인터랙티브 비디오 생성 모델인 Vidu S1을 소개한다. 사용자는 음성 명령을 통해 언제든지 비디오 생성 콘텐츠를 제어할 수 있다. Vidu S1은 흐림, 드리프트, 시각적 왜곡 없이 무한 길이의 실시간 비디오 생성을 지원한다. TurboDiffusion과 TurboServe를 기반으로 구축된 Vidu S1은 일반 소비자용 GPU에서 최대 42 FPS로 540p 실시간 비디오를 출력한다. 사용자는 실제 인물, 애니메이션 캐릭터, 반려동물의 커스텀 이미지를 업로드하고 개인화된 경험을 위해 다양한 음성 톤을 선택할 수 있다. 실험 결과, Vidu S1은 실시간 추론 요구 사항을 완전히 충족하면서 모든 테스트 지표에서 최고 성능을 달성하였다. 체험 가능한 온라인 데모는 https://vidu.com/vidu-stream 에서 확인할 수 있다.
적대적으로 견고한 머신러닝 시스템을 배포하려면 견고성, 비용, 지연 시간 사이에서 지속적인 트레이드오프가 필요하다. 우리는 클라우드 네이티브 심층 학습에서 적응적 하드웨어 선택과 하이퍼매개변수 튜닝을 위한 정량적 기반을 제공하는 자율(autonomic) 의사결정 지원 프레임워크를 제안한다. 이 프레임워크는 가속 실패 시간(accelerated failure time, AFT) 모델을 적용하여 하드웨어 선택, 배치 크기, epoch 수, 검증 정확도가 모델 생존 시간에 미치는 영향을 정량화한다. 이 프레임워크는 자율 제어 루프(monitor--analyse--plan--execute, MAPE-K)에 자연스럽게 통합될 수 있으며, 여기서 비용, 견고성, 지연 시간과 같은 시스템 지표가 지속적으로 평가되어 모델 구성과 하드웨어 선택을 적응하는 데 사용된다. 세 가지 GPU 아키텍처에 걸친 실험은 이 프레임워크가 타당하면서도 비용 효율적임을 확인한다. Nvidia L4는 V100보다 75% 저렴하면서도 적대적 생존 시간을 20% 증가시켜, 고가의 하드웨어가 반드시 견고성을 향상시키는 것은 아님을 보여준다. 분석은 또한 모델 추론 지연 시간이 학습 시간이나 하드웨어 구성보다 적대적 견고성의 더 강한 예측 변수임을 밝힌다.
대규모 언어 모델(LLM)은 소프트웨어가 개발되고 유지되는 방식을 재편하고 있다. LLM은 일반적으로 vLLM과 같은 추론 엔진을 통해 프로덕션 환경에 배포되며, 이러한 엔진은 사전학습된 고도로 설정 가능한 모델을 효율적으로 서빙할 수 있다. 기존 연구는 모델 아키텍처와 하드웨어 가속에 초점을 맞춰왔지만, 추론 엔진 설정이 에너지 소비, 성능, 출력 품질에 미치는 영향은 아직 충분히 이해되지 않은 상태이다. 본 논문에서는 세 가지 선택된 vLLM 설정 옵션인 어텐션 커널 유형, 접두 문맥 캐싱(prefix caching), 청크 단위 프리필(chunked prefill)에 대한 대규모 통제 연구를 제시한다. 5개의 오픈 가중치 LLM과 5가지 다양한 추론 태스크에 걸쳐 이러한 설정의 모든 조합을 평가하였으며, 총 9,000회 실행과 93,600건의 측정값을 수집하였다. 에너지 소비, 지연 시간, 정확도를 분석하고, 설정 옵션과 태스크 간의 주효과 및 상호작용 효과를 모두 검토하였다. 결과에 따르면, 연구된 설정 옵션은 에너지와 성능에 유의미한 영향을 미치며, 이는 주로 어텐션 유형과 접두 문맥 캐싱에 의해 주도된다. 반면 청크 단위 프리필은 기본 vLLM 서빙 설정 및 평가된 워크로드 하에서 제한적인 효과를 보인다. 이러한 효과는 모델 및 워크로드에 따라 크게 달라지며, 보편적으로 최적인 설정은 존재하지 않는다. 또한 모델 선택이 전반적인 트레이드오프를 지배하는 반면, 설정 튜닝은 파레토 프런티어를 따라 국소적 개선을 제공함을 보인다. 예상치 못하게도, 추론 옵션이 모델 정확도에도 영향을 미칠 수 있음을 확인하였다.
투기적 디코딩(speculative decoding)은 출력 품질을 저하시키지 않으면서 대규모 언어 모델(LLM) 추론을 가속한다. 최근 병렬 드래프팅 방법은 드래프트 길이를 드래프팅 지연시간과 분리함으로써 단일 요청 성능을 더욱 향상시키며, 더 긴 드래프트와 더 높은 평균 수락 토큰(MAT, mean accepted tokens)을 가능하게 한다. 그러나 높은 요청 동시성 하에서는 긴 드래프트가 거부된 토큰에 상당한 연산을 낭비하여 검증 비용을 증가시키고, 잠재적으로 투기적 디코딩을 자기회귀(autoregressive) 디코딩보다 느리게 만들 수 있다. 우리는 배치 전체에 걸쳐 드래프트 토큰을 공동으로 선택하고 검증 예산을 수락될 가능성이 가장 높은 토큰에 집중하는 적응형 가지치기 방법인 D-Cut을 제안한다. D-Cut은 두 가지 관찰에 기반한다. 첫째, 수락 길이는 동시 요청 간에 상당히 달라진다. 따라서 D-Cut은 요청 간 가지치기를 수행하여 드래프트 신뢰도에 따라 검증 예산을 적응적으로 할당한다. 둘째, 검증 비용은 GPU 아키텍처 및 병렬화 전략을 포함한 배포 환경에 크게 의존한다. D-Cut은 런타임 비용 모델을 통합하여 대상 환경에 맞게 가지치기 깊이를 적응시킨다. 밀집(dense) 모델과 전문가 혼합(MoE) 모델에 대한 실험은 높은 동시성 하에서 D-Cut이 평균 속도 향상을 \(1.26\times\)에서 \(1.65\times\)로 개선하고, 긴 드래프트 베이스라인이 자기회귀 디코딩보다 느린 밀집 모델 구성에서 가속을 회복하며, MoE 모델에서 자기회귀 디코딩 대비 최대 \(3.0\times\)의 속도 향상을 달성함을 보여준다.
추론의 컨텍스트 길이와 RL 사후 학습 사이에는 점점 커지는 격차가 있다. 추론 시스템은 백만 토큰 규모의 컨텍스트에 접근하고 있는 반면, 사후 학습 워크로드는 종종 256K 토큰 이하에 머물며 배포 시 길이 일반화(length generalization)에 의존한다. 이 격차는 관측, 도구 출력, 문서, 이전 결정이 긴 궤적에 걸쳐 누적되는 AI 에이전트에게 특히 중요하다. LongStraw은 고정 GPU 예산 하에서 백만 토큰 규모 RL 사후 학습을 위한 아키텍처 인식 실행 스택으로, Group Relative Policy Optimization(GRPO)으로 구체화된다. 이는 공유 프롬프트를 자동 미분 없이 평가하고, 이후 토큰에 필요한 모델별 상태만 보존하며, 짧은 응답 분기를 하나씩 재실행하여 추가 재실행 시간이라는 대가로 활성 학습 그래프를 줄인다. 하이브리드 순환형 및 full-attention Qwen3.6-27B와 compressed-attention 전문가 혼합(MoE) GLM-5.2에 이를 구현한다. 8개의 H20 GPU에서 LongStraw은 그룹 크기 2와 8에 대해 210만 위치에서 그룹화된 Qwen 스코어링 및 응답 역전파를 완료한다. 그룹 크기를 늘려도 피크 할당 메모리는 0.21GB만 증가하며, 별도의 스트레스 테스트에서는 446만 위치에 도달한다. 32개의 H20 GPU에서 GLM-5.2의 78개 레이어 전체에 걸쳐 210만 토큰 프롬프트에 대한 end-to-end LongStraw 실행 경로를 검증한다. 이 실험들은 캡처된 프롬프트 상태가 분리(detached)되어 있고 일부 분산 순전파 및 그래디언트 합성 경로가 아직 완성되지 않았기 때문에, 완전한 학습 정확성보다는 실행 용량을 입증한다.
열 노출은 건조 환경과 공중 보건을 연결하며, 도시 지역의 거주 적합성과 지속가능성을 직접적으로 형성한다. 열 노출의 공간적 이질성과 그 동인을 이해하는 것은 기후 적응형 도시 계획에 필수적이다. 그러나 대부분의 계획 지향 연구는 지표면 온도(LST)에 의존하며, LST가 인간의 열 노출을 충분히 대표하는지, 그리고 생리학적으로 관련 있는 열 스트레스와 어떻게 다른지는 충분히 검토되지 않았다. 본 연구는 싱가포르에서 Landsat으로 검색한 30m 해상도 LST와 GPU 가속 1m 해상도 보편 열기후 지수(UTCI)를 이용하여, 두 지표 간 공간적·기제적 차이를 체계적으로 평가하는 포괄적인 "Modeling-Comparing-Assessing" 프레임워크를 수립한다. 또한 새로운 지리 가중 XGBoost(GW-XGBoost)와 일반화 가법 모델(GAM) 워크플로를 통해 도시 요인과의 뚜렷한 비정상성 및 임계값 기반 관계를 추가로 조사한다. 결과는 LST와 UTCI의 공간 패턴에 상당한 차이가 있음을 보여주며, 설명 가능한 GW-XGBoost 모델(LST 테스트 R² = 0.855, UTCI 0.905)로 입증된 바와 같이 2D 및 3D 도시 요인이 이러한 열 지표에 미치는 영향에 뚜렷한 공간적 이질성이 존재한다. 특히 공간적으로 명시적인 SHAP 분석은 하늘 가시 계수(sky view factor)가 UTCI 변동을 설명하는 데 핵심 역할을 하지만 LST에는 비교적 미미한 독립적 기여를 보인다는 점을 나타내며, 이는 LST가 실제 인간 열 스트레스를 지배하는 차광 유발 및 복사 과정을 충분히 포착하지 못함을 시사한다. 또한 SHAP-GAM 분석은 더 높은 반사율(albedo)이 UTCI 증가와 관련됨을 보여준다. 이러한 발견은 생리학적으로 관련 있는 열 지수를 통합하여 표적화된 열 위험 관리와 인간 중심 도시 계획을 지원하기 위한 모델 기반 계획 시사점을 제공한다.
동반 연구에서는 4비트 모델이 디바이스 메모리에 들어가지 못해(arXiv:2606.24031), 2011 NVIDIA Tesla C2075(Fermi, sm_20, 6GB)에서 35B 전문가 혼합(MoE) 모델을 GPU prefill/CPU decode 하이브리드로 실행했다. 본 보고서는 동일한 하드웨어를 유지한 채 메모리에 들어가는 모델이 무엇을 할 수 있는지 묻는다: SigLIP2 비전 인코더와 윈도우 어텐션(window-attention) merger(16배 비주얼 토큰 압축)를 compact hybrid gated-delta-net 백본과 짝지은 현대적 다중모달 어시스턴트 MiniCPM-V-4.6을 전부 GPU에서 배포한다. 세 가지 결과. (i) 측정 기반으로 구축한 전 GPU 엔진: 8비트 가중치를 한 번 역양자화하고 최종 Fermi 툴체인의 vendor SGEMM을 호출하는 projection(FP32 피크의 64%; 우리의 최고 수작업 GEMM은 37%로, 잘못 천장이라 불림); 순차 scan보다 2.8배 빠른 recurrent layer의 chunked delta-rule 재작성(속성 분석이 하나의 불량 커널을 드러낸 뒤); 측정된 부정 결과: Fermi가 니블 언팩 shifting을 절반 속도로만 이슈하기 때문에, 여기서는 4비트 가중치가 8비트보다 decode를 느리게 만든다. (ii) 비전 측면은 증명 의무가 있는 포팅이다: tower, merger, projector를 sm_20 CUDA로 이식하고, 로컬 생성 reference forward와 각 단계를 검증한다(전체 tower 1.4e-5). position-embedding bucketization이 정확한 유리수 동률에서 달라진 한 실패는 일반 규칙으로 확장된다: 인덱스 산술에서 float tie-breaking은 구현 정의(implementation-defined)이다; reference 연산자를 호출하고 재구현하지 말 것. (iii) 긴 컨텍스트는 짧은 벤치마크가 숨기는 O(N^2) 벽을 드러낸다: naive 어텐션 커널에서 prefill은 2k 토큰에서 114 tok/s에서 10k에서 21로 떨어진다; 기존 score buffer에 쓰는 per-head vendor-GEMM 호출(추가 메모리 0)은 평탄한 프로파일을 복원한다(2k에서 408, 10k에서 361; 17배), 60% 깊이에서의 정확한 needle retrieval로 검증된다. 동일한 재작성은 이미지 인코딩을 6배 줄여 0.93초로 만든다. 시스템은 이미지 질문에 end-to-end로 1.7초 만에 답한다.
기존 GPU 커널 생성 벤치마크는 실제 배포 워크로드와 괴리되는 합성 또는 큐레이션된 출처에서 문제를 가져온다. 우리는 Atrex-Bench를 제안한다. 이 벤치마크의 30개 연산자와 440개 shape는 연산 제한적이고 메모리가 풍부한 GPU의 전체 클러스터 프로덕션 추론 추적에서 직접 샘플링되었다. 각 문제는 관측된 GPU 시간에서의 비중, 애플리케이션 card-hours로 가중된 값, 그리고 해당 문제가 실행되는 서빙 단계별로 별도 계산된 중요도 가중치를 갖으며, 문제별 roofline 상한과 함께 제공되어 집계 점수가 서빙 시간을 가장 많이 소비하는 커널을 강조하도록 한다. Atrex-Bench에서 6개의 최신 코딩 에이전트를 평가한 결과, 최고의 바닐라 모델조차 프로덕션 연산자에서 하드웨어 roofline의 ${\sim}10\%$에만 도달한다. 또한 정확성만으로는 능력을 과대평가하게 되는데, 겉보기 통과율의 상당 부분이 모델이 작성한 커널이 아니라 PyTorch fallback에서 나오기 때문이다. 이 격차를 줄이기 위해, 우리는 프로파일 기반 커널 최적화 에이전트인 Atrex-Kernel-Agent(AKA)를 함께 공개한다. AKA는 반복적인 측정-수정(measure-revise) 탐색, 정체된 탐색 컨텍스트에서 벗어나기 위한 최적화 드롭아웃, 그리고 계층적 GPU 최적화 지식 베이스(298개 참조 커널 파일과 244개 최적화 지식 문서, 및 API/ISA 조회를 위한 외부 upstream 참조 프로젝트)를 결합한다. 통제된 사례 연구에서, 해당 에이전트는 FlyDSL fallback이 전혀 없던(zero-FlyDSL) 상태를 손수 튜닝한 프로덕션 기준선과 동등하거나 그를 초과하는 실제 커널로 변환한다.
이미지 컬렉션으로부터 3D 장면을 모델링하는 기법(예: 3D Gaussian Splatting, 3DGS)은 시점 의존적(view-dependent) 외형을 갖는 그래픽스 프리미티브를 활용하여 고품질의 새로운 시점(novel view)을 생성할 수 있다. 3DGS에서는 시점 의존적 색상을 모델링하기 위해 구면 조화(spherical harmonic, SH)가 사용되며, 이로 인해 프리미티브당 다수의 SH 계수가 필요하고 메모리 요구량이 커진다. 이 문제를 완화하기 위해 압축 접근법들이 제안되었지만, 병렬 디코딩 및 렌더링을 위한 현대 그래픽 처리 장치(GPU)의 기능을 활용하지 못한다. 본 논문에서는 효율적인 병렬 GPU 디코딩을 위해 특별히 설계되었고 전용 하드웨어 가속을 지원하는 텍스처 압축 방식을 사용하여 SH 색상 계수를 압축하는 방법을 제안한다. 이러한 방법들이 프리미티브를 색상에 따라 국소적으로 그룹화하고 재정렬할 수 있다는 점을 활용하여 2D 텍스처보다 색상 계수를 더 효과적으로 압축할 수 있음을 보인다. 또한 무작위 접근(random access)을 유지하는 비트레이트(bit-rate) 제어 전략을 도입하여, 렌더링 성능을 저해하지 않으면서 대규모 병렬화를 가능하게 한다. BC1 및 BC7 텍스처 압축 포맷을 사용한 실험 결과, GPU 기반 디코딩을 통해 렌더링된 3DGS 장면의 시각적 품질에서 무시할 수 있거나 지각상 구별할 수 없는 저하만으로 달성할 수 있음을 보여준다.
수화언어는 수백만 명의 농인(Deaf) 및 난청인(hard-of-hearing)을 위한 주요 의사소통 수단이지만, 비디오 디퓨전 모델의 학습과 평가 비용이 높아 텍스트-수화자(text-to-signer) 비디오 생성은 여전히 비용이 많이 든다. 본 논문은 단일 NVIDIA L4 GPU에서 실행되는 짧은 수화 클립용 텍스트 조건부 디퓨전 모델인 Text2Sign을 제안한다. 동결(frozen)된 비전-언어(vision-language) 텍스트 인코더와 3D 인코더-디코더, 그리고 분해(factorized) 시공간(spatiotemporal) 어텐션을 결합하여 전체 비디오 어텐션의 비용을 줄이면서 동작 일관성(motion coherence)을 유지한다. 합성곱 전용 및 트랜스포머 스타일 백본, 동결된 사전학습 및 과제별 텍스트 인코더, 분해 어텐션 대 전체(full) 어텐션을 비교한다. 수화자 비중복(signer-disjoint) How2Sign 분할에서, 최고의 단기 실행 ablation은 검증 손실 0.0648에 도달하고, 장기 실행 체크포인트는 0.00999에 도달한다. 간소화된 평가 슬라이스에서, 후자는 guidance scale 5.0의 8단계 DDIM 샘플링을 사용하여 SSIM $0.2403 \pm 0.0238$, PSNR $15.11 \pm 0.42$ dB, 시간적 일관성 $1.0000 \pm 0.0000$을 달성한다. 32프레임, $64 \times 64$ 클립을 12.60초, 즉 초당 2.54프레임으로 생성하며, 추론 메모리 피크는 3.12 GB이다. 홀드아웃(held-out) 디노이징 감사(audit)는 프롬프트 민감도가 약함을 보여준다: 텍스트를 제거하면 후기 타임스텝(late-timestep) 손실이 0.9875에서 0.9891로 증가하는 반면, 섞인(shuffled) 프롬프트는 올바른 프롬프트와 유사한 성능을 보인다. 따라서 동결된 텍스트 조건화는 짧은 예산의 검증 손실을 개선하지만, 프롬프트별 분리는 여전히 제한적이다. 이 시스템은 저해상도의 짧은 클립에 한정되며 전문 언어학적 평가가 부족하므로, 완전한 수화언어 프로덕션 시스템이라기보다 단일 GPU 연구 기준선으로 보아야 한다. 코드는 https://github.com/xiaruize0911/text2sign 에서 이용할 수 있다.
유럽특허청(EPO)은 2025년 기록적인 출원 건수를 보고했으며, 2026년 EPO 지침은 제83조 및 규칙 42에 따라 대규모 언어 모델(LLM) 보조 콘텐츠에 대해 출원인에게 엄격한 책임을 부과하여, AI 생성으로 의심되는 특허 텍스트를 선별해야 하는 압력을 형성하고 있다. 이를 어렵게 만드는 두 가지 제약이 있다. 첫째, 현실적인 출원·심사(prosecution) 환경에서는 데이터센터급 스코oring 스택이 아닌, 약 8GB VRAM을 갖춘 소비자용 GPU만 갖춘 경우가 많다. 둘째, 유럽특허협약 제84조는 청구항이 명확하고 간결할 것을 요구하여, 인간의 초안 작성을 LLM이 차지하는 것과 동일한 낮은 perplexity·낮은 burstiness 다양체(manifold)로 밀어붙인다. 다섯 가지 프롬프팅(prompting) 전략을 모두 소비자용 하드웨어 환경 내에서 적용하여, 승인된 EPO H04 통신 특허 500건과 LLM 생성 대응물 500건에 대해 세 가지 오픈소스 제로샷(zero-shot) 감지기를 벤치마크했다. 청구항 수준에서 모든 감지기는 60%를 초과하는 오탐률(false-positive rate)을 기록했다: Binoculars 78.3%, Fast-DetectGPT 61.3%, DetectGPT 80.5%. 이러한 실패는 Qwen2.5-3B-Instruct 재생성, LoRA 적응 Pythia-2.8B 스코oring 헤드, A61K·C07D·F03D에 대한 IPC 간 복제(평균 FPR 84.6%), 및 공개된 Falcon-7B와 GPT-J-6B 헤드를 사용한 H100 재평가에서도 지속되며, 문제가 대체 모델(substitute-model) 용량(capacity)이라기보다 구조적임을 시사한다. 7개 특징(feature)을 사용한 언어 복잡도 로지스틱 회귀는 28.1% FPR에서 74.0% 정확도에 도달하며, 유사한 운영 지점(operating point)에서 perplexity만 사용한 기준선 대비 13퍼센트포인트 향상을 보였다. 이는 추론(inference) 시 가능도(likelihood)를 사용하지 않으며 동일한 하드웨어 예산 내에서 달성되었다.
수십억에서 수조 매개변수 규모의 대규모 언어 모델(LLM) 학습은 데이터센터에 국한되며, 여기서 데이터 병렬(DP) 및 모델 병렬(MP) 기법은 동종 가속기, 고속 상호 연결, 단일 조율 주체를 전제로 한다. 이로 인해 프론티어 모델 개발은 그러한 클러스터를 구축할 수 있는 소수 그룹에 집중된다. 한편, 학습에 활용되지 못하는 막대한 연산 자원이 존재한다: 이종(preemptible)이고 선점 가능하며 개별 소유이고 인터넷으로만 연결된 소비자 및 전문가용 GPU들이다.
Agora를 제안한다. 이는 해당 연산을 효율적으로 활용하는 시스템이다. Agora는 인터넷급 링크를 통한 대역폭 효율적 파이프라인 병렬 모델 샤딩과 다자간·내결함성 집합 통신 연산을 결합한다. 각 참여자는 모델의 한 단계(stage)만 보유하며, 어떤 단일 주체도 전체 가중치를 소유하지 않는다. 이 구성을 Protocol Learning이라 부른다: 집단적으로 학습되고 집단적으로 소유되는 모델을 가능하게 하며, 경제적 지속 가능성을 갖춘 오픈소스 프론티어 학습으로 가는 길을 연다.
이 보고서는 통신 효율적 병렬 처리, 비동기 최적화, 내결함성 시스템 설계에 걸친 연구 노력의 결과를 제시한다. 그 정점은 유형상 최초의 실증이다: Pluralis-8B—FineWeb-Edu의 500B 토큰으로 86억(8.6B) 매개변수 모델을 오픈·무허가 방식으로 사전학습한 실행(run)이다. 이 모델은 40일에 걸쳐 330개 기여자 노드—주로 인터넷 연결上的 소비자 GPU—가 수시로 참여하고 이탈하며 학습되었다. 해당 실행은 ~170k tokens/s와 풀링된 연산당 TFLOP당 4.2 토큰을 유지했으며, 중앙집중식 H100 기준선 대비 효율의 63%를 달성했고, 중앙집중식 기준(reference) 실행과 작은 마진 내에서 수렴했다.
디퓨전 U-Net의 공격적인 지식 증류(distillation)는 실시간 텍스트-이미지 파이프라인의 프레임당 병목을 역전시킨다. 디노이저(denoiser)가 4단계 또는 1단계 증류 학생 모델이 되면 텍스트 인코더가 크리티컬 패스(critical path)가 된다. 이 역전은 인코더가 멀티모달 대규모 언어 모델(MLLM)인 비전 인식 편집 디퓨전(vision-aware edit diffusion)에서 가장 두드러진다. 우리는 2.13B MLLM 텍스트 인코더(Qwen3-VL)와 짝을 이루는 0.39B 증류 편집 U-Net을 연구하고, 인코더를 축소하는 대신 디노이저의 크리티컬 패스에서 인코더를 분리하는 세 가지 메커니즘에 기반한 이 체제를 위한 스트리밍 파이프라인을 제시한다: 배치 텍스트 인코더 상각화(batched text-encoder amortisation)를 갖춘 비대칭 사이드 스트림/메인 스트림 CUDA 파이프라이닝, 전체 U-Net + 어댑터 스택을 하나의 융합 그래프로 접는 컴파일 친화적 ControlNet-LLLite 재공식화, 프레임당 조건화 비용을 상각화하는 훅 부분집합을 갖춘 주기적 조건 갱신 스케줄. 단일 소비자용 RTX 3090 Ti에서 512x512 해상도로 480프레임 실행 동안 27-30 fps를 유지하며, 동일한 운영 지점에서 정상 상태 처리량은 RTX 4090에서 55 fps, RTX 5090에서 74 fps로 확장된다. 이는 증류가 충분히 공격적이면 추가 이득은 디노이저 추가 압축이 아니라 인코더 측 시스템 작업에서 나온다는 것을 보여준다—지금까지 스트리밍 디퓨전 문헌이 최적화해 온 레버와는 반대이다. 우리는 대화형 저지연이 아닌 비디오 속도 스트리밍 처리량을 보고하며, 우리의 수치를 동일 스택 StreamDiffusion 재실행과 대조하여 시스템 맥락으로 배치하되 우월성 주장은 하지 않는다. 공개된 유화(oil-painting) 어댑터는 클립 내 노이즈 범위 내에서 19개의 미사용 DAVIS-2017 시퀀스와 7개 출처의 15개 비-DAVIS 클립으로 일반화되며, 보지 못한 스타일에 대한 프롬프트 수준 일반화는 제한적이며 별도로 보고된다.