arXiv:2304.04188

HyperINR: A Fast and Predictive Hypernetwork for Implicit Neural Representations via Knowledge Distillation

Qi Wu, David Bauer, Yuyang Chen, Kwan-Liu Ma

제출 2023-04-09

원문 초록

Implicit Neural Representations (INRs) have recently exhibited immense potential in the field of scientific visualization for both data generation and visualization tasks. However, these representations often consist of large multi-layer perceptrons (MLPs), necessitating millions of operations for a single forward pass, consequently hindering interactive visual exploration. While reducing the size of the MLPs and employing efficient parametric encoding schemes can alleviate this issue, it compromises generalizability for unseen parameters, rendering it unsuitable for tasks such as temporal super-resolution. In this paper, we introduce HyperINR, a novel hypernetwork architecture capable of directly predicting the weights for a compact INR. By harnessing an ensemble of multiresolution hash encoding units in unison, the resulting INR attains state-of-the-art inference performance (up to 100x higher inference bandwidth) and can support interactive photo-realistic volume visualization. Additionally, by incorporating knowledge distillation, exceptional data and visualization generation quality is achieved, making our method valuable for real-time parameter exploration. We validate the effectiveness of the HyperINR architecture through a comprehensive ablation study. We showcase the versatility of HyperINR across three distinct scientific domains: novel view synthesis, temporal super-resolution of volume data, and volume rendering with dynamic global shadows. By simultaneously achieving efficiency and generalizability, HyperINR paves the way for applying INR in a wider array of scientific visualization applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.18737v2cs.CV공통 태그 Knowledge Distillation, Novel View Synthesis

파도 아래의 기하학: 희소 뷰 수중 3D 가우시안 스플래팅을 위한 밀집 사전 정보

Geometry beneath the Waves: Dense Priors for Sparse-View Underwater 3D Gaussian Splatting

수중 3D 복원(3D reconstruction)은 희소 뷰(sparse view) 조건에서 여전히 어려운 과제로 남아 있는데, 산란(scattering), 흡수(absorption), 부유 입자(suspended particles)가 특징(feature) 대응관계와 기하 추정(geometric estimation)을 저해하기 때문이다. 피드포워드(feed-forward) 기하 파운데이션 모델(foundation model)이 전통적인 Structure-from-Motion의 대안을 제공하지만, 이를 수중 환경에 직접 적용하면 노이즈가 많고 단편화된 기하가 생성되어 이후의 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)을 제한한다. 우리는 피드포워드 기하를 수중 저하(degradation)에 적응시키고 그 밀집 기하학적 사전(dense geometric prior)을 뷰 합성(view synthesis)에 활용하는 희소 뷰 수중 복원 프레임워크를 제안한다. 첫째, LoRA와 교사-학생(teacher-student) 증류(distillation)를 사용하여 VGGT를 적응시키며, 합성적으로 저하된 수중 이미지로 학습(training)하면서도 깨끗한 기하학적 감독(supervision)을 보존한다. 이를 통해 사전학습(pretrained)된 예측 헤드(prediction head)를 수정하지 않고도 수중 외관 왜곡(appearance distortion)에 대한 견고성(robustness)을 향상시킨다. 둘째, 예측된 밀집 기하는 중간 단계의 3DGS 표현을 초기화하여 기하 기반(geometry-guided) 가상 뷰(pseudo-view)를 생성하며, 이는 뷰 중첩(view overlap)을 늘리고 이후의 RUSplatting 최적화를 위한 특징(feature) 트랙을 강화한다. SeaThru-NeRF와 Submerged3D에서의 실험은 희소 뷰 조건에서 복원 품질이 향상됨을 보여준다. SeaThru-NeRF에서 본 방법은 RUSplatting의 PSNR을 24.37에서 27.11 dB로 향상시키고 SSIM을 0.7611에서 0.8634로 증가시키며, Submerged3D에서는 최고의 평균 PSNR과 LPIPS를 달성한다. 이러한 결과는 견고한 희소 뷰 수중 3D 복원을 위한 도메인 적응(domain-adapted) 기하학적 사전의 잠재력을 보여준다.

arXiv:2609.24984v1cs.CV공통 태그 Knowledge Distillation, Novel View Synthesis

WorldCrafter: 암시적 3D 인식 메모리를 갖춘 일관된 비디오 월드 모델

WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory

비디오 월드 모델(video world model)은 동적 환경의 인터랙티브한 탐험을 가능하게 하지만, 긴 지평(long horizon)과 다양한 시점에 걸쳐 이전 관측 결과를 온전히 반영하는 데 어려움을 겪습니다. 본 논문에서는 이를 위해 카메라로 쿼리 가능한 암시적 3D 인식 메모리를 학습하는 비디오 월드 모델인 WorldCrafter를 제시합니다. 핵심 통찰은 요청된 시점이 비디오 생성기의 제한된 토큰 예산 내에서 다중 뷰 단서가 압축되는 방식을 결정하도록 하는 것입니다. 비디오 생성기와 공동으로 학습되는 메모리 인코더 및 포즈 조건부 판독(readout) 모듈은 명시적인 깊이 기반 대응점 없이도 디노이징 전에 이전 관측값들을 고정된 수의 목표 시점 특화 토큰 세트로 통합합니다. 이 메모리를 최근 시간적 컨텍스트 및 소수 단계 지식 증류(few-step distillation)와 결합함으로써, WorldCrafter는 단일 입력 이미지 또는 텍스트 프롬프트로부터 스트리밍 장면 탐험을 가능하게 합니다. 정적 및 동적 장면에 걸친 실험 결과, 분 단위 탐험 중에도 시각적 품질을 유지하면서 긴 지평의 일관성과 카메라 제어 정확도 측면에서 상당한 성능 향상을 입증합니다.

arXiv:2610.13740v2cs.RO공통 태그 Knowledge Distillation

SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

월드-액션 모델(WAM)은 로봇 행동과 미래 관측을 함께 예측하지만, 비디오 확산 백본은 엣지 배포에 비용이 크다. 본 연구는 단일 프레임 인코딩, 어텐션 싱크를 보존한 캐시된 텍스트 특징, 깊이 가지치기, 토큰 압축을 사용하여 20억 파라미터의 Cosmos Policy로부터 도출한 소형 잠재 WAM인 SmolWAM을 제안한다. 28개 트랜스포머 블록 중 12개와 1,008개 토큰으로 SmolWAM은 한 번의 rectified-flow 단계에서 행동과 미래 잠재 변수를 예측한다. A100 GPU 3.6시간의 학습 후, 400개의 LIBERO 에피소드에서 95.5%의 성공률을 달성하며, A100에서 16개 행동 청크당 57ms, 2.3TFLOP, 2.4GiB를 사용하여 5단계 교사 대비 지연 시간은 11배, 메모리는 3.2배 낮다. 월드 헤드는 장면의 움직임을 예측하며, 공동 학습은 행동 전용 어블레이션보다 성공률을 6.2퍼센트포인트 향상시킨다.

arXiv:2610.10854v2cs.LG공통 태그 Knowledge Distillation

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.15752v1cs.CV공통 태그 Super-Resolution

동결된 히스토리: 학습 기반 실시간 슈퍼샘플링에서 시간적 손실이 누적을 중단시키는 시점

Frozen History: When Temporal Losses Stop Accumulation in Learned Real-Time Supersampling

학습(training) 기반 실시간 슈퍼샘플링(supersampling)은 모션 벡터(motion vector)를 따라 지터링된(jittered) 저해상도 샘플들을 누적합니다. 많은 방법들이 깜빡임(flicker)을 줄이기 위해 시간적 일관성 손실(temporal consistency loss)을 사용합니다. 본 연구는 정확한 정합(registration)이 주어지면 이 손실이 누적을 억제할 수 있음을 보여줍니다. 정적 콘텐츠에서 네트워크는 거의 시간적 비용 없이 워핑된 히스토리를 그대로 복사합니다. 모션 벡터의 카메라 지터는 이 비용을 높여 해당 효과를 감출 수 있습니다. 본 논문에서는 학습 과정에서 은폐될 수 있는 네 가지 정합 오차로 지터를 포함하는 모션 벡터, 두 해상도 격자 모두에 사용되는 단일 모션 필드, 지터링된 깊이(depth), 정합되지 않은 스킵 경로(skip path)를 식별합니다. 모델(model) 프리 오라클을 통해 정확한 정합이 정적 픽셀에서 동결(freezing) 비용을 2차수(two orders of magnitude) 더 낮춘다는 것을 입증합니다. 제어된 학습 실험에서는 정합이 PSNR에 미치는 시간적 가중치(weight)의 영향을 반전시키는 것으로 나타났습니다. 정확한 정합 하에서 가중치를 늘리면 정확도와 인지 품질을 희생하면서 픽셀 분산을 줄이며, 가중치 0.25에서 정적 프레임의 손실이 0.7~0.9 dB에 달합니다. 이러한 반전 현상은 세 가지 네트워크 제품군과 두 가지 스케일 전반에서 반복되며, 해당 손실은 지터가 없는 STSS 데이터에서도 정확도를 저하시킵니다. 작은 시간적 가중치와 정규화된 샘플 누적기를 결합한 단순 정합 네트워크는 1080p로의 $\times$2, $\times$3, $\times$4 업스케일링에서 기존에 발표된 최고 QRISP PSNR 대비 0.34~0.62 dB 향상된 성능을 보여줍니다. $\times$2에서 정적 픽셀 표준편차는 DLSS 2의 1/4 수준입니다. 재학습 없이도 Arm의 지터링된 Bistro 캡처에서 고전적 시간적 업샘플링 대비 최소 4.4 dB 뛰어난 성능을 보입니다. 가장 정확한 $\times$4 모델은 H200에서 1080p 프레임당 2.03 ms로 구동됩니다. 코드: https://github.com/CV-AC/Frozen_history

토론

이 논문과 연결된 포럼 글이 아직 없습니다.