arXiv:2004.04548

Sequential View Synthesis with Transformer

Phong Nguyen-Ha, Lam Huynh, Esa Rahtu, Janne Heikkila

제출 2020-04-09

원문 초록

This paper addresses the problem of novel view synthesis by means of neural rendering, where we are interested in predicting the novel view at an arbitrary camera pose based on a given set of input images from other viewpoints. Using the known query pose and input poses, we create an ordered set of observations that leads to the target view. Thus, the problem of single novel view synthesis is reformulated as a sequential view prediction task. In this paper, the proposed Transformer-based Generative Query Network (T-GQN) extends the neural-rendering methods by adding two new concepts. First, we use multi-view attention learning between context images to obtain multiple implicit scene representations. Second, we introduce a sequential rendering decoder to predict an image sequence, including the target view, based on the learned representations. Finally, we evaluate our model on various challenging datasets and demonstrate that our model not only gives consistent predictions but also doesn't require any retraining for finetuning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14203v2cs.GR공통 태그 Novel View Synthesis

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2609.26249v2cs.CL공통 태그 Decoder

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

arXiv:2608.24707v3cs.CL공통 태그 Decoder

음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지

Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts

텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.

arXiv:2607.23811v3cs.SD공통 태그 Decoder

분리된 시간-깊이 확산 트랜스포머 기반 메모리 효율적 오디오 합성

Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers

Siri Expressive Voices는 Apple의 가장 강력한 온디바이스 파운데이션 모델인 AFM 3 Core Advanced를 기반으로, 풍부하고 설정 가능한 음성을 실시간으로 전적으로 기기 내에서 합성한다. 본 연구는 이 기능의 기반이 되는 메모리 효율적 오디오 합성 아키텍처를 제시한다. 이는 파운데이션 모델이 내보내는 의미적 오디오 토큰을 Scalable Matrix Extension(SME)의 빠듯한 연산 및 메모리 예산 내에서 고충실도 오디오로 변환하는 디토크나이저이다. 우리는 시간 처리와 깊이 처리를 체계적으로 분리하는 스트리밍 인코더, 시간 디코더, 깊이 디코더의 세 구성 요소 설계로 의미적 오디오 토큰을 잔차 벡터 양자화(RVQ) 표현으로 변환한다. Diffusion Transformer(DiT) 방식의 단계 조건화를 갖춘 단일 재사용 가능 깊이 디코더가 모든 RVQ 수준을 자기회귀적으로 생성하여 기존 다중 디코더 아키텍처의 수준별 전용 디코더를 대체하며, 고정 윈도 키-값 캐싱을 사용하는 인과적 슬라이딩 윈도 어텐션은 시퀀스 길이와 무관한 일정한 메모리 복잡도를 제공한다. AMX에 배포된 디토크나이저는 생성 단계당 약 10 ms를 유지하여 실시간보다 약 16배 빠르며, 최대 런타임 메모리는 21 MB, 온디바이스 자산은 329 MB에 불과하여 20–320초 분량의 오디오를 연속 스트리밍 합성할 수 있다. 이러한 일정하고 작은 점유량은 기존 트랜스포머 및 GAN 기반 접근법의 선형 및 이차 메모리 증가를 대체한다. 절제 연구는 핵심 아키텍처 구성 요소를 검증하며, 오디오 품질 평가는 이 아키텍처가 기존 방법 대비 효율 향상을 달성하면서도 합성 충실도를 유지함을 확인한다. AFM 3 Core Advanced 내에서 10억 파라미터 활성화 크기로 동작하여, 이전 온디바이스 텍스트 음성 변환 시스템 대비 평균 의견 점수(MOS)를 전체적으로 +0.28(4.15 대 3.87), 대화체 음성에서 +0.42(4.24 대 3.82) 향상시킨다.

arXiv:2609.23555v2eess.IV공통 태그 Decoder

하이브리드 신경 비디오 표현을 위한 해상도 유연 디코딩

Resolution-Flexible Decoding for Hybrid Neural Video Representations

신경 비디오 표현(NVR)은 신경망 파라미터와, 하이브리드 방식에서는 프레임별 잠재 임베딩을 사용하여 비디오를 표현한다. 기존의 하이브리드 NVR에서는 프레임별 잠재 임베딩의 공간 크기와 디코더 업샘플링 스케줄이 목표 해상도에 의존하여, 크고 균일하지 않은 업샘플링 배율이 필요할 수 있다. 본 논문에서는 하이브리드 NVR을 위한 해상도 유연 디코더 프레임워크를 제안한다. 이 디코더는 균일한 \(2\times\) 업샘플링 단계로 구성되며, 각 단계의 목표 특징 크기는 최종 출력 해상도로부터 공간 해상도를 역으로 추적하여 얻는다. 각 업샘플링 단계 이후, 필요한 경우 최소한의 패딩 또는 크롭으로 특징 맵을 목표 크기에 맞춘다. 이러한 점진적 디코딩 과정을 지원하기 위해, 중간 복원 지도와 최근 프레임별 손실에 기반한 복원 난이도 인식 프레임 샘플링 전략을 추가로 사용한다. 이 프레임워크는 하이브리드 NVR의 기본 표현 형식을 유지하므로 서로 다른 백본에 적용할 수 있다. \(1080\times1920\) 및 \(810\times1440\) 해상도의 UVG 데이터셋에서 수행한 실험은 제안한 접근법이 해당 NVR 기준선보다 복원 품질을 향상시킴을 보여준다.

arXiv:2610.15752v1cs.CV공통 태그 Neural Rendering

동결된 히스토리: 학습 기반 실시간 슈퍼샘플링에서 시간적 손실이 누적을 중단시키는 시점

Frozen History: When Temporal Losses Stop Accumulation in Learned Real-Time Supersampling

학습(training) 기반 실시간 슈퍼샘플링(supersampling)은 모션 벡터(motion vector)를 따라 지터링된(jittered) 저해상도 샘플들을 누적합니다. 많은 방법들이 깜빡임(flicker)을 줄이기 위해 시간적 일관성 손실(temporal consistency loss)을 사용합니다. 본 연구는 정확한 정합(registration)이 주어지면 이 손실이 누적을 억제할 수 있음을 보여줍니다. 정적 콘텐츠에서 네트워크는 거의 시간적 비용 없이 워핑된 히스토리를 그대로 복사합니다. 모션 벡터의 카메라 지터는 이 비용을 높여 해당 효과를 감출 수 있습니다. 본 논문에서는 학습 과정에서 은폐될 수 있는 네 가지 정합 오차로 지터를 포함하는 모션 벡터, 두 해상도 격자 모두에 사용되는 단일 모션 필드, 지터링된 깊이(depth), 정합되지 않은 스킵 경로(skip path)를 식별합니다. 모델(model) 프리 오라클을 통해 정확한 정합이 정적 픽셀에서 동결(freezing) 비용을 2차수(two orders of magnitude) 더 낮춘다는 것을 입증합니다. 제어된 학습 실험에서는 정합이 PSNR에 미치는 시간적 가중치(weight)의 영향을 반전시키는 것으로 나타났습니다. 정확한 정합 하에서 가중치를 늘리면 정확도와 인지 품질을 희생하면서 픽셀 분산을 줄이며, 가중치 0.25에서 정적 프레임의 손실이 0.7~0.9 dB에 달합니다. 이러한 반전 현상은 세 가지 네트워크 제품군과 두 가지 스케일 전반에서 반복되며, 해당 손실은 지터가 없는 STSS 데이터에서도 정확도를 저하시킵니다. 작은 시간적 가중치와 정규화된 샘플 누적기를 결합한 단순 정합 네트워크는 1080p로의 $\times$2, $\times$3, $\times$4 업스케일링에서 기존에 발표된 최고 QRISP PSNR 대비 0.34~0.62 dB 향상된 성능을 보여줍니다. $\times$2에서 정적 픽셀 표준편차는 DLSS 2의 1/4 수준입니다. 재학습 없이도 Arm의 지터링된 Bistro 캡처에서 고전적 시간적 업샘플링 대비 최소 4.4 dB 뛰어난 성능을 보입니다. 가장 정확한 $\times$4 모델은 H200에서 1080p 프레임당 2.03 ms로 구동됩니다. 코드: https://github.com/CV-AC/Frozen_history

토론

이 논문과 연결된 포럼 글이 아직 없습니다.