CNN Models for Microphone Array Covariance Matrix Upsampling and Acoustic Imaging
원문 초록
Acoustic imaging visualization is a core methodology in acoustics, enabling spatial analysis of sound sources and acoustic scenes. However, limited sensor availability in practical systems motivate approaches that enhance spatial resolution without increasing the hardware complexity. In this paper, we focus on upsampling virtually a tetrahedral 4-microphone array to a spherical 32-microphone array by estimating the covariance matrices of the channels employing deep learning techniques. Five neural network architectures are investigated for covariance upsampling for acoustic imaging using the real-world STARSS23 dataset. These models are developed to estimate a 32-microphone, time-frequency covariance matrix from a 4-microphone input covariance representation. The proposed architectures are based on 2D convolutional layers to capture the underlying spatial-spectral structure of covariance matrices, and are further enhanced with frequency dynamic convolution to model their frequency-dependent properties. The proposed architectures are evaluated in terms of root mean square error (RMSE) and using delay-and-sum beamforming acoustic imaging. Quantitative results show that all models outperform a random-guess baseline, which yields an RMSE of 0.548, with the best-performing architecture achieving an RMSE of 0.432. We analyze qualitatively the performance of the proposed models through beamforming heatmap visualizations derived from the 4-channel input covariance, the 32-channel ground truth, and the predicted 32-channel covariance matrices. These results demonstrate that covariance upsampling significantly enhances the effective performance of the 4-channel microphone array, producing sound maps that closely resemble those obtained with the 32-channel array.
요약
딥러닝을 활용해 4채널 정사면체 마이크 배열의 공간 공분산 행렬(SCM)을 32채널 구형 배열 수준으로 업샘플링하는 5가지 CNN 아키텍처를 제안하며, STARSS23 데이터셋 기반 평가에서 최고 모델이 RMSE 0.432를 달성해 무작위 추정 기준(0.548) 대비 유의미한 성능 향상을 보였다. 주파수 의존 합성곱(FDC) 레이어를 통합한 Hybrid FDC-CNN 계열이 주파수별 공분산 특성을 효과적으로 모델링하며 지연-합산 빔포밍 음향 이미징 품질을 크게 개선함을 시각적 히트맵 분석으로 확인하였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01295v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
BeyondFusion: 보정 불필요 적외선 초해상도 및 적외선-가시광 융합을 위한 자기 정렬 잠재 확산
BeyondFusion: Self-Aligned Latent Diffusion for Calibration-Free Infrared Super-Resolution and Infrared-Visible Fusion
모바일 적외선-가시광 영상은 일반적으로 상호 보완적 인식을 위해 소형 적외선 센서와 고해상도 가시광 카메라를 함께 사용한다. 서로 다른 광학계, 시점, 시야(field of view), 노출 시점으로 인한 교차 센서 misalignment는 실용적 배포를 저해한다. 본 논문에서는 보정 불필요한 가시광 유도 적외선 초해상도 및 적외선-가시광 융합 작업을 위한 통합 잠재 확산(latent diffusion) 프레임워크인 BeyondFusion을 제안한다. 제안 프레임워크는 작업별 학습과, 두 작업이 동일한 생성 과정의 두 가지 readout으로 최적화·실행되는 공동 학습(joint training)을 모두 지원한다. 명시적 registration이나 기하학적 warping에 의존하는 대신, BeyondFusion은 디노이징 U-Net에 교차 모달 자기 정렬(cross-modal self-aligning, CMSA) 모듈을 도입한다. CMSA는 디노이징 과정 동안 콘텐츠 적응형 교차 모달 대응 관계를 학습하기 위해 적외선 및 가시광 잠재 토큰을 공유 어텐션 공간으로 재구성한다. misalignment augmentation 모듈과 함께, 모델은 열 일관성을 유지하면서 가시광의 구조적·의미적 단서를 활용하도록 돕고, 보정되지 않은(uncalibrated) 조건에서 고주파 적외선 재구성과 정보가 풍부한 융합 영상 생성을 가능하게 한다. 공개 벤치마크와 모바일 적외선-가시광 영상 시스템에 대한 광범위한 실험은 정렬된 입력, 저해상도 적외선 관측, 합성 misalignment, 비동기 센서를 갖춘 실제 모바일 촬영 등 다양한 조건에서 강력한 성능을 보여준다. Ablation 연구, 통합 학습 분석, 하류 보행자 검출은 보정 불필요 다중 모달 영상을 위한 BeyondFusion의 효과를 추가로 검증한다.
TRaM-VSR: 원스텝 확산 비디오 초해상화를 위한 중요도 인식 토큰 라우팅 및 병합
TRaM-VSR: Importance-Aware Token Routing and Merging for One-Step Diffusion Video Super-Resolution
대규모 확산 트랜스포머(DiT) prior를 활용한 비디오 초해상화(VSR)는 뛰어난 지각적 품질을 달성하지만, 밀집된 시공간 토큰 시퀀스를 처리하는 이차 계산 비용 때문에 실용적이지 않은 경우가 많다. 기존 효율 중심 방법은 되돌릴 수 없는 디테일 손실과 시간적 깜빡임 위험이 있으며, 이 취약점은 원스텝 확산 모델에서 특히 두드러진다. 이를 해결하기 위해, 컨텍스트 인식 비디오 prior와 네트워크 수준 prior를 모두 활용하여 적응적 토큰 할당을 수행하는 토큰 라우팅 및 병합 프레임워크 TRaM-VSR을 제안한다. 먼저, 동작에 민감한 시간적 단서와 의미적 텍스트 유사도를 융합하여 토큰 중요도를 추정하고, 동적 객체와 구조적 경계를 분리한다. 다음으로, 오프라인 플래너가 이 중요도를 추가로 보정·조정하여 최적으로 그룹화된 네트워크 블록 전반의 라우팅을 안내한다. 기술적으로, 각 라우팅 그룹 내에서 구조적으로 중요한 토큰은 고충실도 로컬 스트림에서 처리되고, 정보가 적은 토큰은 컴팩트한 글로벌 스트림으로 집계되며, 둘 모두 네트워크 깊이에 따라 변조되고 확산 모델의 다중 세분성 특성과 정렬된다. 광범위한 실험 결과, TRaM-VSR은 최첨단 재구성 품질과 견고한 시간적 일관성을 유지하면서 추론을 크게 가속화한다. 코드는 https://github.com/Ree1s/TRaM-VSR 에서 확인할 수 있다.
교차 모달리티 매니폴드 불일치 분리: 가시광 확산 사전분포를 활용한 적외선 초해상도
Decoupling Cross-Modality Manifold Discrepancy: Leveraging Visible Diffusion Priors for Infrared Super-Resolution
적외선 영상 초해상도(IISR)는 낮은 공간 해상도가 부과하는 한계를 완화한다. 기존 방법들은 IISR이 영상 선명도를 향상시키면서도 전역 분포와 구조적 정보의 일관성을 유지해야 한다는 점을 인식해 왔다. 그러나 이러한 방법들은 불충분하거나 지나치게 개입적이며, 확산 기반 모델에서는 이 문제가 더욱 두드러진다. 이를 해결하기 위해 우리는 Shift-IISR이라고 명명한 IISR용 이중 경로 확산 기반 프레임워크를 제안한다. 제안 방법은 확산 모델의 생성 능력을 유지하면서 IISR 결과의 일관성을 향상하도록 설계되었다. 구체적으로, 적외선 영상에서 모달리티 특이적 정보를 추출하고 확산 모델의 전역 분포를 정답(ground truth)에 맞추도록 유도하는 전역 표현 변조(Global Representation Modulation, GRM) 모듈을 개발한다. 또한 반복적 디노이징(denoising) 과정의 각 단계에서 모델이 구조적 정보에 집중하도록 하는 국소 구조 정제(Local Structure Refinement, LSR) 모듈을 도입한다. 광범위한 실험을 통해 제안 방법이 분포 및 구조적 일관성을 효과적으로 개선하면서도 경쟁력 있는 초해상도 성능을 유지함을 보였다. 제안한 Shift-IISR의 소스 코드는 https://github.com/Assassink8/Shift-IISR 에서 확인할 수 있다.
Deep Sparse and Low-Rank Prior for Hyperspectral Image Denoising
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.