NeuralMUSIC: 로봇 음원 국지화를 위한 하이브리드 신경망-부공간 프레임워크
NeuralMUSIC: A Hybrid Neural-Subspace Framework for Robot Sound Source Localization
한국어 초록
신뢰할 수 있는 음원 국지화는 로봇 청각(robot audition)의 기본이 되며, 자율 로봇이 공간적 단서(spatial cues)를 인식하고 동적 환경에서 효과적으로 작동할 수 있게 합니다. 다중 신호 분류(MUSIC)와 같은 고전적 방법은 강력한 이론적 기반을 제공하지만, 낮은 신호 대 잡음비(SNR) 조건에서 성능이 저하됩니다. 심층 학습 기반 접근 방식은 유망한 성능을 달성하지만, 다양한 조건에 걸친 일반화(generalization) 부족 문제로 어려움을 겪는 경우가 많습니다. 이러한 문제를 해결하기 위해 우리는 로봇 음원 국지화를 위한 하이브리드 신경망-부공간 프레임워크인 NeuralMUSIC를 제안합니다. 구체적으로, 신경망(neural network)이 먼저 다채널 마이크로폰 관측값에서 공간 공분산 행렬(spatial covariance matrix)을 추정합니다. 예측된 공분산은 고유값 분해(EVD) 및 의사 스펙트럼(pseudo-spectrum) 계산을 포함하는 고전적인 MUSIC 파이프라인에 통합되고, 이어 주파수 어텐션 융합(FAF) 모듈을 통해 최종 도래 방향(DOA) 추정치를 생성합니다. 데이터 효율성을 높이기 위해 우리는 레이블이 없는 음향 데이터를 활용하여 공간적 구조를 포착하는 자기지도 공간 상관 학습(SSCL) 전략을 추가로 도입합니다. 다양한 로봇 작업에 걸친 광범위한 실험을 통해 NeuralMUSIC이 경쟁력 있는 국지화 정확도를 달성하면서도 향상된 견고성(robustness)과 도메인 간 일반화(cross-domain generalization)를 보여줌을 입증했습니다.
원문 초록
Reliable sound source localization is fundamental to robot audition, enabling autonomous robots to perceive spatial cues and operate effectively in dynamic environments. Classical methods such as Multiple Signal Classification (MUSIC) offer strong theoretical foundations but degrade under low signal-to-noise ratios. While deep learning-based approaches achieve promising performance, they often struggle with limited generalization across conditions. To address these challenges, we propose NeuralMUSIC, a hybrid neural-subspace framework for robotic sound source localization. Specifically, a neural network first estimates the spatial covariance matrix from multichannel microphone observations. The predicted covariance is then integrated into a classical MUSIC pipeline with eigenvalue decomposition (EVD) and pseudo-spectrum computation, followed by a Frequency Attention Fusion (FAF) module to produce the final DOA estimates. To improve data efficiency, we further introduce a Self-supervised Spatial Correlation Learning (SSCL) strategy that leverages unlabeled acoustic data to capture spatial structure. Extensive experiments across different robotic tasks demonstrate that NeuralMUSIC achieves competitive localization accuracy while exhibiting improved robustness and cross-domain generalization.
요약
NeuralMUSIC는 다채널 마이크 관측에서 신경망으로 공간 공분산 행렬을 추정하고, 이를 고유값 분해와 의사 스펙트럼 계산이 포함된 MUSIC 파이프라인과 주파수 어텐션 융합(FAF) 모듈에 통합해 도래 방향(DOA)을 추정하는 로봇 음원 국지화 하이브리드 프레임워크이다. 레이블 없는 음향 데이터로 공간 구조를 학습하는 자기지도 공간 상관 학습(SSCL)을 더해 데이터 효율을 높였으며, 다양한 로봇 작업 실험에서 경쟁력 있는 국지화 정확도와 함께 견고성 및 도메인 간 일반화가 개선됨을 보였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18664v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DistilHuBERT를 활용한 악센트 분류 재고: 화자 분리 평가 및 말뭉치 간 일반화
Revisiting Accent Classification with DistilHuBERT: Speaker-Disjoint Evaluation and Cross-Corpus Generalization
최근 악센트 분류(accent classification) 시스템은 표준적인 코퍼스 내(in-corpus) 평가에서 높은 정확도를 달성할 수 있다. 그러나 학습 세트와 테스트 세트 간에 화자가 겹치는 경우, 이러한 결과는 실제 배포 시나리오와 비교하여 모델의 강건성(robustness)을 과대평가할 수 있다. 본 연구는 L2-ARCTIC과 여러 외부 영어 악센트 데이터셋을 활용하여 DistilHuBERT 기반 악센트 분류의 강건성을 재검토한다. 비교 대상에는 균형 잡힌 외부 데이터 학습(balanced external-data training) 및 교사-학생 의사 라벨링(teacher-student pseudo-labeling)과 더불어, 파일 단위(file-level) 분할 및 화자 분리(speaker-disjoint) 분할이 포함된다. 코퍼스 내 평가와 외부 평가 간의 큰 성능 격차는 파일 단위 평가가 성능을 상당히 과대평가하는 반면, 화자 분리 평가는 미확인 화자에 대한 일반화 성능을 보다 현실적으로 추정할 수 있음을 시사한다. 본 연구에서 외부 데이터만으로 학습된 모델은 L2-ARCTIC에 안정적으로 일반화되지 못했다. 테스트된 구성 중에서는 균형 잡힌 외부 데이터 학습이 가장 유망한 지도학습 설정을 제공한다. 나아가 의사 라벨링 실험은 도메인 불일치 상황에서 신뢰도 기반 필터링(confidence-based filtering)만으로는 불충분함을 보여준다. 전반적으로 본 연구는 강건한 악센트 분류 평가를 위해 화자 분리 평가와 말뭉치 간(cross-corpus) 테스트를 동시에 포함해야 함을 시사한다.
CSWAM: 월드 액션 모델에서의 분포 외 일반화를 위한 더 나은 인과적 의미 표현
CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models
FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다. 이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다. 우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.
HERO: 종양학 분야의 강건한 표현 학습을 위한 조직병리학 인코더
HERO: Histology Encoder for Robust Representation in Oncology
대규모 병리학 이미지 말뭉치로 학습된 파운데이션 모델(foundation model)은 이제 전산병리학(computational pathology)을 위한 강력하고 전이 가능한 표현을 제공합니다. 지난 몇 년간 이러한 모델들이 잇달아 공개되었으며, 각 모델은 이전 모델보다 더 많은 슬라이드로 학습되었습니다. 표준 분류 및 분할(segmentation) 벤치마크에서 선도적인 모델들 간의 격차는 이제 매우 미미한 수준입니다. 그러나 임상 현장에서는 파운데이션 모델이 학습 데이터에 포함되지 않은 병원, 스캐너 및 염색 프로토콜에서 생성된 이미지에 적용됩니다. 인코더는 일반적으로 생물학적 정보와 함께 이러한 획득 요인(acquisition factor)들을 함께 임베딩하며, 이는 다운스트림 오류를 유발하고 안전한 임상 도입을 저해할 수 있습니다. 따라서 병리학 파운데이션 모델은 표현 품질을 유지하면서도 데이터 획득 변화(acquisition shift)에 강건해야 하지만, 강건성은 모델 간 비교에서 거의 고려되지 않는 기준이었습니다. 본 보고서에서는 DINO 및 iBOT 목표로 학습되고, 약 575,000개의 임상 전체 슬라이드 이미지(WSI)에서 추출한 형태학적으로 균형 잡힌 5억 개의 타일 말뭉치에서 고해상도 그람 앵커링(Gram anchoring)으로 정제된 ViT-G/14 병리학 파운데이션 모델인 HERO(Histology Encoder for Robust Representation in Oncology)를 소개합니다. 평가된 공개 벤치마크 전반에서 HERO는 비교된 최고 수준(state-of-the-art)의 파운데이션 모델 중 기관, 스캐너 및 염색 변화에 대해 가장 강력한 강건성을 보였습니다. 또한 타일 수준의 분류, 분할 및 유전자 발현 예측에서 필적하는 성능을 달성했으며, 평가된 39개 슬라이드 수준 임상 작업 전반에서 평균 1위를 기록했고, 동일 가중치 프레임워크 수준 분석에서도 6개 벤치마크 프레임워크 전반에 걸쳐 가장 우수한 평균 순위를 기록했습니다.
nnFoundation: 방사선학을 위한 3D 파운데이션 모델
nnFoundation: 3D Foundation Models for Radiology
방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.
분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가
Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation
선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.
검색 기하 구조가 캐시 기반 CLIP 적응을 좌우한다
Retrieval Geometry Shapes Cache-Based Clip Adaptation
캐시 기반 테스트 시점 적응(test-time adaptation)은 모델을 고정(frozen)한 채 타깃 스트림에서 예시를 저장하고 검색함으로써 CLIP의 예측을 향상시킨다. 그러나 기존 방법들은 이미지-이미지 검색에 사용되는 특징 공간을 대부분 고정된 것으로 취급하여, 적응이 검색 공간 자체에 얼마나 의존하는지는 밝혀지지 않은 채로 남아 있었다. 본 연구는 메모리를 고정하고 검색 인코더만 변경함으로써 이 질문을 탐구하며, 동일한 메모리라도 매우 다른 성능 향상을 가져올 수 있음을 발견하였다: 16개의 검색 공간에 걸쳐 ImageNet-A 캐시 성능 향상은 CLIP과 MAE의 경우 최대 +0.44점에 그치는 반면, DINOv2-L의 경우 +19.7 ± 0.4점에 달했으며, 레이블 없이(label-free) 검색 공간을 선택하는 방식은 ImageNet-V2에서 오라클(oracle) 성능 향상의 98%를 유지하였다. 이러한 결과는 메모리의 품질이 어떤 예시가 저장되는지뿐만 아니라 그것들이 어떻게 검색되는지에도 좌우됨을 보여준다. 이 발견에 착안하여, 우리는 예측에는 고정된(frozen) CLIP을, 검색에는 DINOv2-B를 사용하고 단일 융합 가중치(weight)를 적용하는 학습이 필요 없는(training-free) 시스템인 MARC(Memory Augmented Retrieval for CLIP)를 제안한다. 단일 뷰(single-view) 캐시는 약 7분의 1의 비용으로 1074 ± 21개의 기준선(baseline) 오류를 수정하는 반면, 64개 뷰 앙상블(ensemble)은 878 ± 4개를 수정하는 데 그친다. 네 가지 ImageNet 분포 이동(distribution shift)에 걸쳐 MARC는 67.91%의 분포 외(OOD) 평균 성능을 달성하였으며, 동일한 DINOv2-B 규모와 8개 뷰 조건에서 그래프 기반 캐시 시스템의 62.75 ± 0.15% 대비 64.17 ± 0.31%를 달성하면서도 2.6배 더 빠르게 동작하였다. 전반적으로, 본 연구의 결과는 원격 탐사(remote sensing), 과학 이미징(scientific imaging), 그리고 변화하는 시각 환경에서 강건한(robust) 캐시 기반 적응을 위해 검색 공간이 1차적인(first-order) 설계 선택 요소임을 확립한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.