범용 오디오 태깅에서 공간적 그라운딩 기반 음원 이벤트 위치 추정 및 탐지로
From General-Purpose Audio Tagging to Spatially Grounded Sound Event Localization and Detection
한국어 초록
본 보고서는 사전학습된 범용 오디오 태깅(GP-AT) 모델을 공간적으로 그라운딩된 음원 이벤트 위치 추정 및 탐지(SELD)로 확장하는 방안을 조사한다. 제안된 AT2SELD 프레임워크는 사전학습된 AT 백본과 컴팩트한 1차 안비소닉(FOA) 공간 처리, 트랙별 SED 및 Cartesian DOA 추정, 순열 인식(permutation-aware) 감독, 그리고 보정(calibration)을 결합한다. 이는 데이터, 연산, 배포 제약 하에서 의미적 오디오 사전지식(priors)이 위치 인식 장면 분석을 어떻게 지원하는지 특성화한다. 이 프레임워크는 정보 기반 다단계 신경망 구조 탐색(NAS)을 통해 개발된다. 1단계에서는 크기(magnitude), 위상(phase), Intensity Vectors(IVs)에 기반한 스펙트럴 FOA 기술자(descriptor)가 의미-공간 전이를 위한 가장 신뢰할 수 있는 인터페이스를 제공함을 보인다. 2단계는 초기 잔차(residual) 공간 인코딩을 주요 용량(capacity) 민감 구성 요소로 식별하며, 후기 트랙별 추상화와 순환(recurrent) 스무딩은 주로 정제(refinement) 단계로 작용한다. 3단계는 후기 cross-stitch 결합이 의미-공간 상호작용을 개선하는 반면, 초기 융합은 비용이 더 크고 효과가 낮음을 보인다. 진단 평가는 클래스 균형화, focal loss, 활동 조건(activity-conditioned) DOA 감독, 임계값 보정, 그리고 STARSS23, TAU2019, TAU-NIGENS2020, TAU-NIGENS2021에 걸친 전이 하에서 선택된 아키텍처를 분석한다. Focal loss는 활동 점(activity point)을 개선하고, 활성(active-only) DOA 감독은 비활성 타깃 지배(inactive target dominance)를 완화하며, 검증으로 선택된 임계값은 공간 학습을 대체하지 않고 보정을 회복한다. 크로스 데이터셋 및 오라클 활동(oracle-activity) 분석은 TAU2019에서 강한 고정 음원 위치 추정, TAU NIGENS2021로부터의 전이 가능한 표현, STARSS23에서의 의미 있지만 불확실한 동작을 나타낸다. 전반적으로 GP-AT 사전지식은 공간 인식(spatial-aware) 아키텍처에 내재되고 통합 보정 및 배포 지향 전략을 통해 최적화될 때 SELD 설계에 유망해 보인다.
원문 초록
This report investigates the extension of pretrained General-Purpose Audio Tagging (GP-AT) models toward spatially grounded Sound Event Localization and Detection (SELD). The proposed AT2SELD framework couples a pretrained AT backbone with compact First-Order Ambisonics (FOA) spatial processing, track-wise SED and Cartesian DOA estimation, permutation aware supervision, and calibration. It characterizes how semantic audio priors support localization-aware scene analysis under data, computation, and deployment constraints. The framework is developed through informed multi-stage Neural Architecture Search (NAS). Stage 1 shows that spectral FOA descriptors, based on magnitude, phase, and Intensity Vectors (IVs), provide the most reliable interface for semantic-to-spatial transfer. Stage 2 identifies early residual spatial encoding as the main capacity-sensitive component, while late track-wise abstraction and recurrent smoothing act mainly as refinement stages. Stage 3 shows that late cross-stitch coupling improves semantic-spatial interaction, whereas early fusion is costlier and less effective. Diagnostic evaluation analyzes the selected architecture under class balancing, focal loss, activity-conditioned DOA supervision, threshold calibration, and transfer across STARSS23, TAU2019, TAU-NIGENS2020, and TAU-NIGENS2021. Focal loss improves the activity point, active-only DOA supervision mitigates inactive target dominance, and validation-selected thresholds recover calibration without replacing spatial learning. Cross-dataset and oracle-activity analyses indicate strong fixed source localization on TAU2019, transferable representations from TAU NIGENS2021, and meaningful but uncertain behavior on STARSS23. Overall, GP-AT priors appear promising for SELD design when embedded in spatial-aware architectures and optimized through integrated calibration and deployment oriented strategies.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.27751v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시선 고정 소셜 넷: 공동 모델링을 통한 암묵적 관계 해독
Gaze-Anchored Social Net: Decoding Implicit Relations via Joint Modeling
인간의 시선은 시각적 대상을 가리키는 것 이상의 역할을 하며, 정적 이미지 내에서 사회적 의도의 미묘한 지표로 작용한다. 반면 표준 모델은 일반적으로 개인을 독립적으로 처리하며, 시선을 i.i.d. 양으로 취급하거나 사회적 의미를 고립된 상태에서 예측한다. 최근 다인(multi-person) 방법들이 이를 해결하려 시도하지만, 사회적 관계를 시선 추정 과정과 분리된 경직된 사후(post-hoc) 분류로 취급하는 경우가 많다. 이러한 과단순화는 사회적 의도의 미묘한 특성을 포착하지 못한다. 사회적 의도는 부차적인 범주형 출력이 아니라 시선 행동의 근본적 동인으로 작용하기 때문이다. 우리는 이러한 한계를 해결하기 위해 ANCHOR를 제안한다. 시각적 어텐션과 잠재적 암묵적 관계의 공동 분포를 모델링함으로써 시선 고정(gaze-anchored) 사회적 의도를 해독하도록 설계된 대상 중심(target-centric) 패러다임이다. 우리 접근법은 이러한 의존성을 시선 행동의 잠재적 구조적 골격으로 드러낸다. 아키텍처는 관계형 어텐션 메커니즘을 활용하여 세밀한 대인관계 연결을 포착하고, 단일 비전 백본에서 효율적인 다인 파싱을 위해 특징(feature)별 변조를 활용한다. 이 결합된 공식화의 학습을 안정화하기 위해, 공간적 시선 정확도와 잠재적 사회적 추론 간의 고유한 충돌을 해결하는 최적화 시너지를 구현한다. 이 접근법은 경쟁하는 태스크 그래디언트를 조화시키면서 안정적이고 평평한(flat) 최솟값을 추구함으로써 견고한 일반화를 보장한다. 우리는 밀집 다인 주석과 새로운 사회적 영향력 순위를 포함하는 확장된 벤치마크에서 프레임워크를 검증한다. 결과는 최신(state-of-the-art) 성능을 보여주며, 암묵적 사회적 위계가 정적 시선 패턴으로부터 직접 견고하게 분리(disentangle)되어 학습될 수 있음을 보여주는 최초의 정량적 증거를 제공한다.
SimBEV2X: 다중 과제 차량-만물(V2X) 협력 인식을 위한 대규모 데이터셋 및 데이터 생성 도구
SimBEV2X: A Large-Scale Dataset and Data Generation Tool for Multi-Task Vehicle-to-Everything Cooperative Perception
차량-만물(V2X) 통신을 통한 협력 인식은 가림(occlusion) 및 제한된 센서 범위와 같은 개별 자율주행 차량의 고유한 물리적 한계를 극복할 수 있다. 그러나 견고한 V2X 알고리즘, 특히 조감도(bird's-eye view, BEV) 표현과 같은 통합 공간 표현에 의존하는 알고리즘의 개발은 대규모, 다중 모달, 다중 과제 데이터셋의 부재로 인해 저해되고 있다. 또한 동기화된 실세계 다중 에이전트 데이터를 대규모로 수집하고 주석하는 것은 비용이 지나치게 높다. 이로 인해 기존 V2X 데이터셋은 규모와 범위 모두에서 현저히 제한적인 상황이 발생했다. 이를 극복하기 위해 CARLA 시뮬레이터 기반의 고급 합성 데이터 생성 도구인 SimBEV2X를 제안한다. SimBEV2X는 무작위 운전 시나리오를 자동으로 생성하여, 차량과 RSU(roadside unit) 모두로부터 고유 추적 ID가 부여된 3D 바운딩 박스, HD 맵 정보, BEV 분할(segmentation) 맵, 의미론적 점유(occupancy) 복셀 그리드 등 다양한 유형의 ground truth와 함께 다중 모달 센서 데이터를 수집한다. 또한 현재까지 최대 규모의 V2X 인식 데이터셋인 SimBEV2X 데이터셋을 공개한다. 이 데이터셋은 다양한 도로 네트워크에 걸쳐 최대 8대의 연결된 차량과 최대 4개의 RSU가 포함된 258개의 장면으로 구성된다. SimBEV2X 데이터셋은 기존 V2X 데이터셋보다 한 자릿수 더 크며, 102,200개의 프레임, 588,520개의 LiDAR 포인트 클라우드, 300만 개 이상의 이미지, 2,700만 개 이상의 바운딩 박스, 그리고 포괄적인 기타 주석을 포함한다. 마지막으로 CoopDet3D를 사용하여 SimBEV2X 데이터셋에 대한 강력한 기준선을 수립하고, 문맥 인식 다중 에이전트 특징 집계를 위해 CoopDet3D와 융합 축 어텐션(fused axial attention, FAX)을 결합한 새로운 아키텍처인 CoBEVFusion을 제안하여 우수한 성능을 달성한다. SimBEV2X, SimBEV2X 데이터셋, CoBEVFusion은 https://simbev2x.org 및 https://github.com/GoodarzMehr/SimBEV2X에서 이용할 수 있다.
시차 및 표면 법선을 위한 통합 스테레오 기하 추정 프레임워크
A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal
스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/
분리된 데이터 기반 통합 비디오 밀집 예측
Unified Video Dense Prediction from Disjoint Data
장면 이해는 기하학, 외관, 의미론에 대한 동시 예측을 요구한다. 그러나 기존 태스크별 주석은 호환되지 않는 도메인별 데이터셋에 걸쳐 파편화되어 있다. 현재의 통합 시스템은 완전 공동 주석 데이터로만 학습을 제한하거나, 의사 라벨링(pseudo-labeling)의 큰 계산 비용을 감수함으로써 이를 우회한다. 이를 완화하기 위해, 우리는 깊이, 표면 법선, 의미 분할, 경계, 인체 부위, 알베도, 셰이딩, 재질이라는 여덟 가지 밀집 장면 속성을 분리된 도메인별 데이터셋에서 공동으로 예측하는 통합 비디오 모델 UniD를 제안한다. 우리는 태스크별 전문가가 경량 태스크 프로젝터를 통해 통합 백본을 지도하는 간단하면서도 효과적인 지식 증류(distillation) 단계를 제안하며, 이를 통해 주석 중복이나 의사 라벨링이 필요 없게 한다. 우리의 핵심 통찰은 사전학습된 diffusion 모델의 강력한 시각적 사전 지식(prior)이 분리된 학습 소스로 인해 발생하는 도메인 간격을 메우기에 충분하여, 학습 중 한 번도 보지 못한 장면-태스크 조합에 대한 강건한 일반화를 가능하게 한다는 것이다. UniD는 태스크별 전문가 및 멀티태스크 기준선 대비 경쟁력 있는 성능을 달성하며, 분포 외(out-of-distribution) 시나리오에 대한 강한 일반화와 향상된 시간적 및 교차 태스크 일관성을 보인다. 코드와 비디오 결과는 https://unid-video.github.io/ 에서 확인할 수 있다.
Uni-DVPS: Unified Model for Depth-Aware Video Panoptic Segmentation
건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링
Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking
협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.