PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15956v1cs.AI

ADAPT: 소등된 산업 환경 내 내비게이션을 위한 전이 인식 보상 기반 오디오-깊이 행동 계획

ADAPT: Audio-Depth Action Planning with Transition-Aware Rewards for Lights-Out Industrial Navigation

체화된 내비게이션(embodied navigation)을 위한 비전-언어-행동(vision-language-action) 모델은 일반적으로 RGB 관측에 의존하므로, 가시광 조명을 사용할 수 없는 소등된(lights-out) 산업 환경에서는 적용 가능성이 제한됩니다. 본 연구에서는 목표 위치 파악을 위한 공간 오디오(spatial audio)와 장애물 인식 기하학을 위한 깊이(depth) 정보를 활용하여 조명 독립적인 내비게이션을 연구합니다. 이러한 설정을 지원하기 위해 24개의 산업 환경 장면과 점진적으로 까다로워지는 4가지 음향 조건을 갖춘 벤치마크인 DarkNav-Bench를 도입합니다. 나아가 공간 오디오 인지 기능을 갖추고 강화학습(RL)을 통해 폐루프(closed-loop) 내비게이션에 최적화된 오디오-깊이 행동 계획 프레임워크인 ADAPT를 제안합니다. 주요 강화학습 기여인 전이 인식 보상 셰이핑(TARS)은 위치-방향 그래프 상에서 자세 인식 최단 행동 잠재량(pose-aware shortest-action potential)을 정의합니다. 기존의 측지선 진행 보상과 달리, TARS는 실행 가능한 이동과 제자리 회전을 모두 고려하여 정책 최적화를 위한 행동 일관적 피드백을 제공합니다. 실험 결과, ADAPT는 학습 기반 내비게이션 베이스라인과 제로샷 멀티모달 모델 모두를 상대로 확인된 장면과 확인되지 않은 장면 전반에서 일관되게 우수한 성능을 보였습니다. 확인되지 않은 환경에서 본 모델은 Clean 조건 하에 90.6%의 성공률을 달성했으며, 가장 까다로운 Localized Noise 설정에서도 60.0%의 성공률을 유지했습니다. 이러한 결과는 소등된 산업 환경에서 신뢰할 수 있는 RGB-free 내비게이션을 구현하는 데 있어 공간 오디오와 깊이가 상호 보완적인 양식(modality)으로서 지닌 잠재력을 입증합니다.

arXiv:2609.38748v2cs.CV

스테레오로 세상 듣기: 몰입형 비디오-오디오 동시 생성을 위한 동적 공간 대응 학습

Hear the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

최근의 비디오-오디오 동시 생성 모델들은 강력한 의미론적 대응과 시간적 동기화를 달성했습니다. 그러나 AR/VR 및 인터랙티브 게이밍과 같은 응용 분야에서는 몰입감을 제공하기 위해 스테레오 오디오가 추가로 요구되며, 이는 여전히 대체로 간과되고 있습니다. 효과적인 스테레오 오디오는 인지되는 음향 위치가 그에 대응하는 시각적 음원의 움직임과 일관되게 변화해야 합니다. 저자들은 이러한 특성을 동적 공간 대응(Dynamic Spatial Correspondence)이라 칭하며, 시각적 음원 움직임을 스테레오 음향 생성에 결합하는 프레임워크인 StereoBind를 제안합니다. StereoBind는 세 가지 상호보완적 메커니즘을 통해 모션 트랙을 활용하여 시각적 움직임과 스테레오 오디오를 조율합니다. 시각적 모션 바인딩(Visual Motion Binding)은 음원 인식 시청각 대응을 확립하고, 공간 트랙 인코더(Spatial Track Encoder)는 절대적인 음원 위치를 포착하며, 잔차 트랙 RoPE(Residual Track RoPE)는 상대적 움직임을 모델링합니다. 지도 학습 및 평가를 위해 모션 트랙이 쌍으로 구성된 대규모 스테레오 오디오-비디오 데이터셋인 StereoWorld-29K와 시청각 공간 일관성을 측정하기 위한 StereoWorldBench를 구축합니다. 실험 결과, StereoBind는 전반적인 시청각 품질을 유지하면서 기존 모델 대비 스테레오 오디오 생성의 공간적 정렬(spatial alignment)을 대폭 개선함을 보여줍니다.

arXiv:2609.23407v1cs.SD

OmniEcho: 체화된 에이전트를 위한 공간 오디오 이해

OmniEcho: Spatial Audio Understanding for Embodied Agents

인간은 음원의 방향을 손쉽게 위치 파악(localization)하고 이를 시각적 단서와 통합하여 추론할 수 있지만, 이는 체화된 에이전트(embodied agent)에게 여전히 어려운 과제입니다. 특히 체화된 환경에서 공간 오디오 이해를 효과적으로 평가하고 모델링하는 방법은 여전히 불분명합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 공간 시청각 인지 및 오디오-비전-언어 내비게이션을 위한 통합 벤치마크인 \textbf{OmniEchoBench}를 소개합니다. OmniEchoBench는 30개의 실제 환경에서 수집된 1차 앰비소닉스(FOA) 오디오를 포함하여 197개의 실제 공간 시청각 장면, 2,972개의 질의응답 쌍, 900개의 내비게이션 샘플에 걸친 6개 작업으로 구성됩니다. 확장 가능한 학습(training) 감독을 가능하게 하기 위해 음원, 시각적 관측, 에이전트 궤적 간의 기하학적 일관성을 보존하는 공간 오디오용 제어 가능한 렌더링 파이프라인을 개발합니다. 이를 기반으로 공간을 인지하는 옴니 모달 모델(omni-modal model)인 \textbf{OmniEcho}를 제안합니다. 이는 사전학습(pre-training)된 시맨틱 오디오 경로와 함께 FOA 공간 인코더를 도입합니다. 광범위한 실험을 통해 OmniEcho가 공간 시청각 인지에서 최고 수준의 성능(SOTA)을 달성함을 보여줍니다. 소리 유도 내비게이션의 경우 OmniEcho는 기존 비전-언어 내비게이션에 근접한 성능 수준에 도달합니다. 이러한 결과는 공간 오디오가 체화된 장면 추론 및 내비게이션에 귀중한 신호 역할을 할 수 있음을 입증하는 동시에, 세밀한 공간적 위치 파악 및 거리 추정이 중요한 미해결 과제임을 강조합니다.

arXiv:2609.23797v1cs.GR

MoSAT: 공간 오디오와 텍스트 설명으로부터의 인간 동작 생성

MoSAT: Human Motion Generation from Spatial Audio and Textual Description

인간의 동작(motion)은 외부의 음향 사건(acoustic event)과 행동 의도(behavioral intent) 모두에 의해 형성된다: 공간 오디오(spatial audio)는 반응을 유발하거나 안내하는 환경적 단서를 전달하며, 텍스트는 원하는 행동과 그것이 수행되어야 하는 방식을 명시한다. 본 논문에서는 공간 오디오와 자연어에 공동으로 조건화된 인간 동작 합성이라는 새로운 과제를 연구하며, 이는 기존 연구에서 크게 간과되어 온 문제이다. 이 과제를 뒷받침하기 위해, 우리는 공간 오디오와 상세한 텍스트 주석이 짝지어진 동작 시퀀스로 구성된 데이터셋(dataset)인 STAM을 소개하며, 이 텍스트 주석의 풍부한 어휘는 인간 동작을 정밀하고 세밀하게 명시할 수 있게 한다. 나아가 우리는 자연어로 표현된 의도와 방향성을 가진 공간 오디오 단서에 공동으로 조건화된 전신 동작 생성을 위한 잠재 흐름 매칭(latent flow-matching) 프레임워크인 MoSAT을 소개하며, 이는 동작을 생성하기 전에 계층적 교차 어텐션(hierarchical cross-attention)을 거친다. 이러한 계층적 설계는 시간적으로 일관되고 의미적으로 정렬된 동작 시퀀스를 향상시킨다. 우리는 또한 이 새로운 과제에 대한 종합적인 평가를 위해 삼중 모달(tri-modal) 평가자를 개발한다. 광범위한 실험을 통해 MoSAT이 공간 오디오의 본질적인 동작 형성 특성과 텍스트 의미를 함께 활용함으로써 SOTA 성능을 달성하며, 다양한 시나리오에서 정밀하고 다양한 동작을 가능하게 함을 보인다.

arXiv:2606.27751v1cs.SD

범용 오디오 태깅에서 공간적 그라운딩 기반 음원 이벤트 위치 추정 및 탐지로

From General-Purpose Audio Tagging to Spatially Grounded Sound Event Localization and Detection

본 보고서는 사전학습된 범용 오디오 태깅(GP-AT) 모델을 공간적으로 그라운딩된 음원 이벤트 위치 추정 및 탐지(SELD)로 확장하는 방안을 조사한다. 제안된 AT2SELD 프레임워크는 사전학습된 AT 백본과 컴팩트한 1차 안비소닉(FOA) 공간 처리, 트랙별 SED 및 Cartesian DOA 추정, 순열 인식(permutation-aware) 감독, 그리고 보정(calibration)을 결합한다. 이는 데이터, 연산, 배포 제약 하에서 의미적 오디오 사전지식(priors)이 위치 인식 장면 분석을 어떻게 지원하는지 특성화한다. 이 프레임워크는 정보 기반 다단계 신경망 구조 탐색(NAS)을 통해 개발된다. 1단계에서는 크기(magnitude), 위상(phase), Intensity Vectors(IVs)에 기반한 스펙트럴 FOA 기술자(descriptor)가 의미-공간 전이를 위한 가장 신뢰할 수 있는 인터페이스를 제공함을 보인다. 2단계는 초기 잔차(residual) 공간 인코딩을 주요 용량(capacity) 민감 구성 요소로 식별하며, 후기 트랙별 추상화와 순환(recurrent) 스무딩은 주로 정제(refinement) 단계로 작용한다. 3단계는 후기 cross-stitch 결합이 의미-공간 상호작용을 개선하는 반면, 초기 융합은 비용이 더 크고 효과가 낮음을 보인다. 진단 평가는 클래스 균형화, focal loss, 활동 조건(activity-conditioned) DOA 감독, 임계값 보정, 그리고 STARSS23, TAU2019, TAU-NIGENS2020, TAU-NIGENS2021에 걸친 전이 하에서 선택된 아키텍처를 분석한다. Focal loss는 활동 점(activity point)을 개선하고, 활성(active-only) DOA 감독은 비활성 타깃 지배(inactive target dominance)를 완화하며, 검증으로 선택된 임계값은 공간 학습을 대체하지 않고 보정을 회복한다. 크로스 데이터셋 및 오라클 활동(oracle-activity) 분석은 TAU2019에서 강한 고정 음원 위치 추정, TAU NIGENS2021로부터의 전이 가능한 표현, STARSS23에서의 의미 있지만 불확실한 동작을 나타낸다. 전반적으로 GP-AT 사전지식은 공간 인식(spatial-aware) 아키텍처에 내재되고 통합 보정 및 배포 지향 전략을 통해 최적화될 때 SELD 설계에 유망해 보인다.