3D Equivariant Pose Regression via Direct Wigner-D Harmonics Prediction
원문 초록
Determining the 3D orientations of an object in an image, known as single-image pose estimation, is a crucial task in 3D vision applications. Existing methods typically learn 3D rotations parametrized in the spatial domain using Euler angles or quaternions, but these representations often introduce discontinuities and singularities. SO(3)-equivariant networks enable the structured capture of pose patterns with data-efficient learning, but the parametrizations in spatial domain are incompatible with their architecture, particularly spherical CNNs, which operate in the frequency domain to enhance computational efficiency. To overcome these issues, we propose a frequency-domain approach that directly predicts Wigner-D coefficients for 3D rotation regression, aligning with the operations of spherical CNNs. Our SO(3)-equivariant pose harmonics predictor overcomes the limitations of spatial parameterizations, ensuring consistent pose estimation under arbitrary rotations. Trained with a frequency-domain regression loss, our method achieves state-of-the-art results on benchmarks such as ModelNet10-SO(3) and PASCAL3D+, with significant improvements in accuracy, robustness, and data efficiency.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
BLOKS: 스케치된 블록 전처리를 통한 커널 솔버의 스케일링
BLOKS: Scaling Kernel Solvers with Sketched Block Preconditioning
커널 리지 회귀(Kernel Ridge Regression, KRR)는 비매개변수적 학습(nonparametric learning)을 위한 이론적으로 타당한 알고리즘이며, 심층 학습(deep learning)의 특성을 연구하는 데에도 자주 사용된다. 그러나 정확한(exact) KRR 수식은 대규모 데이터셋(dataset)에 적용할 수 없을 정도의 시간 및 메모리 비용을 발생시키며, 이는 근사 솔버(approximate solver) 개발의 동기가 되었다. 이러한 알고리즘들은 (i) 직접적인 해법의 계산 부담을 피하기 위한 반복적 방법(iterative method), (ii) 문제 크기를 줄이기 위한 스케칭(sketching) 또는 배치화(batching), (iii) 수렴(convergence)을 가속화하기 위한 전처리(preconditioning)에 의존한다. 빠른 수렴을 위해 필수적이지만, 전처리는 메모리 비용을 발생시키며, 이는 모델(model)의 자유 매개변수 수를 줄임으로써 관리할 수 있으나 그 대가로 표현력, 나아가 정확도가 저하될 수 있다. 이러한 문제를 해결하기 위해, 우리는 블록 자코비(Jacobi) 근사와 스케칭을 결합한 새로운 프리컨디셔너(preconditioner)를 중심으로 구축된, Nyström 방식으로 스케치된 KRR을 위한 컨주게이트 그래디언트(Conjugate Gradient) 기반 솔버인 BLOKS를 제안한다. BLOKS의 프리컨디셔너는 데이터셋 크기와 매개변수 수 모두와 무관한 메모리 비용을 가지므로, 대규모 모델로의 스케일링(scaling)이 가능하다. 우리는 메모리 효율적이고 GPU로 가속화된 구현을 제공하며, BLOKS가 우수한 시간/메모리 복잡도를 유지하면서도 뛰어난 정확도를 달성함을 보인다. 실제로, 커널 솔버를 벤치마킹(benchmark)하는 데 사용되는 표준 대규모 데이터셋에서 BLOKS는 최신(state-of-the-art) 기법들과 비교할 만하거나 그보다 더 나은 성능을 달성한다.
3D 모델링을 위한 측지선 그로모프-바서슈타인 거리의 활용
Unlocking Geodesic Gromov-Wasserstein Distances for 3D Modeling
그로모프-바서슈타인 거리(Gromov-Wasserstein Distances, GWD)는 최적 수송(optimal transport) 이론의 기법을 적용하여 서로 다른 거리 공간(metric space)에 정의된 확률 분포를 비교하는 정량적 방법을 제공합니다. 이에 따라 GWD는 그래프 매칭 문제부터 3D 객체 검출(object detection)에 이르기까지 매우 다양한 응용 분야에서 잠재적으로 유용할 수 있습니다. 그러나 대규모 환경에서의 실제 사용은 조밀한 공간 내 거리 행렬을 포함하는 삼차 시간 복잡도(cubic time complexity) 연산으로 인해 크게 제한됩니다. 유클리드 거리 공간에서는 이를 해결하기 위해 확장 가능한 커널(kernel) 방법 등을 포함한 여러 기법이 제안되었으나, 우리가 아는 한 다양체(manifold) 상의 일반적인 측지선 거리(geodesic distance)나 이산화된 형태의 그래프 상 최단 경로 거리에 대한 유사한 기법은 개발되지 않았습니다. 본 논문에서는 최근 도입된 GenusSink 기법과 랜덤 피처(random feature) 이론을 활용하여 엔트로피 싱크혼(Sinkhorn) 유사 접근법으로 측지선 그로모프-바서슈타인 거리를 계산하도록 설계된 새로운 효율적 알고리즘 군인 EGGroW(Efficient Geodesic Gromov-Wasserstein methods)를 제시합니다. 우리는 중요한 다운스트림 응용 분야로서 3D 자세 추정(pose estimation)과 3D 템플릿 검출을 제시합니다. 후자의 설정에서는 부분적인 3D 템플릿 복원을 단계별 문제로 정식화하여, 용량 제한적 장면 선택 후 템플릿 가시성 및 대응 관계의 준이완(semi-relaxed) 복원이 이어지도록 합니다. 실증적 결과는 표준 유클리드 기반 기법이 실패하는 경우에도 EGGroW가 정확한 해를 제공하며, 이론적 분석이 예측하듯이 가벼운 계산량 발자국(computational footprint)을 특징으로 함을 보여줍니다.
HexVIO: 상용 DSP를 활용한 하루 종일 지속 가능한 스테레오-관성 트래킹을 향하여
HexVIO: Towards All-Day Stereo-Inertial Tracking Through Commodity DSPs
기기가 주변 환경 내에서 스스로의 위치를 파악(localize)하는 능력은 공간 컴퓨팅(spatial computing)을 위한 필수적인 전제 조건입니다. 시각-관성 주행 거리 측정(VIO, Visual-inertial odometry)은 이 작업에 있어 비용 효율적이면서도 정확한 해결책임이 입증되었습니다. 효율적인 VIO 구현은 발열이 적고 더 가벼우며 저렴한 기기를 가능하게 하고 배터리 수명을 늘리며 사용자 경험을 향상시킬 수 있으므로 로봇, 웨어러블, XR 기기, 드론 등에서 큰 이점을 얻을 수 있습니다. 본 연구에서는 현대의 많은 스마트폰과 XR 기기에 탑재되어 있는 상용 코프로세서인 Hexagon DSP를 활용하여 VIO 시스템의 효율성을 향상시키는 방안을 제안합니다. 제안하는 접근법은 백엔드는 메인 CPU에 유지하면서 스테레오-관성 주행 거리 측정 시스템의 시각 프론트엔드를 DSP로 오프로드(offload)합니다. DSP 아키텍처에 맞게 구현을 최적화함으로써 CPU 단독 실행 대비 전력 소비와 지연 시간(latency)을 크게 줄였습니다. 본 연구의 시스템인 HexVIO는 상용 스마트폰에서 전력 소비를 67% 절감하거나 처리량(throughput)을 86% 증가시킬 수 있음을 입증하였으며, 0.83 W의 전력으로 실시간 30 fps 트래킹을 장시간 유지할 수 있어 테스트 기기 기준으로 약 18시간 동안 트래킹이 가능합니다. 이러한 결과는 로보틱스 및 모바일 기기에서 하루 종일 지속 가능한 시각-관성 트래킹을 구현하는 데 있어 상용 DSP의 잠재력을 잘 보여줍니다.
VASC: 효율적인 3D 재구성을 위한 교차 층 메모리 기반 값 인식 희소 어텐션
VASC: Value-Aware Sparse Attention with Cross-Layer Memory for Efficient 3D Reconstruction
VGGT와 같은 피드포워드 3D 비전 모델은 단일 패스로 카메라 추정과 조밀한 장면 재구성을 통합하며 괄목할 만한 진전을 이루었습니다. 그러나 이들의 2차 복잡도(quadratic) 전역 어텐션(attention)은 긴 이미지 시퀀스를 처리할 때 큰 비용을 초래하며, 기존 희소화 기법들은 어텐션 점수는 높지만 값(value) 측면에서는 중복적인 영역을 선호하는 경향이 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 값 인식 블록 선택과 실행 인식 교차 층(cross-layer) 메모리를 결합한 무학습(training-free) 희소 어텐션 기법인 VASC를 제안합니다. 제안하는 값 인식 블록 선택은 풀링된 쿼리-키(query-key) 관련성과 인접 값 대비(contrast)를 통합하여 쿼리 관련성이 높고 독특한 콘텐츠를 보존하면서도 중복성을 줄입니다. 교차 층 메모리는 층 전반에서 충족되지 않은 요구를 추적하고 실제 실행에 따라 이 상태를 업데이트하여, 이전에 제대로 처리되지 못한 블록들이 고정된 계산 예산 내에서 경쟁할 수 있도록 지원합니다. VGGT 및 $\pi^3$를 활용하여 7Scenes 및 NeuralRGB-D에서 진행한 실험에 따르면, FasterVGGT 대비 향상된 포즈 추정 및 재구성 품질을 보여주었으며, 조밀한(dense) VGGT 대비 최대 2.29배 빠른 추론(inference) 속도를 달성했습니다. 코드는 https://github.com/kosakayamahoo-design/VASC 에서 확인할 수 있습니다.
TinyUDE: 리-테일러 제트 매칭을 통한 마이크로컨트롤러 기반의 솔버 없는 범용 미분 방정식
TinyUDE: Solver-Free Universal Differential Equations on Microcontrollers via Lie-Taylor Jet Matching
범용 미분 방정식(UDE) 학습(training)은 전통적으로 수치적 ODE 솔버를 통한 역전파에 의존하므로, 엣지 마이크로컨트롤러의 성능을 크게 초과하는 메모리 사용량을 발생시킵니다. 본 논문에서는 관측된 시스템 상태의 1차 및 2차 시간 도함수(derivative)에 하이브리드 벡터장을 직접 피팅하는 솔버 없는(solver-free) 학습 프레임워크인 리-테일러 제트 매칭(Lie-Taylor jet matching)을 제시합니다. 절단된 리-테일러 제트(truncated Lie-Taylor jet)인 이러한 도함수는 사비츠키-골레이(Savitzky-Golay) 필터링을 통해 온디바이스에서 온라인으로 추정되며, 자동 미분 소프트웨어 없이도 완전한 해석적 그래디언트를 생성합니다. 본 연구는 동일한 동역학, 노이즈 모델, 네트워크 아키텍처 및 평가 지표를 공유하는 기존 기준선(baseline)(고정 스텝 RK4 적분, 다중 슈팅, 정확한 이산 수반 변수법, Adam)과 비교하여 솔버를 제거하는 것이 정확도를 저하시키는지 평가합니다. 단순한 도함수 매칭은 센서 노이즈 환경에서 성능이 저하되지만, 본 연구의 노이즈 적응형 메커니즘인 전비율 위상 천이 샘플링, 레저버 버퍼, 가중치(weight) 평균화를 적용한 코사인 어닐링 최적화(optimization), 온디바이스 노이즈 추정, 다항식 미스핏 품질 게이팅을 통해 이러한 격차를 해소하고 역전시킵니다. 감쇠 진자 및 혼돈 이중 진자 실험에서, 제안하는 방법은 동일한 데이터 윈도우에서 기준선 정확도와 일치하거나 이를 능가하며 모델링되지 않은 감쇠 계수를 복원합니다. 0%에서 5%까지의 노이즈 수준 전반에서, 수 메가바이트의 솔버 테이프와 비교해 108 kB의 정적 메모리 내에서 기준선의 0.65배에 해당하는 기하평균 상대 필드 오차를 달성합니다. ESP32 마이크로컨트롤러에서의 온디바이스 실행은 61.3 kB의 정적 메모리와 업데이트당 7.24 ms(25 Hz에서 18.1% 듀티 사이클) 내에서 0.0020의 필드 오차에 도달하고 감쇠 계수를 c = 0.400(실제값 0.400)으로 복원하여, 수치 솔버 없이도 실시간 온디바이스 학습이 실현 가능함을 입증합니다.
스크레이프오프 층(Scrape Off Layer) 플라즈마 시뮬레이션을 위한 확률적·기하 인지 신경망 대리 모델
Probabilistic and Geometry Aware Neural Surrogate of Scrape Off Layer Plasma Simulations
토카막 경계 플라즈마 시뮬레이션을 위한 고속 대리 모델(surrogate)은 일반적으로 전역 운전점(operating point)을 셀 값들의 평탄화된 벡터로 매핑하는 결정론적 회귀기이다. 디버터 탈부착(divertor detachment) 전이 근처에서는 정상 상태(steady state)가 단일 값으로 안정적으로 정해지지 않는다. 점 추정(point estimate)은 질적으로 서로 다른 플라즈마 상태들에 걸쳐 평균을 내야 하며, 신뢰도에 대한 어떠한 언급도 없이 결과를 내놓는다. 더욱이 평탄화된 벡터 표현은 SOLPS-ITER 메시의 기하학적 구조를 버린다. 본 연구는 이 두 가지 문제를 모두 다룬다. 우리는 곡선형(curvilinear) 메시를 셀 인접성을 보존하고 정확히 역변환되는 배치를 가진 세 개의 고정 크기 이미지 텐서로 펼쳐, 합성곱 신경망(convolutional network)이 정보 손실 없이 기하 구조 위에서 동작할 수 있도록 한다. 이후 민감도가 높은 시스템에 적합한 조건부 플로 매칭(conditional flow matching) 모델을 이 표현 위에서 학습한다. 그 결과 민감한 운전점에서도 여러 개의 그럴듯한 결과를 포착하는 효율적이고 확장 가능한 대리 모델을 얻는다. 가스 퍼프(gas-puff) 스캔을 따라, 예측 분포는 초기 레짐 전이(regime transition)를 지나면서 고온 모드와 저온 모드로 갈라진다. 크기가 알려진 분기(bifurcation)를 주입한 합성 데이터에 대한 추가 검증에서도, 모델이 두 분기의 평균이 아니라 두 분기를 각각 복원함을 확인한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.