원문 초록
End-to-end deep learning has achieved impressive results but often relies on large labeled datasets, exhibits limited generalization to unseen scenarios, and incurs substantial computational cost. Classical optimization methods, in contrast, are more data-efficient and lightweight but frequently suffer from slow convergence. Learned optimizers aim to bridge this gap, yet existing approaches have focused primarily on first-order methods, while learned second-order optimization has received much less attention. We introduce L-SR1, a learned second-order optimizer inspired by the classical Symmetric Rank-One (SR1) method. At its core, L-SR1 employs a Projection-Guided Secant Mechanism (PGSM) that generates positive semi-definite preconditioners and biases meta-training toward the quasi-Newton secant relation. Through controlled analytic benchmarks, we study stability, generalization across problem dimensions, and search direction quality, and further evaluate L-SR1 on Monocular Human Mesh Recovery (HMR), where it outperforms both classical and learned optimization-based baselines. With a compact model and no reliance on task-specific fine-tuning or annotated data, L-SR1 demonstrates strong generalization and can be integrated into a broad range of iterative optimization problems to accelerate convergence and reduce the required number of iterations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2508.12270v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
3D 모델링을 위한 측지선 그로모프-바서슈타인 거리의 활용
Unlocking Geodesic Gromov-Wasserstein Distances for 3D Modeling
그로모프-바서슈타인 거리(Gromov-Wasserstein Distances, GWD)는 최적 수송(optimal transport) 이론의 기법을 적용하여 서로 다른 거리 공간(metric space)에 정의된 확률 분포를 비교하는 정량적 방법을 제공합니다. 이에 따라 GWD는 그래프 매칭 문제부터 3D 객체 검출(object detection)에 이르기까지 매우 다양한 응용 분야에서 잠재적으로 유용할 수 있습니다. 그러나 대규모 환경에서의 실제 사용은 조밀한 공간 내 거리 행렬을 포함하는 삼차 시간 복잡도(cubic time complexity) 연산으로 인해 크게 제한됩니다. 유클리드 거리 공간에서는 이를 해결하기 위해 확장 가능한 커널(kernel) 방법 등을 포함한 여러 기법이 제안되었으나, 우리가 아는 한 다양체(manifold) 상의 일반적인 측지선 거리(geodesic distance)나 이산화된 형태의 그래프 상 최단 경로 거리에 대한 유사한 기법은 개발되지 않았습니다. 본 논문에서는 최근 도입된 GenusSink 기법과 랜덤 피처(random feature) 이론을 활용하여 엔트로피 싱크혼(Sinkhorn) 유사 접근법으로 측지선 그로모프-바서슈타인 거리를 계산하도록 설계된 새로운 효율적 알고리즘 군인 EGGroW(Efficient Geodesic Gromov-Wasserstein methods)를 제시합니다. 우리는 중요한 다운스트림 응용 분야로서 3D 자세 추정(pose estimation)과 3D 템플릿 검출을 제시합니다. 후자의 설정에서는 부분적인 3D 템플릿 복원을 단계별 문제로 정식화하여, 용량 제한적 장면 선택 후 템플릿 가시성 및 대응 관계의 준이완(semi-relaxed) 복원이 이어지도록 합니다. 실증적 결과는 표준 유클리드 기반 기법이 실패하는 경우에도 EGGroW가 정확한 해를 제공하며, 이론적 분석이 예측하듯이 가벼운 계산량 발자국(computational footprint)을 특징으로 함을 보여줍니다.
HexVIO: 상용 DSP를 활용한 하루 종일 지속 가능한 스테레오-관성 트래킹을 향하여
HexVIO: Towards All-Day Stereo-Inertial Tracking Through Commodity DSPs
기기가 주변 환경 내에서 스스로의 위치를 파악(localize)하는 능력은 공간 컴퓨팅(spatial computing)을 위한 필수적인 전제 조건입니다. 시각-관성 주행 거리 측정(VIO, Visual-inertial odometry)은 이 작업에 있어 비용 효율적이면서도 정확한 해결책임이 입증되었습니다. 효율적인 VIO 구현은 발열이 적고 더 가벼우며 저렴한 기기를 가능하게 하고 배터리 수명을 늘리며 사용자 경험을 향상시킬 수 있으므로 로봇, 웨어러블, XR 기기, 드론 등에서 큰 이점을 얻을 수 있습니다. 본 연구에서는 현대의 많은 스마트폰과 XR 기기에 탑재되어 있는 상용 코프로세서인 Hexagon DSP를 활용하여 VIO 시스템의 효율성을 향상시키는 방안을 제안합니다. 제안하는 접근법은 백엔드는 메인 CPU에 유지하면서 스테레오-관성 주행 거리 측정 시스템의 시각 프론트엔드를 DSP로 오프로드(offload)합니다. DSP 아키텍처에 맞게 구현을 최적화함으로써 CPU 단독 실행 대비 전력 소비와 지연 시간(latency)을 크게 줄였습니다. 본 연구의 시스템인 HexVIO는 상용 스마트폰에서 전력 소비를 67% 절감하거나 처리량(throughput)을 86% 증가시킬 수 있음을 입증하였으며, 0.83 W의 전력으로 실시간 30 fps 트래킹을 장시간 유지할 수 있어 테스트 기기 기준으로 약 18시간 동안 트래킹이 가능합니다. 이러한 결과는 로보틱스 및 모바일 기기에서 하루 종일 지속 가능한 시각-관성 트래킹을 구현하는 데 있어 상용 DSP의 잠재력을 잘 보여줍니다.
VASC: 효율적인 3D 재구성을 위한 교차 층 메모리 기반 값 인식 희소 어텐션
VASC: Value-Aware Sparse Attention with Cross-Layer Memory for Efficient 3D Reconstruction
VGGT와 같은 피드포워드 3D 비전 모델은 단일 패스로 카메라 추정과 조밀한 장면 재구성을 통합하며 괄목할 만한 진전을 이루었습니다. 그러나 이들의 2차 복잡도(quadratic) 전역 어텐션(attention)은 긴 이미지 시퀀스를 처리할 때 큰 비용을 초래하며, 기존 희소화 기법들은 어텐션 점수는 높지만 값(value) 측면에서는 중복적인 영역을 선호하는 경향이 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 값 인식 블록 선택과 실행 인식 교차 층(cross-layer) 메모리를 결합한 무학습(training-free) 희소 어텐션 기법인 VASC를 제안합니다. 제안하는 값 인식 블록 선택은 풀링된 쿼리-키(query-key) 관련성과 인접 값 대비(contrast)를 통합하여 쿼리 관련성이 높고 독특한 콘텐츠를 보존하면서도 중복성을 줄입니다. 교차 층 메모리는 층 전반에서 충족되지 않은 요구를 추적하고 실제 실행에 따라 이 상태를 업데이트하여, 이전에 제대로 처리되지 못한 블록들이 고정된 계산 예산 내에서 경쟁할 수 있도록 지원합니다. VGGT 및 $\pi^3$를 활용하여 7Scenes 및 NeuralRGB-D에서 진행한 실험에 따르면, FasterVGGT 대비 향상된 포즈 추정 및 재구성 품질을 보여주었으며, 조밀한(dense) VGGT 대비 최대 2.29배 빠른 추론(inference) 속도를 달성했습니다. 코드는 https://github.com/kosakayamahoo-design/VASC 에서 확인할 수 있습니다.
GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환
GTR: Gated Token Recurrence for Efficient Dense Prediction
셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
Implicit and Parametric Avatar Pose and Shape Estimation From a Single Frontal Image of a Clothed Human
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.