Efficient Human Pose Estimation by Learning Deeply Aggregated Representations
원문 초록
In this paper, we propose an efficient human pose estimation network (DANet) by learning deeply aggregated representations. Most existing models explore multi-scale information mainly from features with different spatial sizes. Powerful multi-scale representations usually rely on the cascaded pyramid framework. This framework largely boosts the performance but in the meanwhile makes networks very deep and complex. Instead, we focus on exploiting multi-scale information from layers with different receptive-field sizes and then making full of use this information by improving the fusion method. Specifically, we propose an orthogonal attention block (OAB) and a second-order fusion unit (SFU). The OAB learns multi-scale information from different layers and enhances them by encouraging them to be diverse. The SFU adaptively selects and fuses diverse multi-scale information and suppress the redundant ones. This could maximize the effective information in final fused representations. With the help of OAB and SFU, our single pyramid network may be able to generate deeply aggregated representations that contain even richer multi-scale information and have a larger representing capacity than that of cascaded networks. Thus, our networks could achieve comparable or even better accuracy with much smaller model complexity. Specifically, our \mbox{DANet-72} achieves $70.5$ in AP score on COCO test-dev set with only $1.0G$ FLOPs. Its speed on a CPU platform achieves $58$ Persons-Per-Second~(PPS).
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
G6D: 로봇 조작을 위한 기하학 기반 학습 불필요 RGB-D 6D 자세 솔버
G6D: Geometric Learning-Free RGB-D 6D Pose Solver for Robotic Manipulation
6D 객체 자세 추정은 로봇 조작 및 자동화의 기초이다. 최근 제로샷(zero-shot) 방법은 보지 못한 객체에 대한 일반화를 크게 개선했지만, 대부분은 여전히 상당한 GPU 연산 및 메모리 요구가 따르는 대규모 사전학습(pre-training) 모델에 의존한다. 이러한 요구사항은 인식, 계획, 제어가 제한된 연산 자원을 공유하는 로봇 플랫폼에서의 배포를 복잡하게 하며, 학습된 중간 표현은 과제별 적응을 위한 기하학적 해석 가능성을 제한적으로만 제공한다. 이러한 한계를 해소하기 위해 학습 불필요·기하학 주도 RGB-D 6D 자세 솔버인 G6D를 제안한다. RGB-D 관측, 객체 인스턴스 마스크, 카메라 내부 파라미터, CAD 모델이 주어지면 G6D는 템플릿 기반 기하학적 매칭으로 자세 가설을 생성하고 실루엣 및 �depth 일관성을 이용해 이를 정제하여 순수 기하학 주도 자세 추정 패러다임을 형성한다. 이 패러다임은 사전학습된 시각 모델도, 대상별 학습도 필요로 하지 않으며, 자세 추정 전 과정에서 해석 가능한 기하학적 표현을 유지한다. 더욱이 조절 가능한 가설 개수는 유연한 정확도-연산 trade-off를 제공하며, CPU 전용 구성은 GPU 자원 없이도 배포를 지원한다. LineMOD 및 BOP19 데이터셋 다섯 개에 대한 실험은 우수한 성능을 보여준다. 실세계 pick-and-place 실험은 로봇 조작에 대한 G6D의 적용 가능성을 추가로 보여준다. 전체 프로젝트는 https://ai4control.github.io/G6D-Project-Page 에서 공개되어 있다.
이중 나선 액티브 지오메트리: 선택적 기권을 통한 LiDAR 앵커 기반 다중 뷰 깊이 추정
Double-Helix Active Geometry: LiDAR-Anchored Multi-View Depth with Selective Abstention
최근 아이폰에 탑재된 LiDAR 스캐너와 같은 소비자용 깊이 센서는 미터 단위의 거리를 제공하지만, 유효 범위가 짧고 반환 포인트가 희소하다. 우리는 DH-Active를 제시한다. 이는 경량의 학습 불필요(training-free) 지오메트리 백엔드로, 센서를 깊이의 유일한 소스가 아닌 미터 기준자(metric ruler)로 취급한다. 근거리 반환값은 PnP를 통해 두 뷰의 미터 단위 상대 포즈를 고정(anchor)하고, 유효한 깊이 반환값이 없는 시각적으로 추적 가능한 샘플은 해당 포즈 하에서 삼각측량된다. 시차/재투영 게이트(parallax/reprojection gate)는 지오메트리가 불량하게 조건화된 곳에서 추정을 강제하는 대신 명시적 홀(hole)과 선택적 점수를 남기며 기권(abstain)한다. 나선형 샘플링, 희소 역투영, 홀 분류체계를 포함하되 전처리 및 다중 뷰 복원을 제외한 핵심 프론트엔드는 CPU에서 중앙값 지연 시간 1.11ms로 동작하며(OpenCV, 14스레드 사용), 이는 우리의 타이밍 환경에서 GPU 기반 DINOv2-L 시각 브랜치보다 약 38배 빠르다. 두 개의 아이폰 캡처와 공개 벤치마크인 TUM RGB-D 및 ARKitScenes 전반에 걸쳐, 홀드아웃 깊이는 중앙값 상대 오차 1.4~6.7%로 복원된다. 2m 이내 반환값만을 스케일 설정에 사용하고 독립적인 레이저 스캔을 정답으로 사용하는 통제된 ARKitScenes 프로토콜에서, DH-Active는 평가 가능한 원거리 후보에 대해 씬 중앙값 기준 13.4% 상대 오차로 64.2%의 씬 중앙값 커버리지를 달성한다; 장치 궤적에서의 직접 삼각측량은 사용 불가 수준이다. 또한 우리는 테스트에서 실패한 대안들도 보고한다: 단일 프레임 초점 흐림(defocus), 고전적 포커스 스택 깊이, 초점 흐림-LiDAR 융합, 양호한 시각-관성 궤적 위의 점대점 ICP, 그리고 홀에 대한 어텐션 재샘플링. 12.6억 파라미터 학습 모델은 오라클 스케일 정렬 후 더 높은 정확도를 유지한다. 본 연구의 기여는 보다 한정적이다: 미터 단위 희소 깊이, 명시적 기권, 학습된 파라미터 없음, 그리고 밀리초 수준의 CPU 비용.
RGB-D 영상 및 3차 스플라인 호장 적분을 이용한 곡률 인지 온실 오이 3D 길이 추정
Curvature-aware 3D length estimation of greenhouse cucumbers using RGB-D imaging and cubic spline arc-length integration
상업용 온실 오이 생산은 과실 길이로 등급이 매겨지며, 이는 수확 일정, 노동 배치, 물류를 좌우한다. 실이나 캘리퍼를 이용한 수동 측정은 정확하지만 상업적 규모에서는 불가능하다. 본 논문은 Intel RealSense D435 RGB-D 카메라를 사용하는 비접촉 길이 추정 프레임워크 CucumberVision을 제시한다. YOLO26n 인스턴스 분할 모델이 오이를 검출하고, SAM(ViT-B 백본)이 각 검출을 픽셀 단위 정밀 마스크로 정제한다. 동일 조건에서 다섯 가지 방법을 평가한다: (M1) 주축 지배 골격 스캔라인 기준선; (M2) 바운딩 박스 깊이 포인트 클라우드에 대한 PCA; (M3) SAM 마스크와 중심축(medial-axis) 골격화; (M4) YOLO26-pose 모델로 5개의 해부학적 랜드마크(KP0--KP4)를 예측하고 구간별 3D 호장을 사용하는 하이브리드 키포인트 유도 접근; (M5) SAM 마스크의 3D 중심축을 따라 3차 스플라인을 맞추고 사다리꼴 적분으로 호장을 계산하는 새로운 medial arc spline 방법 — 긴 형태 채소 측정에 이러한 방식을 적용한 최초 사례. 모든 방법은 5프레임 버스트 깊이 평균, 컬러 스트림 내부 파라미터(intrinsic) 정렬, 계단식 폴백을 갖춘 적응형 방법 선택을 공유하여 100% 커버리지를 보장한다. 48회 촬영, 7개 오이, 3가지 크기 카테고리(소형 ~8 cm, 중형 ~13 cm, 대형 ~25 cm)에 대한 실 기반 정답(ground truth) 벤치마크는 유의한 정확도 위계를 보인다: M1(MAPE 9.68%) > M2(5.31%) > M4(5.51%) > M3(5.82%) > M5(4.13%). M5는 Bonferroni 보정 alpha=0.0125에서 모든 경쟁 방법을 유의하게 능가한다. 부가 기여로, rs.align(rs.stream.color) 이후 컬러 스트림이 아닌 깊이 스트림 내부 파라미터를 사용할 때 12--18% 길이 저과소평가가 발생한다는 점을 밝혔다 — 보고가 잘 되지 않는 오류 원천이다. 전체 시스템은 오픈 소스로 공개되었으며 단일 소비자급 GPU에서 실시간으로 동작한다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅
TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.