arXiv:2607.00752v1 cs.CV

GKDT: 범용 키포인트 감지 트랜스포머

GKDT: General Keypoint Detection Transformer

Changsheng Lu, Yuxin Chen, Haokun Gui, Rong Wang, Jie Yang, Harry Yang, Anton van den Hengel, Jiaya Jia

제출 2026-07-01

한국어 초록

다양한 사전학습 비전 및 언어 모델의 등장으로, 컴퓨터 비전(CV)은 협소 도메인 인식에서 개방 도메인 인식으로 전환되고 있다. 다양한 태스크를 지원하는 더욱 강력하고 범용적인 키포인트 감지(GKD) 모델의 구축이 해당 분야에서 점점 더 중요해지고 있다. 이를 위해 우리는 먼저 MegaKPT라는 대규모 통합 키포인트 데이터셋을 제시한다. 이 데이터셋은 29개의 기존 데이터셋에서 수집된 130만 개 이상의 다양한 객체 인스턴스로 구성되며, 키포인트 텍스트 설명을 포함한 고품질 통합 어노테이션을 갖추고 있다. MegaKPT를 기반으로, 우리는 범용 키포인트 감지를 위한 단순하고 유연하며 강력한 DINOv3 기반 트랜스포머 모델인 GKDT를 개발한다. GKDT는 시각적 프롬프트, 텍스트 프롬프트, 또는 두 가지 모두를 지원한다. 모델 학습을 강화하기 위해, 우리는 혼합 모달 프롬프트 학습(mix-modal prompted training) 및 동적 중요도 샘플링(dynamic importance sampling)과 같은 유용한 전략들도 제안한다. 관찰된 객체와 미관찰 객체를 포함한 22개의 테스트 세트에서 평가한 결과, 단일 GKDT 모델은 광범위한 카테고리에 걸친 키포인트 감지에서 강력한 성능과 범용성을 보여주며, 대부분의 카테고리에서 [email omitted] 정확도 90% 이상을 달성하여 실세계 문제에 대한 높은 실용성을 제공한다. 데이터셋, 모델, 코드는 https://github.com/AlanLuSun/General-Keypoint-Detection 에서 공개될 예정이다.

원문 초록

With the emergence of various pre-trained vision and language models, computer vision is shifting from narrow-domain to open-domain recognition. The construction of a more powerful yet general keypoint detection (GKD) model to support diverse tasks has become increasingly important in the field. To this end, we firstly present a large-scale unified keypoint dataset called MegaKPT. The dataset is composed of over 1.3 million diverse object instances from twenty-nine existing datasets, and enjoys high-quality unified annotations with keypoint text descriptions. Based on MegaKPT, we develop GKDT, a simple, flexible and powerful DINOv3 based Transformer model for General Keypoint Detection. Our GKDT supports visual prompts, text prompts, or both. To enhance model training, we also propose a suite of useful strategies such as mix-modal prompted training and dynamic importance sampling. By testing over 22 test sets with seen or unseen objects, our single GKDT model shows strong performance and generality in detecting keypoints on broad categories, with most categories over 90\% [email omitted] accuracy, offering high practical applicability to real-world problems. The dataset, models, and codes will be released at https://github.com/AlanLuSun/General-Keypoint-Detection.

요약

29개의 기존 데이터셋에서 수집한 130만 개 이상의 객체 인스턴스로 구성된 대규모 통합 키포인트 데이터셋 MegaKPT를 구축하고, 이를 기반으로 시각·텍스트 프롬프트를 모두 지원하는 DINOv3 기반 범용 키포인트 감지 트랜스포머 GKDT를 제안한다. 단일 GKDT 모델이 22개 테스트 세트에서 대부분의 카테고리에 걸쳐 [email omitted] 90% 이상을 달성하며 강력한 범용성을 입증했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.00752v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15891v1cs.CV공통 태그 Pose Estimation, Representation Learning

호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습

Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition

예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.

arXiv:2610.02597v1cs.CV공통 태그 Pose Estimation, Representation Learning

GRAFT: 지속적 교사 지식 증류를 통한 응집형 파운데이션 모델의 점진적 확장

GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation

DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.

arXiv:2610.03013v1cs.CV공통 태그 Pose Estimation, Object Detection

RYOPO: 엔드투엔드 범주 수준 객체 포즈 추정의 실시간화

RYOPO: Bringing End-to-End Category-Level Object Pose Estimation into Real Time

범주 수준(category-level) 객체 포즈 추정은 알려진 범주 내에서 보지 못한 인스턴스의 회전, 평행 이동 및 미터 단위 크기를 예측합니다. 많은 고정밀 RGB-D 방식은 외부 인스턴스 분할과 크롭 기반 포즈 추정에 의존하므로, 별도의 단계와 객체 수에 의존하는 처리 비용이 발생하여 실시간 추론(inference)을 저해합니다. 정확한 포즈 추정을 실시간으로 구현하기 위해, 본 논문에서는 엔드투엔드로 학습 가능한 쿼리 기반 RGB-D 세트 예측기인 RYOPO를 제시합니다. RYOPO는 명시적인 CAD 기반 형상 사전 정보나 별도로 학습된 인스턴스 분할기 없이도 객체를 공동으로 검출 및 분할하고 이들의 9-DoF 포즈를 추정합니다. 공유된 이미지 및 씬 인코딩은 객체별 크롭 인코딩의 반복을 방지합니다. 쿼리 조건부 기하학 경로는 관측된 3D 포인트 및 RGB 특징을 객체 쿼리와 연결하고 공유된 씬 컨텍스트를 통합합니다. 객체 중심 리파인먼트는 도출된 포인트 기술자를 활용하여 포즈 조건부 교차 어텐션(cross-attention)과 순환 잔차 보정을 통해 명시적 포즈 상태를 업데이트합니다. NOCS 데이터셋에서 RYOPO는 기존에 발표된 RGB-D 공동 검출 및 포즈 추정 결과를 크게 개선합니다. 또한 REAL275 및 HouseCat6D의 전 객체 평가에서 2단계 방식들과 비교해 경쟁력 있는 성능을 달성하는 동시에, RTX A6000에서 31.8 FPS로 실시간 풀프레임 포즈 추정을 가능하게 합니다. 프로젝트 페이지: https://yopo-series.github.io/RYOPO-project-page/.

arXiv:2610.03717v1cs.CV공통 태그 Pose Estimation, Representation Learning

적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습

Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis

본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io

arXiv:2609.28312v1cs.RO공통 태그 Pose Estimation, Representation Learning

VGM-VS: 고정밀 시각 서보잉을 위한 시각 기하 모델 재검토

VGM-VS: Rethinking Visual Geometry Model for High-Precision Visual Servoing

우리는 사전학습된 피드포워드(feed-forward) 시각 기하 모델(visual geometry model) 위에 구축된 시각 서보잉(visual servoing) 방법인 VGM-VS를 제안한다. 현재 시점과 목표 구성에서 촬영한 기준 이미지가 주어지면, 시각 기하 모델로 상대 카메라 포즈(pose)를 추정하고, 이를 폐루프(closed-loop) 포즈 기반 시각 서보잉(PBVS) 방식의 포즈 증분(pose increment)으로 반복 적용한다. 대규모 사전학습으로 얻은 기하 인식(geometry-aware) 표현은 대상이 가려지거나, 질감이 약하거나, 이미지의 일부만 차지할 때도 이 추정을 안정적으로 유지한다. 그러나 이러한 모델에 내재된 스케일 모호성(scale ambiguity) 때문에 예측된 translation은 미지의 스케일까지 상대적으로만 정의되며, 로봇 제어를 위해 포즈 증분은 metric(미터 단위)이어야 한다. 이 간극을 장면 특화 미터 단위(metric) 적응으로 메운다. 로봇이 목표 포즈에서 시작하는 미리 정의된 동작을 따라 이미지–포즈 쌍을 자동으로 기록하고, 이 데이터로 카메라 헤드를 파인튜닝하여 hand–eye 변환을 함께 학습함으로써 별도의 캘리브레이션 과정을 제거한다. 엄격한 허용 오차를 요구하는 세 가지 실제 조립 작업—USB-C 케이블 피킹, 케이블 삽입, RAM 삽입—에서 방법을 평가한다. 실시간 30Hz로 동작할 때 VGM-VS는 케이블 작업에서 submillimeter 수준의 최종 정밀도(terminal accuracy)로 수렴하고, 서보잉 중 대상이 이동할 때 90–100% 성공률에 도달한다. 기준 포즈에서 최대 30cm 초기 변위와 대상 객체 50% 가림 조건에서도 모든 시행에서 수렴하며, 비교한 시각 서보잉 베이스라인을 능가한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.