HOIBlender: 효율적 사람-객체 상호작용 검출을 위한 경량 검출과 비전-언어 사전지식의 블렌딩
HOIBlender: Blending Lightweight Detection with Vision-Language Priors for Efficient Human-Object Interaction Detection
한국어 초록
사람-객체 상호작용(HOI) 검출은 상호작용하는 사람-객체 쌍을 그라운딩(grounding)하고 이들을 연결하는 동사를 인식해야 하며, 종종 심각한 롱테일(long-tail) 감독 하에서 수행된다. 최근 방법들은 더 강한 검출기와 비전-언어 사전지식으로 정확도를 높이지만, 많은 방법이 여전히 검출기 위에 무거운 트랜스포머 인코더, 복잡한 디노이징 스케줄, 또는 사후(post-hoc) 의미적 보정을 쌓아 올린다. 본 논문은 핵심 설계 원칙인 블렌딩에서 이름을 따온 효율적 HOI 검출기 \textbf{HOIBlender}를 제안한다. 검출기로 그라운딩된 시각 토큰, 공간적 주체-객체 추론, BLIP-2 의미 사전지식을 하나의 경량 디코딩 파이프라인 안에서 블렌딩한다. HOIBlender는 DINOv2 백본을 갖춘 RF-DETR/LW-DETR 스타일 기반 위에 구축되며, 다중 스케일 프로젝터에서 top-$K$ 이미지 조건부 토큰을 주체 및 객체 후보로 직접 선택하여, 이전 HOI 방법들이 유지하던 전용 인코더 단계를 제거한다. 이중 단계 디코더는 먼저 사람-객체 기하를 안정화한 뒤, 점진적 BLIP-2 사전지식 융합을 통해 동사 및 HOI 분류를 수행하며, 롱테일 카테고리를 위해 분류기 가중치는 BLIP-2 텍스트 임베딩(embedding)으로 초기화한다. 그룹 쿼리(grouped-query) 학습은 추론(inference) 비용을 늘리지 않으면서 최적화(optimization)를 더 풍부하게 한다. 세 가지 모델 규모(Nano, Small, 2XL)에 걸쳐 HOIBlender는 HICO-DET에서 SOV-STG-VLA 및 Hybrid-SOV-VLA를 일관되게 능가하며, 경쟁력 있는 지연(latency)과 매개변수 예산을 유지하면서 단 $9$회 학습 epoch만으로 Default Full mAP $44.49$에 도달한다. 이러한 결과는 경량 검출, 구조화된 공간-의미 디코딩, 깊이 통합된 비전-언어 사전지식을 단일의 효율적 HOI 파이프라인으로 블렌딩할 수 있음을 보여준다.
원문 초록
Human-object interaction (HOI) detection requires grounding an interacting human-object pair and recognizing the verb that links them, often under severe long-tail supervision. Recent methods improve accuracy with stronger detectors and vision-language priors, but many still stack heavy transformer encoders, intricate denoising schedules, or post-hoc semantic calibration on top of the detector. We present \textbf{HOIBlender}, an efficient HOI detector named after its core design principle: blending detector-grounded visual tokens, spatial subject-object reasoning, and BLIP-2 semantic priors inside one lightweight decoding pipeline. HOIBlender builds on an RF-DETR/LW-DETR-style foundation with a DINOv2 backbone and selects top-$K$ image-conditioned tokens directly from the multi-scale projector as subject and object candidates, removing the dedicated encoder stage retained by prior HOI methods. A dual-stage decoder first stabilizes human-object geometry and then performs verb and HOI classification through progressive BLIP-2 prior fusion, with classifier weights initialized from BLIP-2 text embeddings for long-tail categories. Grouped-query training further enriches optimization without increasing inference cost. Across three model scales (Nano, Small, 2XL), HOIBlender consistently outperforms SOV-STG-VLA and Hybrid-SOV-VLA on HICO-DET, reaching $44.49$ Default Full mAP in only $9$ training epochs while maintaining competitive latency and parameter budgets. These results show that lightweight detection, structured spatial-semantic decoding, and deeply integrated vision-language priors can be blended into a single efficient HOI pipeline.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23431v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
OmniAct3D: 파노라마 3D 검출을 위한 기초 기하학 및 증거 기반 그라운딩 추론 활용
OmniAct3D: Leveraging Foundation Geometry and Evidence-Grounded Reasoning for Panoramic 3D Detection
정확한 3D 검출은 이동형 체화 에이전트(embodied agent)에게 필수적이며, 비전 파운데이션 모델(VFM)은 전이 가능한 시각적 및 기하학적 사전 지식(prior)을 제공합니다. 그러나 기존의 VFM 기반 3D 검출기는 좁은 시야의 단안 영상이나 불연속적인 원근 뷰에 의존하므로 일관된 전방위 인식이 제한됩니다. 반면 정거원통도법(ERP)은 단일 이미지에 연속적인 360도 장면을 인코딩합니다. 하지만 ERP는 기하학 및 시각 정보를 다르게 구성하여 객체 관련 단서를 모델링, 위치 파악 및 보존하기 어렵게 만들기 때문에 직접적인 전이는 여전히 어렵습니다. 본 논문에서는 전이 가능한 VFM 사전 지식을 보존하면서 원근 뷰로 학습된 VFM 검출기를 ERP에 적응시키는 프레임워크인 OmniAct3D를 제안합니다. 기하학적 불일치를 해결하기 위해 ERP-Ray 기하 어댑터(ERGA-Ray)는 구면 시선(viewing ray)과 주기적 공간 구조를 모델링합니다. 전체 장면 맥락에서 증거를 국소화하기 위해 시각-행동 추론 체인(VARC)은 각 가설을 관련 파노라마 증거에 그라운딩(grounding)하고 이를 구조화된 기하학적 행동으로 변환합니다. 고정된 토큰(token) 예산 하에서 손실된 국소 단서를 복구하기 위해 외형 유도 방위 전문가(AGHE)는 방위각 추정을 위해 객체 영역을 더 높은 해상도로 재인코딩합니다. 실험 결과, OmniAct3D는 Spheriverse에서 이전 최고 3D 검출기 대비 2.96 NDS 포인트, PanoMMOcc에서 적응되지 않은 VFM 기준선(baseline) 대비 24.87 mAP 포인트 향상된 성능을 보였습니다. 타깃별 기하 적응을 통해 VARC는 동일 구성 mAP의 95~98%를 유지하여 센싱 구성 전반에서 재사용 가능한 객체 수준 3D 추론 능력을 보여줍니다. 소스 코드는 https://github.com/FeiT-FeiTeng/OmniAct3D 에서 공개될 예정입니다.
VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화
VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.
LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델
LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing
근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.
GeoScaffold: 효율적인 비전-언어 내비게이션을 위해 재구성을 통한 컴팩트 기하학적 잠재 표현 학습
GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation
최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.
FUSEye: 중첩 뷰와 제로 초기화 어댑터를 활용한 경량 학습 어안 객체 탐지
FUSEye: Training-Light Fisheye Detection with Overlapping Views and Zero-Initialized Adapters
어안 렌즈(fisheye) 카메라는 이동 로봇에게 단일 센서 기반의 저비용 주변 시야를 제공하지만, 실무에서 흔히 재사용되는 COCO 사전학습 탐지기는 이러한 카메라에서 제대로 작동하지 않는다. 강한 방사 왜곡(radial distortion)이 국소적 이미지 구조를 뒤틀리게 하고 경계부 압축으로 인해 객체가 거의 보이지 않는 크기로 줄어들기 때문이다. 전체 미세조정(fine-tuning)을 수행하면 이러한 격차를 크게 줄일 수 있지만 대량의 어안 라벨과 연산 자원이 필요하다. 본 논문에서는 백본(backbone)이 동결된 COCO 사전학습 초대형 YOLO26 탐지기(YOLO26-x)를 어안 탐지기로 전환하는 경량 학습 프레임워크인 FUSEye를 제안한다. FUSEye는 삽입된 모듈과 사전학습된 탐지 헤드를 업데이트하면서 약 22만 7천 개의 새로운 파라미터만을 추가한다. 또한 인과적으로 연결된 세 가지 수준에서 전이 격차를 해결한다. 입력 수준에서는 중첩 그리드 뷰 생성 및 박스 재매핑(GridViews)을 통해 압축된 경계 영역을 확대한다. 특징(feature) 수준에서는 제로 초기화 잔차 어댑터(Z-Adapters)가 왜곡으로 인해 유발된 특징 불일치를 교정한다. 결정 수준에서는 학습된 교차 투영 일치도 융합(AgreeFusion)을 통해 여러 뷰에 걸쳐 일관된 근거로 뒷받침되는 경우에만 낮은 신뢰도의 탐지 결과를 승격시킨다. WoodScape 서라운드 뷰 어안 벤치마크에서 FUSEye는 YOLO26-x의 mAP50을 0.148에서 0.266으로 끌어올렸으며 전체 미세조정 정확도의 84.3%를 유지했다. 나아가 라벨링된 학습 이미지의 25%만 무작위로 사용했을 때도 0.2597 mAP50을 달성하여 전체 라벨 사용 성능의 97.6%를 보존했다. 또한 FUSEye는 YOLOv8부터 YOLO11까지의 탐지기 성능을 일관되게 향상시켜 이 기법이 아키텍처에 구애받지 않음을 보였다. 소스 코드는 https://github.com/Su-wenya/FUSEye 에서 공개될 예정이다.
로봇 안내견을 위한 경량 및 자원 효율적 인지
Lightweight and Resource-Efficient Perception for Robotic Guide Dogs
다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.