Detector With Focus: Normalizing Gradient In Image Pyramid
원문 초록
An image pyramid can extend many object detection algorithms to solve detection on multiple scales. However, interpolation during the resampling process of an image pyramid causes gradient variation, which is the difference of the gradients between the original image and the scaled images. Our key insight is that the increased variance of gradients makes the classifiers have difficulty in correctly assigning categories. We prove the existence of the gradient variation by formulating the ratio of gradient expectations between an original image and scaled images, then propose a simple and novel gradient normalization method to eliminate the effect of this variation. The proposed normalization method reduce the variance in an image pyramid and allow the classifier to focus on a smaller coverage. We show the improvement in three different visual recognition problems: pedestrian detection, pose estimation, and object detection. The method is generally applicable to many vision algorithms based on an image pyramid with gradients.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Increasing pedestrian detection performance through weighting of detection impairing factors
롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템
Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System
롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.
도메인 변화 환경에서 보행자 검출을 위한 신뢰도 통제 기반 설명가능 인공지능(XAI) 감사
Confidence-Controlled XAI Auditing for Pedestrian Detection under Domain Shift
지능형 차량의 인지 모델에서 설명가능성(explainability)이 점차 요구되고 있으나, 주행 도메인 변화(domain shift) 환경에서도 설명이 충실도(faithfulness)를 유지하는지는 여전히 명확히 밝혀지지 않았습니다. 본 연구는 관심 영역(ROI) 기반 D-Deletion, 고정 신뢰도 3분위수, 순위 기반 검정, 부트스트랩 신뢰구간 및 Holm 교정을 활용하여 PIE 및 JAAD 데이터셋에 걸쳐 고정된 YOLOv8s 보행자 검출기의 사후(post-hoc) 설명을 감사합니다. 감사 결과, 삭제 기반 충실도는 설명 생성 시점의 검출 강도(detection strength)와 강하게 결합되어 있으며(D-RISE의 스피어만 상관계수 0.70~0.82), 이로 인해 단순한 신뢰도 계층화 비교는 신뢰하기 어려움이 드러났습니다. 고정된 f0 빈(bin) 내에서 검출 강도를 통제한 후에도 D-RISE 충실도는 중심 f0 범위에서 도메인에 따라 달라졌으며, PIE가 JAAD보다 더 높은 D-Deletion 및 Holm 보정 유의성을 나타냈습니다. 비섭동(non-perturbative) 기반 EigenCAM 기준선은 D-RISE보다 충실도가 낮았으나 마찬가지로 점수 결합 현상을 보여, 이러한 효과가 D-RISE에만 국한되지 않고 삭제 기반 평가 설정과 연관되어 있음을 시사합니다. 이러한 결과는 도메인 변화 환경의 안전 필수(safety-critical) 인지 시스템에서 신뢰도를 통제한 XAI 감사가 필요함을 시사합니다.
RYOPO: 엔드투엔드 범주 수준 객체 포즈 추정의 실시간화
RYOPO: Bringing End-to-End Category-Level Object Pose Estimation into Real Time
범주 수준(category-level) 객체 포즈 추정은 알려진 범주 내에서 보지 못한 인스턴스의 회전, 평행 이동 및 미터 단위 크기를 예측합니다. 많은 고정밀 RGB-D 방식은 외부 인스턴스 분할과 크롭 기반 포즈 추정에 의존하므로, 별도의 단계와 객체 수에 의존하는 처리 비용이 발생하여 실시간 추론(inference)을 저해합니다. 정확한 포즈 추정을 실시간으로 구현하기 위해, 본 논문에서는 엔드투엔드로 학습 가능한 쿼리 기반 RGB-D 세트 예측기인 RYOPO를 제시합니다. RYOPO는 명시적인 CAD 기반 형상 사전 정보나 별도로 학습된 인스턴스 분할기 없이도 객체를 공동으로 검출 및 분할하고 이들의 9-DoF 포즈를 추정합니다. 공유된 이미지 및 씬 인코딩은 객체별 크롭 인코딩의 반복을 방지합니다. 쿼리 조건부 기하학 경로는 관측된 3D 포인트 및 RGB 특징을 객체 쿼리와 연결하고 공유된 씬 컨텍스트를 통합합니다. 객체 중심 리파인먼트는 도출된 포인트 기술자를 활용하여 포즈 조건부 교차 어텐션(cross-attention)과 순환 잔차 보정을 통해 명시적 포즈 상태를 업데이트합니다. NOCS 데이터셋에서 RYOPO는 기존에 발표된 RGB-D 공동 검출 및 포즈 추정 결과를 크게 개선합니다. 또한 REAL275 및 HouseCat6D의 전 객체 평가에서 2단계 방식들과 비교해 경쟁력 있는 성능을 달성하는 동시에, RTX A6000에서 31.8 FPS로 실시간 풀프레임 포즈 추정을 가능하게 합니다. 프로젝트 페이지: https://yopo-series.github.io/RYOPO-project-page/.
GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환
GTR: Gated Token Recurrence for Efficient Dense Prediction
셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
MIRAGE: 동의 기반 복원을 지원하는 스마트 글래스의 전신旁관者(bystander) 프라이버시
MIRAGE: Full-Body Bystander Privacy for Smart Glasses with Consent-Based Restoration
스마트 글래스上的 동영상 녹화는 얼굴만 노출하는 것이 아니다. 연속 캡처는 보행(gait), 자세(posture), 실루엣(silhouette) 등을 포함한 전신 생체인식 특징을 드러내며, 이는 기존의 얼굴 익명화(face sanitization) 이후에도 사람 재식별(person re-identification, ReID)을 가능하게 한다. 우리는 전신 프라이버시를 강제하고, 합성적 전신 대체를 지원하며, 동의 기반 복원을 위해 암호화된 복구 자료를 보관하는 프라이버시 보호 스mart glasses용 3단 아키텍처인 MIRAGE를 제시한다. MIRAGE는 Raspberry Pi 5(스mart glasses 연산을 대체하는 CPU 전용 프록시), 동반 스martphone, 클라우드 생성형 백엔드에 구현했다. 선행 시스템과 비교할 때 MIRAGE는 완전히 보이는 신체를 정확히 검출하면서 AP 0.948, AR 0.976을 달성한다. 경계 상자(bounding box) 마스킹은 학습 기반 실루엣 ReID를 사실상 무작위 추측 수준으로 낮추며, Rank-1 정확도는 측정된 우연 수준 11.12%에 비해 10.86%이다. MIRAGE의 정화된 포즈 신호로 재학습한 적응형 적(adaptive adversary)에 대해서도 Rank-1 보행 식별 정확도는 90.25%에서 26.20%로 떨어져, 적의 식별 이점의 72.5%를 제거한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.