arXiv:2009.10292

PennSyn2Real: Training Object Recognition Models without Human Labeling

Ty Nguyen, Ian D. Miller, Avi Cohen, Dinesh Thakur, Shashank Prasad, Camillo J. Taylor, Pratik Chaudrahi, Vijay Kumar

제출 2020-09-22

원문 초록

Scalable training data generation is a critical problem in deep learning. We propose PennSyn2Real - a photo-realistic synthetic dataset consisting of more than 100,000 4K images of more than 20 types of micro aerial vehicles (MAVs). The dataset can be used to generate arbitrary numbers of training images for high-level computer vision tasks such as MAV detection and classification. Our data generation framework bootstraps chroma-keying, a mature cinematography technique with a motion tracking system, providing artifact-free and curated annotated images where object orientations and lighting are controlled. This framework is easy to set up and can be applied to a broad range of objects, reducing the gap between synthetic and real-world data. We show that synthetic data generated using this framework can be directly used to train CNN models for common object recognition tasks such as detection and segmentation. We demonstrate competitive performance in comparison with training using only real images. Furthermore, bootstrapping the generated synthetic data in few-shot learning can significantly improve the overall performance, reducing the number of required training data samples to achieve the desired accuracy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39964v2cs.AI공통 태그 Object Detection, Few-Shot Learning

AIMS: Sim-to-Real 멀티모달 ISAC을 위한 에이전틱 AI 프레임워크

AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC

멀티모달 통합 감지 및 통신(ISAC)은 지능형 무선 네트워크를 위한 환경 인지 및 안정적인 연결성을 가능하게 합니다. 데이터 기반의 멀티모달 ISAC 모델은 센싱과 무선 관측치 간의 관계를 학습하기 위해 레이블이 지정된 실제 데이터에 크게 의존하므로 확장 가능한 배포가 제한됩니다. 합성 데이터 생성이 이러한 부담을 줄여주지만, 기존 시뮬레이션 파이프라인을 목표 배포 환경에 적응시키려면 일관된 장면, 센싱, 무선 및 학습 구성이 필요하며, 결합된 구성 요소 간의 불일치는 시뮬레이션에서 실제 환경으로의(sim-to-real) 전이성을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 AIMS라는 sim-to-real 멀티모달 ISAC을 위한 에이전틱 인공지능(AI) 프레임워크를 제안합니다. 목표 태스크, 배포 조건, 실제 데이터 예산을 명시한 자연어 배포 요청이 주어지면, AIMS는 배포 맞춤형 sim-to-real 구성을 도출하고 이의 실행을 조율하여 배포 맞춤형 태스크 모델을 생성합니다. 2개 에이전트 아키텍처는 장면 구축과 태스크 학습을 상호 조율합니다. 장면 구축 에이전트는 공유된 물리적 상태로부터 지리적으로 그라운딩(grounding)되고 동기화된 센싱 및 무선 기록을 생성하는 반면, 장면 이해 에이전트는 태스크 관련 모달리티와 제로샷(zero-shot) 추론 또는 퓨샷(few-shot) 적응을 위한 전문가 혼합(MoE) 학습을 구성합니다. 구조화된 도메인 지식은 의존성을 인식하는 계획 수립을 안내하며, 검증 증거는 영향을 받는 결정에 대한 피드백 기반 수정을 지원합니다. 실제 DeepSense 6G 데이터셋에 대한 실험 결과, 고려된 시뮬레이션 및 융합 베이스라인 대비 차량 탐지 및 빔 예측 성능이 향상되었음을 입증합니다. 별도의 오케스트레이션 벤치마크는 다양한 배포 요청 전반에 걸쳐 태스크 해석, 의존성 추론 및 피드백 기반 재계획을 평가하여 구조화된 도메인 지식과 검증 피드백을 통해 계획의 정확성이 향상됨을 보여줍니다.

arXiv:2609.04381v2cs.CV공통 태그 Object Recognition, Few-Shot Learning

스캔 유래 클래스 프로토타입은 무엇을 더하는가? 동결된 파운데이션 모델 특징 기반 인식에서 감독, 프로토타입 내용, 쿼리 프로토콜 분리하기

What Do Scan-Derived Class Prototypes Add? Disentangling Supervision, Prototype Content and Query Protocol in Recognition over Frozen Foundation Features

스캔(scan)은 레이블이 지정된 이미지와 기하학적 참조(geometric reference)를 제공한다. 우리는 스캔 유래 프로토타입 행렬(prototype matrix)이 지도학습 헤드(supervised head)의 고정 출력층 역할을 하는 인식기(recognizer)에서 이들의 기여를 분리한다. T-LESS, HOPE, 그리고 직접 수집한 18개의 산업용 부품(industrial parts)에서, 우리는 실제(real), 무작위(random), 정확히 순열된(exactly permuted) 프로토타입, 매칭된 기하 정보 없는 분류기(geometry-free classifier), 더 강력한 외형 규칙(appearance rule), 그리고 쌍을 이룬 배경 프로토콜(paired background protocol)을 테스트한다. 실제 배경 쿼리(real-background query)를 사용한 DINOv2-giant와 MetaCLIP-H 전반에서, 실제 프로토타입이 두 대조군(control) 중 어느 쪽보다도 융합 정확도(fused accuracy)에서 앞서는 최대 우위는 1퍼센트포인트이다; 더 큰 차이는 대조군에 유리하게 나타나며, 암 평균(arm mean) 기준 최대 2.8포인트에 달한다. DINOv2-giant를 사용한 HOPE에서, 헤드만 단독으로는 정확한 순열(exact permutation) 대비 2.8포인트 높다(95% 구간: 0.8-4.7); 이 우위는 융합(fusion) 단계에서는 나타나지 않으며 MetaCLIP-H에서도 관찰되지 않는다. DINOv2-giant에서, 매칭된 로지스틱 회귀(logistic regression)는 T-LESS에서 융합 성능과의 차이가 0.5포인트 이내이며, HOPE와 직접 수집한 부품에서는 융합 성능을 초과한다. 흰색 컷아웃(white cutout)과 비교했을 때, 실제 HOPE 쿼리 배경은 이미지-프로토타입 정확도(image-prototype accuracy)를 DINOv2-giant에서 43포인트, MetaCLIP-H에서 13포인트 낮춘다. 이 감사(audit)는 프로토타입 내용, 레이블 감독(label supervision), 쿼리 프로토콜을 분리한다.

arXiv:2609.23450v1cs.CV공통 태그 Object Detection, Object Recognition

방송 스누커 큐볼 식별을 위한 규칙 제약 할당

Rule-Constrained Assignment for Cue-Ball Identification in Broadcast Snooker

정확한 큐볼 식별은 방송 스누커의 계량(metric) 분석에 필수적이다. 기존 시스템은 고정된 흰색 프로토타입에 대해 각 후보를 독립적으로 평가하고, 외관 임계값을 초과하는 후보를 배제한다. 방송 환경에서는 조명 변화로 유색 공이 흰색처럼 보일 수 있으며, 선수와 장비의 침입이 큐볼을 가리거나 경쟁 후보를 유발할 수 있다. 우리는 큐볼 식별을 규칙 제약 할당 문제로 formulation하여, 탐지된 후보를 한정된 스누커 인벤토리—큐볼 1개, 최대 15개의 레드, 알려진 위치의 6색 공—에 공동으로 할당한다. 큐볼은 각 후보를 흰색 슬롯에 할당할 때의 증분(incremental) 비용으로 선택되며, 기존의 외관 검사는 단일 슬롯 경우에 해당한다. 수작업 주석 419샷에서 본 방법은 식별 정확도를 88.1%에서 95.5%로, 홀드아웃(hold-out) 경기장에서는 80.5%에서 95.2%로 향상시킨다. 계량 상태 복구 시스템 CueLift 내에서 할당은 6,241개의 득점 가능 샷에 대해 커버리지를 36.2%에서 55.4%로 확대한다. 2,529샷에 대한 별도 평가에서 모든 샷에 추정치를 할당해도 이 이점이 유지된다.

arXiv:2607.13830v2cs.RO공통 태그 Object Detection, Object Recognition

재귀 ArUco 마커: 무인항공기 착륙 패드를 위한 확장 가능한 피듀셜 마커 설계

Recursive ArUco Markers: A Scalable Fiducial Marker Design for Unmanned Aerial Vehicle Landing Pads

무인항공기(UAV)는 자율 항법 및 정밀 착륙을 위해 시각적 피듀셜 마커(fiducial marker)에 점점 더 의존하고 있다. 그러나 표준 마커는 운용 거리가 제한적이라, 카메라가 너무 멀거나 너무 가까울 때 탐지되지 않는다. 재귀 및 프랙탈(fractal) 마커가 이 문제를 해결하기 위해 제안되었지만, 기존 접근법은 마커의 중심이 계속 보여야 하여 가려짐(occlusion)에 취약하거나, 재귀 깊이와 배치에 제한이 있다. 우리는 새로운 재귀 ArUco 마커 설계를 제안한다. 우리 방법은 임의의 깊이를 갖는 재귀 마커로 어떤 표준 피듀셜 마커든 변환할 수 있게 한다. 탐지 시 수정된 비트 샘플링(bit-sampling) 전략을 사용하여, 부모 마커의 검은색과 흰색 비트 모두에 완전한 마커를 내장한다. 이 접근법은 마커의 중심이 보이는 것에 의존하지 않으므로, 부분적 가림이 있어도 무제한 재귀 깊이와 견고한 탐지를 보장한다. 또한 모든 재귀 스케일에서 단일 고유 식별자를 유지함으로써, 본 제안은 다수의 고유 착륙 패드를 포괄하는 광범위한 사전(dictionary)을 제공한다. 이 기능은 각 드론이 지정된 위치에 착륙하면서 UAV 무리가 동시에 운용되도록 하며, 이는 구조적 및 사전 제약으로 인해 기존 Fractal 및 Harco 마커가 지원하지 않는 기능이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.