arXiv:1608.01745

Play and Learn: Using Video Games to Train Computer Vision Models

Alireza Shafaei, James J. Little, Mark Schmidt

제출 2016-08-05

원문 초록

Video games are a compelling source of annotated data as they can readily provide fine-grained groundtruth for diverse tasks. However, it is not clear whether the synthetically generated data has enough resemblance to the real-world images to improve the performance of computer vision models in practice. We present experiments assessing the effectiveness on real-world data of systems trained on synthetic RGB images that are extracted from a video game. We collected over 60000 synthetic samples from a modern video game with similar conditions to the real-world CamVid and Cityscapes datasets. We provide several experiments to demonstrate that the synthetically generated RGB images can be used to improve the performance of deep neural networks on both image segmentation and depth estimation. These results show that a convolutional network trained on synthetic data achieves a similar test error to a network that is trained on real-world data for dense image classification. Furthermore, the synthetically generated RGB images can provide similar or better results compared to the real-world datasets if a simple domain adaptation technique is applied. Our results suggest that collaboration with game developers for an accessible interface to gather data is potentially a fruitful direction for future work in computer vision.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13697v1cs.CV공통 태그 Image Classification, Domain Adaptation

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.02903v1cs.CV공통 태그 Semantic Segmentation, Image Classification

ViTok: PHI-S 및 마스크드 이미지 모델링을 활용한 AM-RADIO 스타일 다중 교사 지식 증류에서의 조밀한 의미론 개선

ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling

본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.

arXiv:2610.03218v1cs.CV공통 태그 Semantic Segmentation, Image Classification

VisionMX: 비전 모델을 위한 마이크로스케일링 사후 학습 양자화 구현

VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models

마이크로스케일링(Microscaling, MX) 포맷은 효율적인 학습(training) 및 추론(inference)을 위한 하드웨어 지원 접근법으로 주목받고 있습니다. 이 방식은 저정밀도(low-precision) 요소와 공유 블록 스케일을 결합하지만, 비전 모델에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 다양한 비전 모델 및 작업 전반에 걸쳐 사후 학습(post-training) MX 양자화(quantization)를 체계적으로 조사합니다. 직접 변환에 대한 분석을 통해 세 가지 오차 원인을 확인했습니다. 즉, 블록 스케일 표현, 일부 소형 합성곱 가중치(weight) 텐서와 비균일 요소 그리드 간의 불량한 정렬, 그리고 비음수 활성화 값에 의한 부호 있는 코드의 불충분한 활용입니다. 이러한 발견을 바탕으로, 유계 가중치 반올림(bounded weight rounding)을 최적화하고 활성화 값에 접을 수 있는 아핀 보정(foldable affine correction)을 적용하는 사후 학습 MX 양자화 방법인 VisionMX를 제안합니다. 여러 MX 스타일 포맷을 사용하여 이미지 분류(image classification), 객체 검출(object detection), 시맨틱 분할(semantic segmentation), 저조도 이미지 향상 작업 전반에서 VisionMX를 평가했습니다. VisionMX는 직접 변환 및 평가된 사후 학습 양자화 기준 모델들을 개선하며, MX 변환에 가장 민감한 아키텍처에서 가장 큰 폭의 성능 복구를 달성합니다.

arXiv:2610.01403v1cs.AI공통 태그 Semantic Segmentation, Image Classification

대조 어텐션을 통한 스파이킹 트랜스포머의 스펙트럼 바이어스 완화

Contrastive Attention Mitigates Spectral Bias in Spiking Transformers

스파이킹 트랜스포머(Spiking Transformer)는 스파이킹 신경망(SNN)의 에너지 효율성과 셀프 어텐션(self-attention)의 표현력을 결합하여, 고성능 및 에너지 효율적 연산을 위한 유망한 아키텍처를 제시합니다. 그러나 인공 신경망(ANN) 대응 모델에 비해 여전히 성능 격차가 존재합니다. 이러한 격차를 이진 활성화(binary activation) 때문으로 보았던 선행 연구들과 달리, 본 논문은 다중 스케일 스펙트럼 분석(multiscale spectral analysis)을 통해 스파이킹 뉴런과 스파이킹 셀프 어텐션(SSA)이 모두 저주파 통과 필터(low-pass filter)로 작동함을 밝혀냅니다. 이러한 특성은 고주파 성분의 소실로 이어집니다. 이 문제를 해결하기 위해, 생물학적 시각 시스템의 에지 검출 및 차분 감지(differential sensing) 특성에서 영감을 얻은 스파이킹 대조 어텐션(Spiking Contrastive Attention, SCA) 패러다임을 제안합니다. 전역 대조 집계(global contrastive aggregation)를 통해 대조 프로토타입을 추출하고 국소 차분 정제(local differential refinement)를 적용함으로써, SCA는 고주파 정보를 효과적으로 강화합니다. 광범위한 실험을 통해 SCA가 범용적인 모듈로서 이미지 분류, 시맨틱 분할(semantic segmentation), 이벤트 기반 추적(event-based tracking) 전반에 걸쳐 스파이킹 트랜스포머의 성능을 일관되게 향상시킴을 입증합니다. 나아가 더 낮은 복잡도를 달성하여 기존 SSA 대비 뛰어난 효율성을 제공합니다. 이러한 결과는 에너지 효율적인 스파이킹 트랜스포머를 위한 기초적인 구성 요소로서 SCA의 잠재력을 입증합니다.

arXiv:2610.00483v1cs.CV공통 태그 Semantic Segmentation, Depth Estimation

PixelDense: 픽셀 디퓨전을 위한 표현 정렬로서의 밀집 예측

PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion

표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.