Raw Bayer Pattern Image Synthesis for Computer Vision-oriented Image Signal Processing Pipeline Design
원문 초록
In this paper, we propose a method to add constraints that are un-formulatable in generative adversarial networks (GAN)-based arbitrary size RAW Bayer image generation. It is shown theoretically that by using the transformed data in GAN training, it is able to improve the learning of the original data distribution, owing to the invariant of Jensen-Shannon (JS) divergence between two distributions under invertible and differentiable transformation. Benefiting from the proposed method, RAW Bayer pattern images can be generated by configuring the transformation as demosaicing. It is shown that by adding another transformation, the proposed method is able to synthesize high-quality RAW Bayer images with arbitrary size. Experimental results show that images generated by the proposed method outperform the existing methods in the Fr\'echet inception distance (FID) score, peak signal to noise ratio (PSNR), and mean structural similarity (MSSIM), and the training process is more stable. To the best knowledge of the authors, there is no open-source, large-scale image dataset in the RAW Bayer domain, which is crucial for research works aiming to explore the image signal processing (ISP) pipeline design for computer vision tasks. Converting the existing commonly used color image datasets to their corresponding RAW Bayer versions, the proposed method can be a promising solution to the RAW image dataset problem. We also show in the experiments that, by training object detection frameworks using the synthesized RAW Bayer images, they can be used in an end-to-end manner (from RAW images to vision tasks) with negligible performance degradation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
악조건 속 견고한 컴퓨터 비전을 위한 쌍으로 구성된 합성 건설 현장 이미지 데이터셋
A paired synthetic construction-site image dataset for robust computer vision under adverse conditions
건설 모니터링에 사용되는 컴퓨터 비전(CV) 시스템은 불리한 환경 및 시각적 조건에서 성능이 저하될 수 있으나, 기존 건설 이미지 데이터셋에서는 이러한 조건이 여전히 과소 대표되고 있습니다. 본 논문에서는 3,109개의 실제 소스 장면에서 파생된 34,199개의 이미지를 포함하는 쌍(paired) 형태의 합성 건설 현장 이미지 데이터셋인 ConSynth-X를 제시합니다. 이 데이터셋은 강수, 안개, 야간 조명, 야간 악천후, 소형 객체 또는 원거리 뷰를 아우르는 11개의 조건별 하위 집합으로 구성됩니다. 각 합성 이미지는 해당하는 소스 장면에 연결되어 있어 환경 및 시각적 조건 전반에 걸친 통제된 비교를 가능하게 합니다. ConSynth-X는 소스 기반 주석, 생성 메타데이터, 출처(provenance) 정보 및 이미지 품질 지표를 포함하여 객체 검출(object detection), 이미지 캡셔닝, 시각적 그라운딩(visual grounding), 시각적 질의응답(VQA)을 지원합니다. 기술적 검증(validation)에서는 임베딩(embedding) 기반 유사도 및 분포 분석을 사용하여 소스-합성 충실도와 실제 악조건 이미지와의 정렬(alignment)을 평가합니다. 이 데이터셋은 까다로운 현장 조건에서 건설 비전 및 비전-언어 모델의 강건성을 평가하고 개선하기 위한 체계적인 자원을 제공합니다.
MIRAGE: 동의 기반 복원을 지원하는 스마트 글래스의 전신旁관者(bystander) 프라이버시
MIRAGE: Full-Body Bystander Privacy for Smart Glasses with Consent-Based Restoration
스마트 글래스上的 동영상 녹화는 얼굴만 노출하는 것이 아니다. 연속 캡처는 보행(gait), 자세(posture), 실루엣(silhouette) 등을 포함한 전신 생체인식 특징을 드러내며, 이는 기존의 얼굴 익명화(face sanitization) 이후에도 사람 재식별(person re-identification, ReID)을 가능하게 한다. 우리는 전신 프라이버시를 강제하고, 합성적 전신 대체를 지원하며, 동의 기반 복원을 위해 암호화된 복구 자료를 보관하는 프라이버시 보호 스mart glasses용 3단 아키텍처인 MIRAGE를 제시한다. MIRAGE는 Raspberry Pi 5(스mart glasses 연산을 대체하는 CPU 전용 프록시), 동반 스martphone, 클라우드 생성형 백엔드에 구현했다. 선행 시스템과 비교할 때 MIRAGE는 완전히 보이는 신체를 정확히 검출하면서 AP 0.948, AR 0.976을 달성한다. 경계 상자(bounding box) 마스킹은 학습 기반 실루엣 ReID를 사실상 무작위 추측 수준으로 낮추며, Rank-1 정확도는 측정된 우연 수준 11.12%에 비해 10.86%이다. MIRAGE의 정화된 포즈 신호로 재학습한 적응형 적(adaptive adversary)에 대해서도 Rank-1 보행 식별 정확도는 90.25%에서 26.20%로 떨어져, 적의 식별 이점의 72.5%를 제거한다.
KnowZRel: Common Sense Knowledge-based Zero-Shot Relationship Retrieval for Generalised Scene Graph Generation
Universal Fine-grained Visual Categorization by Concept Guided Learning
DROPEX: Disaster Rescue Operations and Probing using EXpert drones
A Confidence-Aware Matching Strategy For Generalized Multi-Object Tracking
토론
이 논문과 연결된 포럼 글이 아직 없습니다.