arXiv:1812.01210

Zoom-In-to-Check: Boosting Video Interpolation via Instance-level Discrimination

Liangzhe Yuan, Yibo Chen, Hantian Liu, Tao Kong, Jianbo Shi

제출 2018-12-04

원문 초록

We propose a light-weight video frame interpolation algorithm. Our key innovation is an instance-level supervision that allows information to be learned from the high-resolution version of similar objects. Our experiment shows that the proposed method can generate state-of-the-art results across different datasets, with fractional computation resources (time and memory) of competing methods. Given two image frames, a cascade network creates an intermediate frame with 1) a flow-warping module that computes coarse bi-directional optical flow and creates an interpolated image via flow-based warping, followed by 2) an image synthesis module to make fine-scale corrections. In the learning stage, object detection proposals are generated on the interpolated image.Lower resolution objects are zoomed into, and the learning algorithms using an adversarial loss trained on high-resolution objects to guide the system towards the instance-level refinement corrects details of object shape and boundaries.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28083v1cs.CV공통 태그 Image Generation, Optical Flow Estimation

ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델

ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming

듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.

arXiv:2609.24075v1cs.CV공통 태그 Object Detection, Image Generation

악조건 속 견고한 컴퓨터 비전을 위한 쌍으로 구성된 합성 건설 현장 이미지 데이터셋

A paired synthetic construction-site image dataset for robust computer vision under adverse conditions

건설 모니터링에 사용되는 컴퓨터 비전(CV) 시스템은 불리한 환경 및 시각적 조건에서 성능이 저하될 수 있으나, 기존 건설 이미지 데이터셋에서는 이러한 조건이 여전히 과소 대표되고 있습니다. 본 논문에서는 3,109개의 실제 소스 장면에서 파생된 34,199개의 이미지를 포함하는 쌍(paired) 형태의 합성 건설 현장 이미지 데이터셋인 ConSynth-X를 제시합니다. 이 데이터셋은 강수, 안개, 야간 조명, 야간 악천후, 소형 객체 또는 원거리 뷰를 아우르는 11개의 조건별 하위 집합으로 구성됩니다. 각 합성 이미지는 해당하는 소스 장면에 연결되어 있어 환경 및 시각적 조건 전반에 걸친 통제된 비교를 가능하게 합니다. ConSynth-X는 소스 기반 주석, 생성 메타데이터, 출처(provenance) 정보 및 이미지 품질 지표를 포함하여 객체 검출(object detection), 이미지 캡셔닝, 시각적 그라운딩(visual grounding), 시각적 질의응답(VQA)을 지원합니다. 기술적 검증(validation)에서는 임베딩(embedding) 기반 유사도 및 분포 분석을 사용하여 소스-합성 충실도와 실제 악조건 이미지와의 정렬(alignment)을 평가합니다. 이 데이터셋은 까다로운 현장 조건에서 건설 비전 및 비전-언어 모델의 강건성을 평가하고 개선하기 위한 체계적인 자원을 제공합니다.

arXiv:2609.24537v1cs.CV공통 태그 Object Detection, Image Generation

MIRAGE: 동의 기반 복원을 지원하는 스마트 글래스의 전신旁관者(bystander) 프라이버시

MIRAGE: Full-Body Bystander Privacy for Smart Glasses with Consent-Based Restoration

스마트 글래스上的 동영상 녹화는 얼굴만 노출하는 것이 아니다. 연속 캡처는 보행(gait), 자세(posture), 실루엣(silhouette) 등을 포함한 전신 생체인식 특징을 드러내며, 이는 기존의 얼굴 익명화(face sanitization) 이후에도 사람 재식별(person re-identification, ReID)을 가능하게 한다. 우리는 전신 프라이버시를 강제하고, 합성적 전신 대체를 지원하며, 동의 기반 복원을 위해 암호화된 복구 자료를 보관하는 프라이버시 보호 스mart glasses용 3단 아키텍처인 MIRAGE를 제시한다. MIRAGE는 Raspberry Pi 5(스mart glasses 연산을 대체하는 CPU 전용 프록시), 동반 스martphone, 클라우드 생성형 백엔드에 구현했다. 선행 시스템과 비교할 때 MIRAGE는 완전히 보이는 신체를 정확히 검출하면서 AP 0.948, AR 0.976을 달성한다. 경계 상자(bounding box) 마스킹은 학습 기반 실루엣 ReID를 사실상 무작위 추측 수준으로 낮추며, Rank-1 정확도는 측정된 우연 수준 11.12%에 비해 10.86%이다. MIRAGE의 정화된 포즈 신호로 재학습한 적응형 적(adaptive adversary)에 대해서도 Rank-1 보행 식별 정확도는 90.25%에서 26.20%로 떨어져, 적의 식별 이점의 72.5%를 제거한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.