arXiv:2210.03792

Self-Aligned Concave Curve: Illumination Enhancement for Unsupervised Adaptation

Wenjing Wang, Zhengbo Xu, Haofeng Huang, Jiaying Liu

제출 2022-10-07

원문 초록

Low light conditions not only degrade human visual experience, but also reduce the performance of downstream machine analytics. Although many works have been designed for low-light enhancement or domain adaptive machine analytics, the former considers less on high-level vision, while the latter neglects the potential of image-level signal adjustment. How to restore underexposed images/videos from the perspective of machine vision has long been overlooked. In this paper, we are the first to propose a learnable illumination enhancement model for high-level vision. Inspired by real camera response functions, we assume that the illumination enhancement function should be a concave curve, and propose to satisfy this concavity through discrete integral. With the intention of adapting illumination from the perspective of machine vision without task-specific annotated data, we design an asymmetric cross-domain self-supervised training strategy. Our model architecture and training designs mutually benefit each other, forming a powerful unsupervised normal-to-low light adaptation framework. Comprehensive experiments demonstrate that our method surpasses existing low-light enhancement and adaptation methods and shows superior generalization on various low-light vision tasks, including classification, detection, action recognition, and optical flow estimation. Project website: https://daooshee.github.io/SACC-Website/

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11644v1cs.CV공통 태그 Optical Flow Estimation, Action Recognition

Motion4Motion: 추론 시점에서 대상 간 모션 전이

Motion4Motion: Motion Transfer Across Subjects at Inference

본 연구는 한 영상에서 다른 영상으로의 모션 전이(motion transfer)를 탐구하며, 이는 다양한 캐릭터 애니메이션에서 핵심적인 기술이다. 기존에는 비디오 모션 전이가 주로 인간과 인간형 캐릭터 간에 연구되어 디지털 창작 분야에서 다양한 응용을 가능하게 했다. 그러나 이러한 접근법에는 주요 한계가 존재한다. 구체적으로, 관련 기술 파이프라인은 사전 정의된 인간 골격 구조에 크게 의존하며, 이에 따라 골격 조건부 모델 학습이 필요하다. 한편으로는, 이러한 방법들이 서로 다른 종의 동물과 같이 다양한 캐릭터로 일반화하면서 고유한 모션 스타일을 보존하기 어렵다. 다른 한편으로는, 다양한 골격에 대한 레이블 데이터가 부족하여 해당 태스크의 대규모 학습이 추가로 제한된다. 본 논문에서는 골격 기반 모션 전이 프레임워크에서 벗어나, Motion4Motion이라는 학습이 필요 없는(training-free) 모션 전이 프레임워크를 제안한다. Motion4Motion은 골격 대신 영상 내 캐릭터의 모션 흐름(motion flow)을 모델링함으로써 종(species) 간 모션 전이를 더욱 용이하게 한다. 광범위한 실험 결과와 새로운 응용 사례를 통해 제안하는 방법이 기준선(baseline) 대비 인상적인 성능 향상을 보임을 확인하였다. 프로젝트 페이지는 https://lhchen.top/Motion4Motion에서 확인할 수 있다.

arXiv:2606.28083v1cs.CV공통 태그 Optical Flow Estimation, Action Recognition

STAG: 미세표정 인식을 위한 액션 유닛의 시공간 진화 구조 표현

STAG: Spatio-temporal Evolving Structural Representation of Action Units for Micro-expression Recognition

미세표정 인식은 미묘하고 짧게 지속되는 안면 근육 움직임 때문에 어렵다. 기존 방법은 apex-onset 프레임에 크게 의존하고, 세밀한 프레임 간 역학을 간과하며, 공간 정보와 시간 정보를 별도로 모델링하여 데이터셋 간 일반화를 제한한다. 이러한 과제를 해결하기 위해, 우리는 움직임 흐름과 적응적 안면 연결성을 공동으로 모델링하는 동적 ROI-AU 결합 시공간 네트워크인 STAG를 제안한다. 해당 프레임워크는 크기 기반 선택과 시간 어텐션을 사용하여 판별적 프레임에서 광학 흐름(optical flow)을 추출한다. 이중 분기 아키텍처는 구조화된 공간 추론을 위한 향상된 그래프 어텐션 네트워크와 시간 모델링을 위한 트랜스포머 인코더를 결합한다. 양방향 교차 어텐션 모듈은 공간 특징과 시간 특징의 상호 정제를 가능하게 하며, AU 유도 동적 연결성은 근육 활성화 패턴에 따라 안면 영역 상호작용을 적응한다. 트랜스포머는 apex 기반 접근법을 넘어 미묘한 시간 역학을 포착하여, 설명 가능한 미세표정 인식을 위한 의미적 일관성과 해석 가능성을 향상시킨다. 융합된 표현은 focal 손실을 사용하여 최적화되며, CASME II, 4DME, DFME, NaME, SAMM, SMIC-HS에서 평가된다. 광범위한 실험은 향상된 견고성, 일반화, 해석 가능성, 계산 효율성을 보여주며, 정확한 교차 데이터셋 미세표정 인식을 위한 적응적 관계 추론, AU 유도 동적 연결성, 깊은 시공간 특징 융합의 효과를 확인한다.

arXiv:2606.26634v1cs.CV공통 태그 Optical Flow Estimation, Action Recognition

도전적 조건에서 견고한 수술 다중 태스크 학습을 위한 시간적 일관성 레이블 보간

Temporally Consistent Label Interpolation for Robust Surgical Multi-Task Learning under Challenging Conditions

수술 장면 이해를 위한 효과적인 다중 태스크 학습은 근본적으로 어노테이션 세분성(granularity) 불일치에 의해 저해된다. 단계(phase) 인식, 스텝(step) 인식, 선행 예측(anticipation)과 같은 시간적 워크플로 태스크는 밀집(dense) 프레임 수준 지도(supervision)의 이점을 누리는 반면, 기구(instrument) 분할(segmentation) 및 액션(action) 인식을 포함한 픽셀 수준의 공간적 태스크는 라벨링 비용이 과도하여 선택된 키프레임(keyframe)에만 희소(sparse)하게 어노테이션된다. 이러한 지도 불균형은 공유 표현(representation) 학습을 약화시키고 이질적인(heterogeneous) 수술 태스크 전반의 공동(joint) 최적화를 제한한다. 이를 해결하기 위해, 우리는 flow-guided 레이블 보간(label interpolation) 프레임워크인 Flow-guided Annotation for Robust Operating Scenes(FAROS)를 제안한다. FAROS는 제로샷(zero-shot) segmentation 기반 마스크 전파(mask propagation)와 optical flow 추정(estimation)을 결합하여 가림(occlusion), 연기(smoke), 모션 블러(motion blur)와 같은 도전적인 수술 조건에서 외관(appearance) 기반 전파의 한계를 극복하고, 희소 키프레임 어노테이션으로부터 시간적으로 일관된 밀집 pseudo label을 생성한다. 밀집화된 기구 마스크와 액션 레이블은 수술 단계 인식, 스텝 인식, 선행 예측, 기구 분할, 액션 인식을 공동으로 학습하는 통합 트랜스포머(Transformer) 기반 다중 태스크 프레임워크에 통합되어, 밀집 시간적 지도와 희소 공간적 지도 간의 균형 잡힌 최적화를 가능하게 한다. FAROS의 레이블 보간 품질은 희소 ground-truth 프로토콜 하에서 DAVIS 2017 벤치마크에서 먼저 검증되어, 수술 도메인을 넘어선 견고한 전파를 확인한다. GraSP, MISAW, AutoLaparo 벤치마크에 대한 광범위한 실험은 FAROS가 교차 태스크 표현 학습을 크게 개선하고 시공간(spatio-temporal) 태스크 전반에 걸친 전체적인(holistic) 수술 장면 이해 성능을 향상시킴을 추가로 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.