With the rapid development of deep learning technology, deep learning-based Image-to-Image (I2I) networks have become the predominant choice for I2I tasks like image super-resolution and denoising. Despite their remarkable performance, the security of I2I networks has not been thoroughly investigated. While some studies have probed their susceptibility to adversarial attacks, none have explored the backdoor attack against I2I networks, which is a more stealthy and severe threat. In this work, for the first time, we comprehensively investigate the vulnerability of I2I networks to backdoor attacks. We propose a backdoor attack against I2I tasks, where the backdoored I2I network behaves normally on clean input images, yet outputs a specific inappropriate image when the backdoor trigger appears on the input image. To achieve such an I2I backdoor attack, we design a universal adversarial perturbation (UAP) generation algorithm for I2I networks, where the generated UAP is used as the trigger for the I2I backdoor. Besides, multi-task learning (MTL) with dynamic weighting methods is employed in the backdoor training process to gain better results. Expanding our focus beyond I2I tasks, we extend our I2I backdoor to attack downstream tasks, including image classification and object detection. Specifically, the backdoor-triggered image processed by the backdoored image denoising network can fool the downstream image classifiers and object detectors. Extensive experiments demonstrate the effectiveness of the I2I backdoor on state-of-the-art I2I network architectures as well as the robustness against different backdoor defenses.
저조도 영상을 향상할 때 많은 딥러닝 알고리즘은 Retinex 이론에 기반한다. 그러나 Retinex 모델은 어둠 속에 숨어 있거나 밝게 하는 과정에서 발생하는 손상을 고려하지 않는다. 또한 이러한 방법은 대개 번거로운 다단계 학습 파이프라인을 요구하고 합성곱 신경망에 의존하여 장거리 의존성을 포착하는 데 한계를 보인다. 본 논문에서는 단순하면서도 원리에 충실한 단일 단계 Retinex 기반 프레임워크(ORF)를 정식화한다. ORF는 먼저 조명 정보를 추정하여 저조도 영상을 밝게 한 다음, 손상을 복원하여 향상된 영상을 생성한다. 조명 표현을 활용하여 서로 다른 조명 조건을 가진 영역들 간의 비국소적 상호작용 모델링을 유도하는 조명 유도 트랜스포머(IGT)를 설계한다. IGT를 ORF에 결합하여 제안 알고리즘인 Retinexformer를 얻는다. 포괄적인 정량적·정성적 실험을 통해 Retinexformer가 13개 벤치마크에서 최신 방법들을 크게 능가함을 보인다. 사용자 연구와 저조도 객체 검출에의 응용 또한 본 방법의 잠재적인 실용적 가치를 보여 준다. 코드, 모델 및 결과는 https://github.com/caiyuanhao1998/Retinexformer 에서 이용할 수 있다. 온라인 Gradio 데모는 Hugging Face의 https://huggingface.co/spaces/CaiYuanhao/Retinexformer 에서 이용할 수 있다.
강한 데이터 증강은 최신 평균 교사(mean teacher) 기반 소스 프리 도메인 적응형 객체 탐지(SFOD) 방법의 핵심 구성요소로서, 약한 증강과 함께 일관성 기반 자기지도 최적화를 가능하게 한다. 그러나 우리의 이론적 분석과 실증적 관찰은 중대한 한계를 드러낸다. 강한 증강은 클래스 관련 성분을 의도치 않게 지워 인위적인 범주 간 혼동을 초래할 수 있다. 이 문제를 해결하기 위해 우리는 전체 의미를 보존하는 약하게 증강된 이미지를 앵커로 활용하여, 강하게 증강된 대응 이미지의 특징 공간을 풍부하게 하는 새로운 해결책인 약-강 의미 보상(WSCo)을 제안한다. 본질적으로 이는 강한 증강 과정에서 실시간으로 손실될 수 있는 클래스 관련 의미를 보상한다. 특히 WSCo는 범용 플러그인으로 구현할 수 있어 기존의 모든 SFOD 파이프라인에 쉽게 통합할 수 있다. 폭넓은 실험을 통해 강한 증강이 탐지 성능에 미치는 부정적 영향과, 표준 벤치마크에서 기존 탐지 모델의 성능을 향상시키는 WSCo의 효과를 검증한다.
검출 트랜스포머는 최근 유망한 객체 검출 결과를 보이며 점점 더 많은 관심을 받고 있다. 그러나 교차 도메인 성능을 향상시키기 위한 효과적인 도메인 적응 기법을 어떻게 개발할 것인지는 여전히 탐구되지 않았고 불분명하다. 본 논문에서는 이 주제를 깊이 파고들어, CNN 백본에서의 직접적인 특징 분포 정렬은 트랜스포머에서 예측에 사용되는 시퀀스 특징의 도메인 불변성을 보장하지 않기 때문에 제한적인 향상만을 가져온다는 것을 실험적으로 발견한다. 이 문제를 해결하기 위해 검출 트랜스포머의 적응을 위해 특별히 설계된 새로운 시퀀스 특징 정렬(SFA) 방법을 제안한다. 기술적으로 SFA는 도메인 쿼리 기반 특징 정렬(DQFA) 모듈과 토큰 단위 특징 정렬(TDA) 모듈로 구성된다. DQFA에서는 새로운 도메인 쿼리를 사용하여 두 도메인의 토큰 시퀀스로부터 전역 문맥을 집계하고 정렬한다. DQFA는 트랜스포머 인코더와 디코더에 각각 적용될 때 전역 특징 표현과 객체 관계에서의 도메인 불일치를 줄인다. 한편 TDA는 두 도메인의 시퀀스 내 토큰 특징을 정렬하여, 트랜스포머 인코더와 디코더에서 각각 지역 및 인스턴스 수준 특징 표현의 도메인 격차를 줄인다. 또한 강건한 객체 검출을 위한 특징 변별력을 높이기 위해 새로운 이분 매칭 일관성 손실을 제안한다. 세 가지 까다로운 벤치마크에서의 실험 결과 SFA가 최신 도메인 적응형 객체 검출 방법들을 능가함을 보인다. 코드는 https://github.com/encounter1997/SFA 에서 공개되어 있다.
수중 물체 탐지는 도메인 변화의 영향을 크게 받으며, 성능은 위치, 서식지, 배치 조건에 따라 크게 달라질 수 있다. 그러나 탐지기 성능은 일반적으로 특정 환경에서의 실패를 가리는 종합 지표로 평가되며, 기존 도메인 일반화 벤치마크는 실제 조건을 반영하지 못하는 합성 변형에 의존하는 경우가 많다. 이러한 한계를 해결하기 위해 우리는 외관, 장면 구성, 획득 기하를 기준으로 수중 이미지를 특성화하여 도메인 레이블을 부여하는 프레임워크를 도입한다. 이 프레임워크를 사용하여, 도메인 요인이 수중 물체 탐지 데이터셋에서의 사람의 주석 품질과 딥러닝 기반 탐지기 성능에 어떻게 영향을 미치는지에 대한 최초의 체계적 연구를 수행했으며, 도메인에 따른 상당한 불일치를 밝혀냈다. 물리적으로 의미 있는 도메인 레이블을 도입함으로써, 도메인 변화는 우리가 특성화하고, 측정하고, 벤치마크하고, 대응할 수 있는 대상이 된다. 우리는 이 프레임워크가 데이터 수집과 주석 작업을 안내하고, 더 유익한 벤치마크를 설계하며, 다양한 수중 환경에서 탐지기의 견고성을 평가하는 데 어떻게 활용될 수 있는지 강조한다.
이벤트 트리거 녹화는 감시 카메라가 저장해야 하는 영상 분량을 줄이지만, 트리거가 유휴 영상을 얼마나 보존할지, 얼마나 많은 이벤트를 놓칠지, 계산을 얼마나 소비할지를 결정한다. 우리는 하나의 녹화 정책 아래에서 여섯 가지 움직임 트리거(프레임 차분, 밀집 광류, MOG2, KNN, CNT, GSOC), CNN 검출기, 스트라이드 검출, 그리고 세 가지 움직임 게이트 하이브리드를 비교한다. 이는 정적 카메라 장면 7개(5,800 프레임, 주석이 달린 이벤트 27개)로 구성된 벤치마크에서 수행하며, 임계값은 한 영상씩 제외하는 방식(leave-one-video-out)으로 보지 못한 장면에 전이한다. 검출기 기반 트리거는 유휴 프레임의 19-28%를 저장한 반면 움직임 트리거는 36-89%를 저장했다. 시뮬레이션된 카메라 흔들림 하에서 프레임 차분, 광류, MOG2, KNN은 유휴 프레임의 97-100%를 저장했으나 검출기 트리거는 29% 미만을 유지했다. 8프레임마다 검출기를 실행하면 프레임당 CPU 9.8 ms로 이벤트 프레임의 99.7%를 유지했으며, 이는 배경 제거로 게이팅하는 것보다 저렴하고 더 강건했다. VisDrone에서 YOLO11n의 입력을 640에서 1280 px로 높이자 AP가 15.5에서 26.8로 상승하여 더 큰 모델을 쓰는 것보다 효과가 컸고, INT8 양자화는 AP 0.3 손실로 지연 시간을 17% 줄였다. 추적에서는 트랙 메모리를 늘리면 IDF1이 70.5에서 76.7로 상승했지만, 연관이 아닌 검출이 실패했기 때문에 모든 추적기가 겹친 사람의 39-44%만 복구했다.
Detector confidence is often used to decide whether a robot needs another view of a target. We test this signal against detector-free visibility from geometry segmentation. In controlled clutter, Grounding DINO confidence remains nearly constant as target visibility falls from all scenes to one in eight. OWLv2 and SAM 3 retain positive correlations with visibility, but all three detectors lose target-instance localization under heavy occlusion. Grounding DINO reports a hidden target present in about nine of ten scenes by detecting same-category distractors. Consequently, confidence understates the benefit of additional views ($8$ versus $88$ percentage points). In a $40$-scene localization comparison, additional-view selection and fusion increase target localizability from $5\%$ to $100\%$. Experiments cover nine categories, two simulators, and real video. On DAVIS, confidence correlates positively with visible area, yet $99\%$ of occluded frames yield a detection and $94\%$ of those detections miss the tracked target. These results distinguish category presence from target visibility and motivate target-grounded evaluation of active perception.