Jitter Does Matter: Adapting Gaze Estimation to New Domains
원문 초록
Deep neural networks have demonstrated superior performance on appearance-based gaze estimation tasks. However, due to variations in person, illuminations, and background, performance degrades dramatically when applying the model to a new domain. In this paper, we discover an interesting gaze jitter phenomenon in cross-domain gaze estimation, i.e., the gaze predictions of two similar images can be severely deviated in target domain. This is closely related to cross-domain gaze estimation tasks, but surprisingly, it has not been noticed yet previously. Therefore, we innovatively propose to utilize the gaze jitter to analyze and optimize the gaze domain adaptation task. We find that the high-frequency component (HFC) is an important factor that leads to jitter. Based on this discovery, we add high-frequency components to input images using the adversarial attack and employ contrastive learning to encourage the model to obtain similar representations between original and perturbed data, which reduces the impacts of HFC. We evaluate the proposed method on four cross-domain gaze estimation tasks, and experimental results demonstrate that it significantly reduces the gaze jitter and improves the gaze estimation performance in target domains.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ASV3D: 추가 이미지를 활용한 확산 기반 단일 뷰 3D 복원 적응
ASV3D: Adapting Diffusion-Based Single-View 3D Reconstruction with Extra Imagery
단일 이미지로부터 3D 객체를 복원하는 것은 컴퓨터 비전(CV) 분야의 핵심 연구 주제입니다. 주요 과제는 3D 구조를 완성하기 위한 중요한 시점(viewpoint)의 정보가 부족하다는 점입니다. 추가 시점 이미지를 사용하면 이 문제를 해결하는 데 도움이 될 수 있습니다. 그러나 확산(diffusion) 기반 단일 뷰 3D 복원 원리에 추가 시점을 통합할 수 있는 메커니즘은 존재하지 않습니다. 본 연구에서는 하나의 추가 이미지를 지원받아 확산 기반 단일 뷰 3D 객체 복원을 테스트 시점 데이터에 적응시키는 프레임워크인 ASV3D를 제안하여 이 문제를 해결합니다. 우리는 두 가지 적응 전략을 도입합니다: (i) 재학습 없이 보조 이미지를 활용하여 객체의 복원 품질을 향상시키는 제로샷(zero-shot) 적응 기법과, (ii) 대조 학습(contrastive learning)을 통해 시각적 충실도와 시점 간 일관성을 더욱 향상시키는 최적화(optimised) 적응 기법입니다. 벤치마크 및 실제 데이터셋 모두에서 두 가지 최첨단 확산 기반 단일 뷰 3D 복원 파이프라인을 개선하기 위해 ASV3D를 적용했습니다. 실험 결과는 우리의 접근 방식이 제약 없는 다중 뷰 입력 환경에서 복원 정확도와 강건성을 일관되게 향상시키며, 정량적 지표와 사용자 선호도 모두에서 베이스라인을 능가함을 입증합니다. 우리는 코드와 실제 객체 데이터셋을 프로젝트 페이지(https://github.com/YNhuHuynh/ASV3D/tree/main)에 공개합니다.
탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습
Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks
AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.
UnDA: 의료 영상에서 교차 모달 지식 전이를 위한 비쌍 도메인 정렬
UnDA: Unpaired Domain Alignment for Cross-Modal Knowledge Transfer in Medical Imaging
다중 모달 기반 접근법은 서로 다른 모달리티가 상보적인 정보를 제공하기 때문에 다운스트림 태스크에서 단일 모달리티 접근법보다 종종 더 우수한 성능을 보이지만, 실제 시나리오에서는 쌍을 이룬 임상 데이터를 확보하는 것이 여전히 큰 과제로 남아 있다. 교차 모달 지식 증류가 이를 해결하지만, 기존 방법들은 큰 모달리티 간격과 불확실한 소스 도메인 예측으로부터 발생하는 노이즈 전파에 종종 어려움을 겪는다. 이러한 과제를 극복하기 위해, 우리는 비쌍 교차 모달 지식 증류를 위한 앵커 기반 프레임워크인 UnDA를 제안한다. 우리 접근법은 어텐션 기반 풀링 메커니즘을 통해 의미적으로 구조화된 클래스 토큰을 추출하는 백본 불문 정렬 모듈(Alignment Module)을 도입한다. 견고한 지식 전이를 보장하기 위해, 예측 신뢰도에 따라 특징 수준 정렬에 동적으로 가중치를 부여하여 노이즈가 많은 지도를 효과적으로 억제하는 불확실성 가중 최적 수송(Uncertainty-Weighted Optimal Transport, UCT-OT)을 제안한다. 또한, 클래스별 ProtoNCE 목적 함수는 안정적인 프로토타입 메모리를 유지하여 비쌍 배치 전반에 걸쳐 전역 판별력을 강화한다. 엄격한 비쌍 설정 하에서 대표적인 분할(segmentation) 태스크에 대한 평가는 대상 모달리티에서 정확도와 경계 정밀도의 일관된 향상을 보여 주며, 쌍을 이룬 데이터셋 없이도 이질적인 데이터 소스 간에 의미 있는 구조적 지식을 전이할 수 있음을 입증한다.
Multiview Contrastive Learning for Unsupervised Domain Adaptation in Brain–Computer Interfaces
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
When Watermarks Turn Adversarial: Exposing Vulnerabilities in Document Understanding
토론
이 논문과 연결된 포럼 글이 아직 없습니다.