Just Noticeable Difference Modeling for Face Recognition System
원문 초록
High-quality face images are required to guarantee the stability and reliability of automatic face recognition (FR) systems in surveillance and security scenarios. However, a massive amount of face data is usually compressed before being analyzed due to limitations on transmission or storage. The compressed images may lose the powerful identity information, resulting in the performance degradation of the FR system. Herein, we make the first attempt to study just noticeable difference (JND) for the FR system, which can be defined as the maximum distortion that the FR system cannot notice. More specifically, we establish a JND dataset including 3530 original images and 137,670 compressed images generated by advanced reference encoding/decoding software based on the Versatile Video Coding (VVC) standard (VTM-15.0). Subsequently, we develop a novel JND prediction model to directly infer JND images for the FR system. In particular, in order to maximum redundancy removal without impairment of robust identity information, we apply the encoder with multiple feature extraction and attention-based feature decomposition modules to progressively decompose face features into two uncorrelated components, i.e., identity and residual features, via self-supervised learning. Then, the residual feature is fed into the decoder to generate the residual map. Finally, the predicted JND map is obtained by subtracting the residual map from the original image. Experimental results have demonstrated that the proposed model achieves higher accuracy of JND map prediction compared with the state-of-the-art JND models, and is capable of saving more bits while maintaining the performance of the FR system compared with VTM-15.0.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
품질 인식 다중모달 융합이 정서-각성 특징 속 암묵적 신원을 드러냄
Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features
기존 얼굴 인식은 정적 외모 단서에 의존하며, 표정 변화, 가림, 조명 불량이 있는 비제약 환경에서 성능이 저하된다. 우리는 시청각 표정 역학이 정적 외모를 보완하는 신원 구별 정보를 담고 있으며, 이러한 신호를 추출하려면 in-the-wild 영상의 가변적 입력 품질에 강건한 다중모달 표현이 필요하다고 가설을 세운다. 이러한 표현을 학습하기 위해 다중모달 정서-각성(valence-arousal, VA) 추정을 사전과제(pretext task)로 설정하고, 샘플별·모달리티별 신뢰도를 추정하며 학습된 소프트 게이팅(soft gating)과 품질 의존적 드롭아웃을 통해 각 모달리티의 기여도를 조절하는 Quality-Aware Adaptive Fusion(QAAF)을 제안한다. VA 추정 문제에서 QAAF는 Aff-wild2에서 late fusion 앙상블을 통해 평균 Concordance Correlation Coefficient(CCC) 0.472를 달성하며, 동일 설정의 기준선 앙상블(0.415) 및 단일 백본 기준선(0.288) 대비 향상을 보인다. 또한 제안한 QAAF는 사용 불가능한 모달리티에 대해 더 큰 견고성을 보이며, 한 모달리티가 누락될 때 CCC가 상대적으로 7.5–34.4%만 감소한다. 이어서 우리는 이러한 VA 학습 특징이 신원 특화 학습 없이도 신원을 인코딩하는지 조사한다. AFEW-VA(67명 배우)와 YTF(1,595명 피험자)에서 VA 학습 백본 특징은 평가된 소프트 생체인식(soft biometric) 방법 중 1위를 기록했으며, ArcFace와의 score-level 융합은 두 데이터셋 모두에서 EER을 낮춘다(AFEW-VA에서 0.022→0.021, YTF에서 0.106→0.104). AFEW-VA에서는 ArcFace의 오수용(false accept) 중 68.2%를 수정한다. 이러한 결과는 다중모달 VA 추정이 기존 얼굴 인식을 보완하는 소프트 생체인식 모달리티임을 입증한다.
고정 비전 기본 모델에서의 창발적 영역 수준 얼굴 대응
Emergent Region-Level Facial Correspondence in Frozen Vision Foundation Models
고정된 자기지도 비전 모델은 일반 객체의 부분들을 정렬할 수 있지만, 전역 레이아웃은 공유되면서 동일인 특이적 외모가 급격히 달라지는 인간 얼굴에 이 대응이 확장되는지는 여전히 불분명하다. 우리는 고정된 DINOv3 특징이 영역 수준의 얼굴 좌표계를 정의하는지 검증한다. 이는 얼굴 특화 학습 없이도 사람과 시간에 걸쳐 눈, 눈썹, 코, 입, 피부, 머리카락이 구분 가능한 특징 공간이다. DINOv3 ViT-L/16 패치 임베딩을 사용하고 FaRL은 얼굴 부위 라벨링 인터페이스로만 사용하여, 200개의 CelebDF-v2 실제 동영상에서 교차 동일인 최근접 이웃 매칭과 시간적 라벨 전파를 평가한다. DINOv3는 제약 없는 교차 동일인 매칭에서 83.0%의 영역 수준 의미 정확도를 달성하며, 23.0%의 면적 가중 무작위 기준선과 비교된다. 또한 학습된 시간적 모듈 없이 95.5%의 시간적 추적 정확도를 기록한다. FaRL 없는 대조군은 0.9%로 붕괴하여, FaRL이 의미적 초기화를 제공하고 DINOv3가 밀집 공간 대응을 제공함을 보여준다. 가장 강한 대응은 중간 층에서 나타난다. 블록 18은 최종 블록의 1.48배에 비해 동일 영역 대 교차 영역 판별 비율 4.93배를 보인다. CLIP ViT-L/14와 대비하면 DINOv3는 전체적으로 작은 우위만 보이지만 해부학적 영역에서 +16.8퍼센트포인트 향상을 보이며, 이는 이미지 수준 대조 감독이 거친 얼굴 레이아웃은 포착하지만 미세한 해부학적 정체성은 포착하지 못함을 시사한다. 이러한 결과는 고정 DINOv3를 영역 수준 얼굴 대응을 위한 강력한 제로샷 표현으로 확립하고, 밀집 얼굴 분석에 가장 유용한 층으로 중간 자기지도 특징을 확인한다.
다중 과업 정서 행동 분석을 위한 과업별 특징 융합 방법
Task-Specific Feature Fusion Method for Multi-Task Affective Behavior Analysis
11th Affective Behavior Analysis in-the-wild(ABAW11) 다중 과업 학습 챌린지는 공식 s-Aff-Wild2 이미지로부터 valence-arousal, 범주형 표정(categorical expressions), 얼굴 action unit을 예측하는 통합 시스템을 요구한다. 이러한 과업들은 얼굴 행동을 통해 자연스럽게 연관되어 있지만, 검증 실험 결과 서로 다른 시각적 특징, 시간적 처리 전략, 융합 메커니즘, 보정 절차로부터 이점을 얻는 것으로 나타났다. 본 논문에서는 ABAW11 다중 과업 정서 행동 분석을 위한 과업 적응형 특징 융합을 연구한다. 먼저 두 사전학습 시각 백본인 DINOv2 ViT-L 및 DINOv3 ConvNeXt-base를 외부 표현 지향 얼굴 이미지 세트에서 적응한 뒤 고정하여, 공식 ABAW11 데이터로부터 상보적인 프레임 수준 특징을 추출한다. 이 고정된 특징 위에 프레임 수준 예측 헤드, 시간적 합성곱 헤드, 사후 시간적 스무딩, LightGBM 모델, 특징 연결, 게이트 융합, 잔차 융합, 후기 로짓 융합, 임계값 보정, 공유 MTL 구조를 체계적으로 비교한다. 최종 시스템은 모든 과업이 단일 아키텍처를 공유하도록 강제하지 않고, 과업별 융합 및 예측 전략을 선택한다. ABAW11 검증 세트에서 선택된 시스템은 EXPR macro-F1 0.4222, AU macro-F1 0.5402, 평균 VA CCC 0.6717을 달성하여 전체 검증 점수 1.6341을 기록했다. 결과는 고정된 시각적 특징의 과업 적응형 융합이 ABAW 스타일 다중 과업 정서 행동 분석을 위한 단순하면서도 효과적인 전략임을 시사한다.
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
비전 트랜스포머에서의 형태 기반 도형-배경 조직화
Shape-based Figure-Ground Organization in Vision Transformers
풍부한 지각 구조가 최신 비전 인코더에서 나타난다. 여러 연구에서 다수의 비전 트랜스포머의 내부 표현이 전경 객체를 배경으로부터 분리한다는 점이 밝혀졌으나, 이러한 모델이 어떤 시각적 단서를 학습했는지는 거의 알려져 있지 않다. 본 연구에서는 25개의 다양한 비전 트랜스포머에서 도형-배경 조직화가 표면적인 텍스처 통계가 아니라 일반화 가능한 형태 단서에 의존하는지를 조사한다. 이를 위해 패치를 도형 또는 배경으로 분류하는 선형 프로브를 학습시키고, 개별 단서를 체계적으로 조작한 합성 자극에 대해 제로샷으로 평가한다. 다양한 비전 인코더에서 프로브가 입력 이미지의 텍스처를 무작위로 교체해도 견고하다는 것을 확인했으며, 이는 나타나는 도형-배경 조직화가 형태 단서에 의존함을 시사한다. 또한 프로브는 개별 형태 단서, 인식 가능성, 공간적 사전 정보를 통제한 합성 이미지에도 제로샷 방식으로 일반화된다. 실험 결과 둘러싸임 및 볼록성 단서의 영향이 강하게 나타났으며, 평행성과 대칭성에 대한 결과는 더 미묘했다. 보다 상세한 분석에서는 더 큰 모델에서 형태 기반 단서의 증거가 더 강하고, 객체 인식을 위해 학습된 모델은 텍스처 변화에 덜 견고한 경향이 있으며, 도형-배경 정보는 중간 층에서 가장 두드러지게 나타남을 보였다. 종합하면, 본 연구는 최근 비전 인코더에서 나타나는 도형-배경 조직화가 일반화 가능한 형태 단서에 크게 의존함을 보여 주며, 비전 트랜스포머의 내부 처리에 대한 이해를 증진하고 인간 시지각에 대한 계산 연구의 흥미로운 길을 연다. 코드와 데이터는 https://github.com/mtangemann/mlvbench 에서 이용할 수 있다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.