arXiv:2006.07810

Disentanglement for Discriminative Visual Recognition

Xiaofeng Liu

제출 2020-06-14

원문 초록

Recent successes of deep learning-based recognition rely on maintaining the content related to the main-task label. However, how to explicitly dispel the noisy signals for better generalization in a controllable manner remains an open issue. For instance, various factors such as identity-specific attributes, pose, illumination and expression affect the appearance of face images. Disentangling the identity-specific factors is potentially beneficial for facial expression recognition (FER). This chapter systematically summarize the detrimental factors as task-relevant/irrelevant semantic variations and unspecified latent variation. In this chapter, these problems are casted as either a deep metric learning problem or an adversarial minimax game in the latent space. For the former choice, a generalized adaptive (N+M)-tuplet clusters loss function together with the identity-aware hard-negative mining and online positive mining scheme can be used for identity-invariant FER. The better FER performance can be achieved by combining the deep metric loss and softmax loss in a unified two fully connected layer branches framework via joint optimization. For the latter solution, it is possible to equipping an end-to-end conditional adversarial network with the ability to decompose an input sample into three complementary parts. The discriminative representation inherits the desired invariance property guided by prior knowledge of the task, which is marginal independent to the task-relevant/irrelevant semantic and latent variations. The framework achieves top performance on a serial of tasks, including lighting, makeup, disguise-tolerant face recognition and facial attributes recognition. This chapter systematically summarize the popular and practical solution for disentanglement to achieve more discriminative visual recognition.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27252v1cs.LG공통 태그 Metric Learning, Disentanglement

플라톤적 표현 가설에서 무엇이 수렴하는가? 기하학보다 구조

What Converges in the Platonic Representation Hypothesis? Structure over Geometry

플라톤적 표현 가설(Platonic Representation Hypothesis)은 모델의 능력이 향상될수록 공유된 표현으로 수렴(convergence)한다고 제안합니다. 최근 연구에서는 이 주장을 공유된 국소적 이웃 관계로 좁히며, 보정(calibration)을 거치고 나면 여러 전역적 유사도 측정치에서 나타나는 용량 의존적 경향이 대체로 사라진다는 점을 발견했습니다. 본 연구에서는 기존의 국소-전역 비교가 구조적 스케일(국소적 대 전역적)과 비교 대상 자체를 혼동하고 있음을 보여줌으로써 이러한 해석에 의문을 제기합니다. 즉, 어떤 샘플들이 연관되어 있는지를 정의하는 '관계적 구조(relational structure)'와 거리, 유사도, 상관관계와 같은 정량적 관계로 특징지어지는 '계량적 기하학(metric geometry)'을 혼동했다는 것입니다. 이러한 요인들을 분리하기 위해, 국소 및 전역 스케일 모두에서 관계적 구조와 계량적 기하학을 평가하는 통제된 $2\times2$ 프레임워크를 구축합니다. 상호 $k$-최근접 이웃(mutual $k$-nearest neighbors)의 전역적 대응물로서 $H_0$ 스켈레톤 중첩(skeleton overlap)을 도입하고, 이에 대응하는 거리 인식(distance-aware) 변형들도 함께 제시합니다. 비전-언어 모델 전반에 걸쳐, 관계적 구조는 보정 후 두 스케일 모두에서 강력한 표현 수렴을 보이는 반면, 거리에 대한 일치 기준이 엄격해질수록 정렬(alignment)이 크게 약화되며 용량 의존적 경향도 점차 평탄화됩니다. 나아가 리만 계량 근사(Riemannian metric approximation) 하에서 거리 일치도를 평가함으로써 주변 유클리드 기하학을 넘어서는 분석으로 확장하였으며, 동일한 구조-기하학 패턴을 재현해 냈습니다. 이 패턴은 비디오-텍스트 표현에서도 동일하게 재현됩니다. 종합적으로, 이러한 결과는 관계적 수렴이 국소적 이웃을 넘어 전역적 스패닝 구조(global spanning structure)로까지 확장되는 반면, 계량적 기하학은 현저히 약한 수렴을 보임을 명백히 드러냅니다.

arXiv:2609.27115v1cs.CV공통 태그 Metric Learning, Face Recognition

Damnatio Memoriae: 얼굴 인식 모델의 임베딩 공간에서 정체성을 적대적·선택적으로 망각하기

Damnatio Memoriae: Adversarially and Selectively Forgetting Identities in the Embedding Space of Face Recognition Models

얼굴 인식 모델은 한 사람이 서로 다른 시점에 촬영된 두 이미지의 임베딩 유사도가 운용 임계값을 넘으면 이를 동일인으로 연결한다. 우리는 모델이 나머지 집단에 대해서는 계속 사용되는 동안, 선택된 정체성들을 서로 다른 시점 간에 연결 불가능하게 만드는 문제를 다룬다. 해당 이미지를 삭제하고 재학습하는 것으로는 이를 달성할 수 없는데, 모델이 학습에서 한 번도 관찰되지 않은 정체성도 인식하기 때문이다. 따라서 이러한 정체성들에 대해 임베딩 공간을 변경해야 하며, 이 과정을 오픈셋 적대적 망각(open-set adversarial forgetting)이라고 부른다. 우리는 세 가지 손실 함수를 제안한다. 하나는 한 정체성의 임베딩을 그 중심(centroid)에서 분산시키는 것이고, 두 개는 각 이미지를 고유한 근직교(near-orthogonal) 타깃에 매핑하는 것으로, 분류기 헤드와 함께 학습하거나 사전에 거의 직교 정규(almost-orthonormal) 프레임으로 고정할 수 있다. 각 손실은 각 정체성 이미지의 부분집합에 대해 분류 목표와 함께 파인튜닝된다. 검증(verification)과 식별(identification)에서 선행 연구의 네 가지 방법과, 두 가지 망각 규모, 세 가지 백본에서 이를 평가한다. 임베딩 기하에 작용하는 모든 손실은 망각 대상 정체성을 거의 식별 불가능하게 만든다. 직교 정규 프레임만으로도 강한 망각을 달성하며, 해당 부분집합의 이미지가 비교에 개입하는 모든 경우에 성립하고 서로 다른 망각 정체성들을 연결 불가능한 상태로 둔다. 또한 더 높은 유지(retain) 비율에서 동시기 비지도 방법을 능가한다.

arXiv:2606.30611v3cs.CV공통 태그 Face Recognition, Facial Expression Recognition

안면 표정 이해를 위한 비디오 트랜스포머의 프레임별 어텐션 재가중

Reweighting Framewise Attention in Video Transformers for Facial Expression Understanding

비디오에서 안면 표정을 이해하려면 비제약 환경에서 미세하고 국소적인 얼굴 동작을 모델링해야 한다. 최근 Vision Transformer(ViT) 기반 비디오 모델들이 대규모 자기지도 사전학습을 통해 높은 성능을 보이고 있으나, 이들의 어텐션 메커니즘은 지배적인 전역 움직임과 거친 시간적 동역학을 강조하는 경향이 있어 미세한 얼굴 변화에 대한 민감도가 제한된다. 이러한 한계를 해결하기 위해, 우리는 MiRA(Marginal-induced Attention Redistribution)를 제안한다. MiRA는 추가적인 학습 가능한 파라미터 없이 미세한 얼굴 동작에 대한 시공간적 선택성을 향상시키는 ViT 백본용 플러그인 프레임 마진 어텐션 재분배 프레임워크이다. MiRA는 셀프 어텐션 맵으로부터 프레임 수준의 신뢰도와 프레임 내 집중 통계를 도출하여 프레임별 마진 중요도를 추정하고, 시공간적으로 국소화된 얼굴 단서 방향으로 어텐션을 재분배한다. 먼저 소프트맥스 이후 어텐션 재분배에 기반한 원칙적인 정확 모드(exact mode)를 도입한다. 효율성을 더욱 높이기 위해, 프레임 마진 재분배를 FlashAttention 커널에 통합하면서 정확 공식의 효과를 유지하는 경량 소프트맥스 이전 근사 방식인 flashLite 모드를 제안한다. 난이도 높은 안면 표정 인식(FER) 벤치마크에서의 실험 결과, 강력한 ViT 기준 모델 대비 일관된 성능 향상이 확인되었다.

arXiv:2607.24422v1cs.CV공통 태그 Metric Learning, Face Recognition

IJCB-AFMFR 2026: 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회

IJCB-AFMFR 2026: Competition on Adapting Foundation Models for Face Recognition Using Synthetic Training Data

본 논문은 2026 International Joint Conference on Biometrics(IJCB 2026)에서 개최된 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회(Adapting Foundation Models for Face Recognition Using Synthetic Training Data, AFMFR)의 요약을 제시한다. 경진대회에는 상호 보완적인 두 트랙에 걸쳐 4개 팀으로부터 총 8건의 유효한 제출물이 접수되었다. Full Data Track에서는 참가자들이 대규모 합성 신원(identity) 데이터를 사용하여 CLIP ViT-L/14 파운데이션 모델을 적응시키며, Limited Data Track은 보다 자원이 제한된 적응 환경을 반영하도록 설계되었다. 모든 학습 데이터는 IDPERTURB만을 사용하여 생성되었다. 제출된 솔루션은 Borda count 방법을 사용하여 LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C, TinyFace를 포함한 다양한 벤치마크에서의 검증(verification) 및 식별(identification) 성능을 기준으로 순위가 매겨졌다. 공정성(fairness) 평가는 RFW 데이터셋에서 4개 인구통계학적 그룹에 걸쳐 추가로 수행되었다. 결과는 합성 학습 데이터를 이용한 CLIP 파운데이션 모델의 적응이 기성(off-the-shelf) 모델 대비 상당한 개선을 보이며, 여러 경우 기준선을 능가함을 보여준다. 특히 Sub-Center ArcFace(DMSTI-Neurotechnology)를 이용한 전체 미세조정(full fine-tuning)이 Full Data Track을 선도했으며, rank-stabilized LoRA 적응(Idiap-BSP)은 제한된 데이터 조건에서 가장 효과적인 것으로 나타났다.

arXiv:2607.04431v2stat.ML공통 태그 Metric Learning, Face Recognition

쌍별 분위수 회귀에 관하여 - 통계적 보장과 응용

On Pairwise Quantile Regression - Statistical Guarantees and Applications

분위수 회귀(quantile regression)는 공변량 $Z$에 대한 함수로 관심 있는 실수값 확률변수(r.v.) $Y$의 조건부 분포를 요약하는 강력한 도구를 제공하며, 이는 높은 확률로 큰 분산을 보이는 경우에 해당하고, 표준 최소제곱 회귀(least squares regression)가 정보적이거나 예측적으로 유용한 상황을 넘어선다. 본 논문은 이 방법론을 쌍별(pairwise) 설정으로 확장하는 것을 목표로 한다. 여기서 설명 대상 변수는 두 독립 관측치(예: 생체인식 시스템 입력으로 사용되는 픽셀화된 신분증 사진) 간의 유사도 점수이며, 설명 변수는 나이나 머리색과 같이 이러한 관측치에 부속된 공변량 쌍으로 구성된다. 우리는 이 통계적 학습(statistical learning) 문제의 해에 대한 이론적 보장을 확립한다. 여기서 이 문제는 핀볼 손실(pinball loss)의 쌍별 버전에 대한 경험적 최소화자(empirical minimizer)로 간주된다. $U$-과정($U$-process)에 대한 날카로운 집중(concentration) 결과를 활용하여 일반화 경계(generalization bound)를 증명하고, 빠른 학습률(fast learning rate)을 달성할 수 있는 완화된 조건을 확인한다. 확률론적 분석을 뒷받침하기 위해, 시뮬레이션 데이터 기반 실험 또한 쌍별 분위수 회귀를 위해 여기서 제안하는 방법론의 타당성에 대한 확실한 실증적 증거를 제공한다. 마지막으로, 얼굴 인식에서 유사도 점수 산출 오류를 분석하는 것을 목표로 한 상세 연구를 통해 응용 관점에서의 유용성을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.