Semi-supervised Contrastive Regression for Estimation of Eye Gaze
원문 초록
With the escalated demand of human-machine interfaces for intelligent systems, development of gaze controlled system have become a necessity. Gaze, being the non-intrusive form of human interaction, is one of the best suited approach. Appearance based deep learning models are the most widely used for gaze estimation. But the performance of these models is entirely influenced by the size of labeled gaze dataset and in effect affects generalization in performance. This paper aims to develop a semi-supervised contrastive learning framework for estimation of gaze direction. With a small labeled gaze dataset, the framework is able to find a generalized solution even for unseen face images. In this paper, we have proposed a new contrastive loss paradigm that maximizes the similarity agreement between similar images and at the same time reduces the redundancy in embedding representations. Our contrastive regression framework shows good performance in comparison to several state of the art contrastive learning techniques used for gaze estimation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
월드 임베딩 벤치마크
World Embedding Benchmark
월드 모델과 비디오 생성에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있으나, 비디오 표현이 물리적 정보를 어떻게 인코딩하는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 유체역학, 고체역학, 동역학, 광학 및 전자기학에 걸친 80개 계열의 8,000개 제어 시뮬레이션 케이스로 구성된 월드 임베딩 벤치마크(World Embedding Benchmark)를 소개합니다. 각 케이스는 렌더링된 비디오와 시뮬레이션 기반 물리 어노테이션이 쌍을 이루며, 텍스트-비디오 검색, 물리적 특성 회귀, 다지선다형 비디오-설명 쌍 분류라는 세 가지 상호보완적 태스크를 지원합니다. 본 연구는 이러한 태스크를 활용하여 교차 모달 물리 정렬과 정량적 물리 정보의 복원 가능성을 구분하여 분석합니다. 사전학습된 옴니모달 임베딩 모델들을 평가한 결과, 검색 성능이 낮고 동일 계열 내 쌍 분류는 무작위 추정 수준에 가까웠으나, 경량 프로브는 동결된 비디오 임베딩으로부터 유용한 물리 정보를 복원해 냈습니다. 물리 특화 비디오-텍스트 쌍을 활용한 지속적 대조 학습(continual contrastive training)은 검색과 쌍 분류 성능을 향상시켰지만 물리적 특성 회귀 성능을 저하시켜, 정렬과 정량적 정보 복원 가능성 간의 트레이드오프를 드러냈습니다. 마지막으로, 해당 임베딩을 활용해 MiniMax-H3 기반 검색-증강 생성(RAG)을 위한 참조 비디오를 검색했습니다. 검색된 참조 비디오는 생성된 비디오의 물리적 충실도를 향상시켰으며, 본 실험에서 더 우수한 검색 모델일수록 더 큰 향상을 보였습니다. 종합적으로 이러한 결과는 물리적 정렬과 특성 복원 가능성을 함께 평가해야 할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리적 표현의 유용성을 입증합니다.
D3O: 서열 회귀를 위한 동적 분포 증류
D3O: Dynamic Distribution Distillation for Ordinal Regression
서열 회귀는 레이블이 이산적이면서도 본질적으로 순서를 갖는 시나리오에서 널리 사용된다. 그러나 실제로 서열 레이블은 주관적인 인간 판단을 통해 기저의 연속적 의미를 이산화하여 얻는 경우가 많으며, 이로 인해 모호한 경계와 어노테이션 노이즈가 발생한다. 이러한 불확실성은 고정된 지도 목표에 의존하는 기존 방법들에 도전을 제기하며, 주관적 어노테이션 하에서 편향된 순서를 강화할 수 있다. 이 한계를 해결하기 위해, 우리는 정적 지도를 자기 증류(self-distillation)를 통한 학습 주도적 서열 레이블 분포 진화로 대체하는 동적 분포 증류 프레임워크인 D3O를 제안한다. 구체적으로, 비전-언어 정렬(vision-language alignment)을 활용하여 클래스 간 모호성과 인스턴스 수준의 불확실성을 모두 포착하는 정제된 레이블 분포를 복원하는 대조적 서열 인식 레이블 향상 모듈을 도입한다. 또한, 네트워크 계층 구조 전반에 누적 서열 구조를 전파하여 중간 표현에서 일관된 서열 기하학을 보장하는 CDF 기반 교차층 상호작용 증류 메커니즘을 설계한다. 4개의 일반적인 서열 회귀 태스크에 대한 광범위한 실험은 제안한 D3O가 기존 접근법을 일관되게 능가하며, 특히 심각한 클래스 불균형과 노이즈가 있는 지도 하에서 그러함을 보여준다. 이 결과는 고정 목표를 넘어서 견고한 서열 표현을 학습하는 데 있어 동적 지도의 효과를 강조한다. 코드는 공개될 예정이다.
시선 추정을 위한 요인 기반 불확실성 증류
Factor-Informed Uncertainty Distillation for Gaze Estimation
깊은 학습 기반 시선 추정은 통제된 촬영 환경에서는 잘 동작하지만, 비제약 환경에서는 성능이 저하되며, 이러한 환경에서는 시스템이 신뢰할 수 없는 예측을 거부해야 한다. 단일 패스(single-pass) 불확실성(예: 이분산 회귀(heteroscedastic regression))은 명시적인 입력 유효성 단서 없이 픽셀로부터 불확실성을 추론하는 반면, 샘플링 기반 방법은 실시간 사용에 너무 비용이 많이 드는 경우가 많다. 우리는 불확실성을 해석 가능한 이미지 품질 실패 모드와 정렬하는 교사-학생(teacher-student) 프레임워크인 Factor-Informed Uncertainty Distillation(FIUD)를 제안한다. 그래디언트 부스팅(gradient-boosting) 교사는 조명, 선명도, 눈 가시성, 대칭성과 같은 요인으로부터 예상 시선 오차를 예측하고, 신경망 학생은 커리큘럼 학습(curriculum learning)과 순위(ranking) 감독을 통해 이러한 신호를 경량 단일 패스 불확실성 헤드로 증류한다. ETH-XGaze, Gaze360, MPIIFaceGaze(30만 개 이상 샘플)에서 FIUD는 결정론적 및 샘플링 기반 베이스라인 대비 불확실성, 오차 순위 상관, 선택적 예측(selective prediction)을 개선하며, 비제약 환경에서 가장 큰 향상을 보인다.
Agent-Guided Gaze Estimation Network by Two-Eye Asymmetry Exploration
3D 수어 생성을 위한 확산 기반 운동학 및 동역학 모델
A Diffusion-Based Kinematics and Dynamics Model for 3D Sign Language Production
수어 생성(SLP)은 언어적 입력으로부터 연속적인 수어 동작을 생성하며 수어 아바타와 같은 접근성 기술을 구동한다. 확산 모델을 포함한 현재의 생성기는 관절 좌표를 구조 없는 벡터로 회귀하므로, 생성된 신체가 해부학이나 운동의 역학을 따르도록 보장하는 요소가 없다. 물리학은 기하학적 손실 항을 통해서만 SLP에 도입되었으며 그 이점이 이해도에 미치는 영향은 검증되지 않았고, 수어를 하는 신체의 동역학은 모델링되지 않았다. 본 논문은 두 수준에서 물리 정보를 활용하는 확산 모델 PIDiffSign을 제안한다. 운동학 측면에서는 순기구학 헤드가 뼈의 방향과 길이를 출력하고 이를 조합하여 해부학적으로 정확한 골격을 구성한다. 동역학 측면에서는 인체측정학적 매개변수를 갖는 상체 강체 모델이 두 가지 학습 사전분포를 뒷받침한다. 운동 제어의 두 법칙을 포함하는 물리적 타당성 평가 모음이 생성된 수어를 평가한다. 통제된 프로토콜에서 이 헤드는 PHOENIX14T와 CSL-Daily에서 역번역 단어 오류율을 약 5포인트 낮추는 반면 기하학적 페널티는 측정 가능한 효과가 없으며, 대조 실험은 이득이 뼈 길이 보존이 아니라 운동학적 사슬 표현에서 비롯됨을 추적한다. 동역학 사전분포는 PHOENIX14T에서 물리적이지 않은 대응 대조군보다 약 1포인트 추가 이득을 주지만 CSL-Daily에서는 그렇지 않다. 생성된 수어는 운동 제어 법칙을 실제 수어만큼 근접하게 따르지만 운동 에너지는 현저히 적다. 정확한 골격은 리깅된 아바타를 직접 구동할 수 있으며, 이 평가 모음은 향후 SLP 시스템을 위한 물리적 벤치마크를 제공한다.
공정한 자기지도 학습을 위한 편향 없는 Open World 정규화
Unbiased Open World Regularization for Fair Self-Supervised Learning
최근의 발전에도 불구하고 자기지도 학습(SSL) 모델과 결합 임베딩 예측 아키텍처(JEPA)는 여전히 허위 상관관계에 취약하다. 많은 붕괴 방지 정규화 기법은 전역 표현 분포가 다변량 가우시안이나 구면 위의 균등분포와 같이 미리 정해진 목표 분포와 일치하도록 제약한다. 그러나 전역 분포 일치는 편향 속성으로 정의되는 집단들이 표현 공간의 서로 다른 영역을 차지하는 것을 막지 못한다. 본 논문은 EnD와 FSCL을 포함한 기존의 인코더 기반 편향 제거 정규화 기법이 조건부 분포 일치의 제한된 형태로 해석될 수 있음을 보인다. 이러한 해석을 바탕으로, 관측된 각 편향 집단 내부의 표현 분포를 공통의 목표 분포에 일치시키는 Unbiased Open World(UOW)를 제안한다. 모집단 최적해에서 판별적 조건부 불일치도를 사용하면 표현과 대상 속성 사이의 독립성이 보장된다. 우리는 UOW를 가우시안 공간과 구면 공간에서 구현하고, 통제된 합성 환경과 실제 공정성 벤치마크에서 평가한다. Synthetic Engraving, Colored MNIST, CelebA, Waterbirds 전반에서 조건부 일치는 유용한 하위 작업용 표현을 보존하면서도 전역 정규화에 비해 편향을 크게 줄인다. 여러 편향 속성을 함께 조건화하면 개별 주변 제약으로는 놓치는 교차적 격차도 추가로 줄어든다. 마지막으로 CelebA 실험은 공정성을 고려한 검증 기준에 따라 체크포인트를 선택한다면 UOW를 사전학습 목적함수로 사용하여 무작위 초기화에서부터 모델을 학습할 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.