A Generalized and Robust Method Towards Practical Gaze Estimation on Smart Phone
원문 초록
Gaze estimation for ordinary smart phone, e.g. estimating where the user is looking at on the phone screen, can be applied in various applications. However, the widely used appearance-based CNN methods still have two issues for practical adoption. First, due to the limited dataset, gaze estimation is very likely to suffer from over-fitting, leading to poor accuracy at run time. Second, the current methods are usually not robust, i.e. their prediction results having notable jitters even when the user is performing gaze fixation, which degrades user experience greatly. For the first issue, we propose a new tolerant and talented (TAT) training scheme, which is an iterative random knowledge distillation framework enhanced with cosine similarity pruning and aligned orthogonal initialization. The knowledge distillation is a tolerant teaching process providing diverse and informative supervision. The enhanced pruning and initialization is a talented learning process prompting the network to escape from the local minima and re-born from a better start. For the second issue, we define a new metric to measure the robustness of gaze estimator, and propose an adversarial training based Disturbance with Ordinal loss (DwO) method to improve it. The experimental results show that our TAT method achieves state-of-the-art performance on GazeCapture dataset, and that our DwO method improves the robustness while keeping comparable accuracy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시선 추정을 위한 요인 기반 불확실성 증류
Factor-Informed Uncertainty Distillation for Gaze Estimation
깊은 학습 기반 시선 추정은 통제된 촬영 환경에서는 잘 동작하지만, 비제약 환경에서는 성능이 저하되며, 이러한 환경에서는 시스템이 신뢰할 수 없는 예측을 거부해야 한다. 단일 패스(single-pass) 불확실성(예: 이분산 회귀(heteroscedastic regression))은 명시적인 입력 유효성 단서 없이 픽셀로부터 불확실성을 추론하는 반면, 샘플링 기반 방법은 실시간 사용에 너무 비용이 많이 드는 경우가 많다. 우리는 불확실성을 해석 가능한 이미지 품질 실패 모드와 정렬하는 교사-학생(teacher-student) 프레임워크인 Factor-Informed Uncertainty Distillation(FIUD)를 제안한다. 그래디언트 부스팅(gradient-boosting) 교사는 조명, 선명도, 눈 가시성, 대칭성과 같은 요인으로부터 예상 시선 오차를 예측하고, 신경망 학생은 커리큘럼 학습(curriculum learning)과 순위(ranking) 감독을 통해 이러한 신호를 경량 단일 패스 불확실성 헤드로 증류한다. ETH-XGaze, Gaze360, MPIIFaceGaze(30만 개 이상 샘플)에서 FIUD는 결정론적 및 샘플링 기반 베이스라인 대비 불확실성, 오차 순위 상관, 선택적 예측(selective prediction)을 개선하며, 비제약 환경에서 가장 큰 향상을 보인다.
EasyOPD: 대규모 언어 모델을 위한 사용하기 쉬운 온-정책 지식 증류 프레임워크
EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models
기존의 언어 모델 지식 증류는 고정된 교사 생성 데이터에 의존하는 경우가 많은데, 이는 진화하는 학생 정책이 마주치는 상태를 충분히 포괄하지 못할 수 있다. 온-정책 지식 증류(OPD)는 대신 학생이 생성한 롤아웃에 대해 교사 또는 평가자의 감독을 수집한다. 그러나 기존 OPD 방법들은 감독 형식, 토크나이저 호환성, 교사 접근 방식, 감독 세분성 면에서 크게 상이하여, 재현 및 확장이 어려운 파편화된 구현들로 이어졌다. 우리는 대규모 언어 모델을 위한 분산 강화학습 프레임워크인 verl 위에 구축된 온-정책 지식 증류 프레임워크 EasyOPD를 제시한다. EasyOPD는 사용자 측 설정, 방법별 감독 로직, verl 기반 실행을 분리한다. 방법 모듈은 손실 구성, 롤아웃 메타데이터, 보상 처리, 토크나이저 정렬, 교사 측 연산을 위한 확장 경계를 통해 공유 백엔드에 연결된다. 우리는 교차-토크나이저 OPD, 온-정책 자기 지식 증류, 단계별 OPD의 세 가지 OPD 설정에 대한 대표 방법을 구현한다. 추론, 코드 생성, 과학 지식, 도구 사용 벤치마크에서의 실험 결과, 이 구현들이 방법별 목표와 과제 의존적 성능 프로파일을 유지하면서 동일한 verl 기반 백엔드를 통해 실행될 수 있음을 보여준다. 우리는 실행 가능한 YAML 설정, 문서, 설치 가능한 시연 패키지 및 영상과 함께 EasyOPD를 공개한다.
모델 크기 보간에서의 층 패칭 이해
Understanding Layer Patching in Model Size Interpolation
레이어 패칭(layer patching)은 대규모 언어 모델(LLM)의 모델 크기 보간을 위한 핵심 기법으로, 증류된 학생 모델의 레이어 일부를 대응하는 교사 모델의 레이어로 대체하여 추가 학습 없이 중간 크기의 모델을 구성한다. 기존 연구는 레이어를 패치하는 순서를 대체로 무시하였으나, 우리는 이 순서가 결과 모델의 성능과 신뢰성에 극적인 영향을 미칠 수 있음을 보인다. 본 연구에서는 모델 크기 보간에서 레이어 패칭의 역할을 연구한다. 우리는 각 모델 크기에 대한 최적의 레이어 부분집합을 찾는 문제를 최적화 문제로 정식화하고, 이것이 특정 비순환 그래프에서의 최단 경로 문제로 볼 수 있음을 증명한다. 실험에서 패칭이 보간 거동을 크게 좌우하며 그 효과가 모델 계열에 따라 상당히 다름을 보인다. 또한 첫 번째 레이어에서 마지막 레이어로, 또는 마지막에서 첫 번째로 패치하는 단순한 순차 전략이 실제로 놀라울 만큼 강한 성능을 내는 경우가 많음을 발견한다. 나아가 KL 발산에 기반한 탐욕적 패칭 알고리즘인 KLPatch를 도입하는데, 이는 마지막에서 첫 번째로 패치하는 방식보다 성능이 향상되는 경우가 많으며 최적화 문제를 근사적으로 푼다. 종합하면 우리의 결과는 레이어 패칭이 모델 크기 보간에 어떻게 영향을 미치는지에 대한 원리적 이해를 제공하며, 거의 최적에 가까운 보간 모델을 구성하기 위한 실용적 지침을 제시한다. 코드와 모델은 https://github.com/dcml-lab/boomerang-distillation 에서 이용할 수 있다.
LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention
LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
DeepSeek-R1과 같은 긴 사고 사슬(CoT) 추론 모델은 테스트 시점 스케일링 하에서 추론 사슬을 계속 늘리고 있으나, 표준 셀프 어텐션은 문맥 길이에 대해 이차 비용이 들어 긴 CoT의 실서비스 배포를 고비용으로 만든다. 이에 본 논문은 전체 사전학습이 필요 없는 셀프 어텐션의 플러그 앤 플레이 대체 방식인 LISA(Linear-Indexed Sparse Attention)를 제안한다. LISA는 장거리 메모리를 위한 선형 어텐션 분기와, 희소 셀프 어텐션 분기를 위해 가장 관련성 높은 토큰을 동적으로 선택하는 Lightning Indexer를 결합한다. 두 분기는 학습된 게이트를 통해 융합되어, 모델이 폭넓은 문맥을 유지하면서 연산을 정보량이 많은 토큰에 집중시킨다. LISA는 두 단계로 학습한다. 1단계에서는 선형 어텐션 분기를 슬라이딩 윈도 어텐션과 통합하고, 고정된 교사 모델의 전체 어텐션 분포로부터 증류한다. 2단계에서는 Lightning Indexer가 정적 윈도를 대체하며, 교사의 어텐션 패턴을 모방하도록 헤드별 KL 발산 목적함수로 학습된다. 그 결과 모델은 eager 모드 셀프 어텐션 연산을 시퀀스 길이에 대한 이차에서, 생성된 토큰 수와 선택된 문맥 예산에 대한 선형으로 줄인다. DeepSeek 증류 Qwen 모델에 대한 실험에서 LISA는 긴 문맥 추론 품질을 저하시키지 않으면서 16K 문맥에서 측정된 eager 모드 평균 샘플 지연 시간을 23.9% 줄인다. 9개의 수학 및 코드 추론 벤치마크 전반에서 게이트 방식 LISA-1.5B 모델은 전체 어텐션 기준 모델 대비 동일 가중 벤치마크 평균을 4.2%p 향상시킨다.
TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅
TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.
SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델
SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices
월드-액션 모델(WAM)은 로봇 행동과 미래 관측을 함께 예측하지만, 비디오 확산 백본은 엣지 배포에 비용이 크다. 본 연구는 단일 프레임 인코딩, 어텐션 싱크를 보존한 캐시된 텍스트 특징, 깊이 가지치기, 토큰 압축을 사용하여 20억 파라미터의 Cosmos Policy로부터 도출한 소형 잠재 WAM인 SmolWAM을 제안한다. 28개 트랜스포머 블록 중 12개와 1,008개 토큰으로 SmolWAM은 한 번의 rectified-flow 단계에서 행동과 미래 잠재 변수를 예측한다. A100 GPU 3.6시간의 학습 후, 400개의 LIBERO 에피소드에서 95.5%의 성공률을 달성하며, A100에서 16개 행동 청크당 57ms, 2.3TFLOP, 2.4GiB를 사용하여 5단계 교사 대비 지연 시간은 11배, 메모리는 3.2배 낮다. 월드 헤드는 장면의 움직임을 예측하며, 공동 학습은 행동 전용 어블레이션보다 성공률을 6.2퍼센트포인트 향상시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.