외형 기반 시선 추정(Appearance-based Gaze Estimation, AGE)은 제한된 환경에서 뛰어난 성능을 달성했으나, 기존 AGE 모델들이 실제 비제한적 시나리오, 특히 얼굴 착용물이나 열악한 조명 조건을 수반하는 환경에서 종종 실패하는 중대한 일반화 격차(generalization gap)가 존재함을 밝힌다. 우리는 이러한 실패 원인을 두 가지 핵심 요인, 즉 제한된 이미지 다양성과 특히 피치(pitch) 축을 중심으로 서로 다른 데이터셋 간에 나타나는 일관되지 않은 레이블 충실도 때문으로 본다. 이를 해결하기 위해, 추가적인 사람 어노테이션 데이터 없이도 일반화 성능을 향상시키는 강건한 AGE 프레임워크를 제안한다. 첫째, 안경, 마스크 및 다양한 조명 합성을 포함한 증강 기법 앙상블을 통해 이미지 다양체(image manifold)를 확장한다. 둘째, 데이터셋 간 비등방성 레이블 편차의 영향을 완화하기 위해 시선 회귀를 다중 작업 학습 문제로 재구성하고, 다중 뷰 지도 대조 학습(SupCon), 이산화된 레이블 분류, 눈 영역 세그멘테이션을 보조 목표로 통합한다. 제안하는 접근 방식을 엄격하게 검증하기 위해 기존 평가 프로토콜에서 크게 간과되었던 까다로운 조건에서의 시선 강건성을 평가하도록 설계된 새로운 벤치마크 데이터셋을 구축한다. MobileNet 기반의 경량 모델은 최고 성능(SOTA) 모델인 UniGaze-H의 파라미터 수 대비 1% 미만을 사용하면서도 이에 필적하는 일반화 성능을 달성하여, 모바일 기기에서의 고충실도 실시간 시선 추적을 가능하게 한다.
우리는 새로운 학습 문제를 제안한다: 다양한 시각 작업에서 인간 목표에 대한 자연어 설명으로 시선을 디코딩하는 것이다. 사전 정의된 범주에 대한 판별(discriminative) 작업으로 시선 디코딩을 다루는 기존 연구와 달리, 우리는 이를 생성적 학습 문제로 공식화한다. 즉, 고정된 레이블을 넘어 인간 의도의 풍부한 뉘앙스와 개방형(open-ended) 특성을 포착하는 자유 형식(free-form) 설명을 생성하도록 모델을 학습시키는 것이다. 이를 위해 우리는 최초의 gaze-to-text 디코딩 프레임워크인 Gazette를 제안한다. 다중모달 대규모 언어 모델(MLLM)을 기반으로, Gazette는 범주형 레이블을 넘어설 수 있고 자연어로 표현이 필요한 목표에 대해 시선 스캔패스(scanpath)를 자연어로 디코딩하는 방법을 학습한다. Gazette가 시선 행동의 개인차를 걸러내고 정확한 자연어 목표 설명 생성에 필수적인 목표 특이적 시공간(spatiotemporal) 역학을 학습하도록 돕기 위해, 우리는 대규모 언어 모델의 백과사전적 지식과 추론 능력을 활용하여 목표 지향적 어텐션 행동에 대한 자연어 설명인 think-aloud 전사(transcript)를 합성하는 새로운 전략을 제안한다. 이러한 합성 내러티브에 대한 지시 미세조정을 통해 Gazette는 여러 작업에서 시선 디코딩 분야 최첨단(state-of-the-art) 성능을 달성하며, 이는 일반화 가능성과 다용성을 보여준다. 이에 따라 시선은 다양한 시나리오에서 인간 목표와 의도를 추론하는 강력하고 비침습적인(non-intrusive) 단서로 기능할 수 있다.
Divergent Gaze Patterns in Artistic Viewing: Spatial and Temporal Signatures of Attention Across Autistic Individuals, Artists, and Neurotypical Observers
서로 다른 집단이 작품을 시각적으로 어떻게 탐험하는지는 인지과학과 접근성 설계와 밀접한 관련이 있다. 그러나 자폐 관련 안구 추적 연구의 대부분은 예술이 아닌 사회적 장면을 사용해 왔으며, 눈이 어디에 머무는지만 분석하고 언제·어떤 순서로 시선이 이동하는지는 간과해 왔다. 우리는 자폐 성인(ASD), 훈련된 예술가, 신경전형적 관찰자 세 집단을 대상으로 한 비교 자유 관람(free-viewing) 연구를 제시한다. 각 참가자는 15초 동안 30점의 그림을 관람했다. 우리는 두 상보적인 축을 따라 집단을 비교하는 지표 기반 방향성 프레임워크를 도입한다. 공간 축에서는 한 집단의 고정 밀도(fixation-density) 맵이 여섯 가지 saliency 지표(AUC-Judd, NSS, CC, SIM, KL, Information Gain) 하에서 다른 집단의 고정을 얼마나 예측하는지를 비교하고, 시간 축에서는 개별 스캔패스(scanpath)를 MultiMatch, ScanMatch, foveal-disc IoU 점수(FDISS), 동적 시간 경합(dynamic time warping, DTW)으로 비교한다. 모든 집단의 고정은 분산 임계값(dispersion-threshold) 알고리즘으로 균일하게 추출한다. 세 가지 결과가 수렴한다. (i) 예술가와 신경전형적 관찰자는 공간(밀도 맵 상관 CC=0.96)과 시간(가장 정렬 가능한 스캔패스 쌍을 형성) 모두에서 거의 구분되지 않는 반면, ASD 시선은 둘 모두에서 이탈한다. (ii) ASD 어텐션은 분리(dissociated)되어 있다: 예술가의 넓은 공간적 탐험(분산, 탐험 영역)과 일치하지만, 더 짧은 고정, 더 적은 체류(dwell), 그리고 모든 집단 중 가장 특이(idiosyncratic)(자기 일관성이 가장 낮은)한 스캔패스라는 독특한 시간적 특징을 지닌다. (iii) ASD 시선은 어떤 지표에서도 선택적으로 예술가와 유사하지 않으며, 오히려 신경전형에 근접한 편이다. 이러한 발견은 예술에 대한 자폐적 관람이 공간과 시간 모두에서 뚜렷한 집단 특이적 어텐션 프로파일임을 나타내며, 미적 어텐션의 집단 조건(population-conditioned) 모델을 촉진한다. 우리는 모든 분석 코드와 자극별(per-stimulus) 결과를 공개한다.
가상·증강 현실(VR/AR)용 몰입형 헤드 마운트 디스플레이(HMD)가 확산됨에 따라 신뢰할 수 있는 고정밀 안구 추적이 점점 더 중요해졌다. 기존 2D 이미지 기반 방법은 시스템 복잡도는 낮지만 안정성, 정확도, 견고성 측면에서 한계가 있다. 3차원 안구 표면 재구성은 더 풍부한 기하학적 정보를 제공할 수 있으며, 구조화 광 프로파일메트리(structured light profilometry)는 조밀하고 정확한 표면 측정을 가능하게 하기 때문에 특히 매력적이다. 그러나 순차적으로 획득한 fringe 이미지로부터 위상을 추정하는 위상 이동 프로파일메트리(Phase-Shifting Profilometry, PSP)는 프레임 간에 안구가 회전할 때 운동 유발 오차에 매우 취약하다. 본 연구는 PSP 기반 동적 3D 안구 재구성을 위한 회전 운동 보상 프레임워크를 제안한다. 구면 좌표계 영역에서 사용자별 3D 안구 모델을 이용해 이미지 기반 운동 단서로부터 상대적 안구 회전을 추정한다. 추정된 운동은 이어서 프레임 간 회전으로 인한 카메라 픽셀 불일치와 위상 이동 오차를 보상하는 데 사용된다. 또한 서로 다른 안구 영역에서 보상 강도를 독립적으로 정제함으로써 잔여 아티팩트를 줄이기 위한 영역별 최적화 전략을 도입한다. 비균일 운동 하에서 회전하는 모형 안구를 이용한 실험은 제안 방법이 운동 유발 변형을 실질적으로 억제하고 재구성 정확도를 향상시킴을 보여준다. 비구형 강체 물체에 대한 추가 실험은 보상 원리가 구형 안구 기하에 국한되지 않음을 시사한다. 이러한 결과는 몰입형 환경에서의 미래 고정밀 안구 추적을 향한 안정적인 PSP 기반 동적 3D 안구 재구성의 실용적 토대를 마련한다.
눈 깜박임과 추적 실패로 인한 결측 데이터를 XMD 인코딩(관측 마스크 + 시간 델타)으로 명시적으로 모델링하고, 양방향 Mamba-2로 선형 복잡도의 장거리 시간 의존성을 포착하는 MambaGaze 프레임워크를 제안한다. CLARE 및 CL-Drive 데이터셋에서 피험자 제외 교차 검증 시 10개 비교 모델 중 최고 평균 macro-F1(55.3%)을 달성했으며, NVIDIA Jetson Orin에서 6.6W 미만 전력으로 27~36 FPS 실시간 추론이 가능함을 입증했다.
일반적으로 합의된 이론에 따르면, 자유로운 머리 움직임에서 시선 추정을 구현하기 위한 시선 추적기의 최소 하드웨어 요구사항은 카메라 1개와 광원 2개이다. 그러나 모바일 기기에서의 눈 추적과 같은 일부 시나리오에서는 구성 요소, 특히 광원을 적게 사용하는 것이 바람직하다. 본 논문에서는 카메라 1개와 광원 1개를 이용한 시선 추정 방법을 제안한다. 카메라를 기준으로 실제 광원과 기하학적으로 대칭되는 위치에 배치되는 "가상 광원"을 도입하여 획득된 이미지에 "가상 글린트(virtual glint)"를 생성한다. 촬영 이미지에서 두 동공 간 거리와 두 글린트 간 거리의 관계를 활용하여 "가상 글린트"를 추정하고, 두 개의 광원이 존재한다고 가정한 다항 회귀를 통해 시선을 추정한다. 회귀 방법에 대한 새로운 정규화 인수를 검증하였으며, 이는 단일 글린트 시스템에 실용적임이 밝혀졌다. 실제 광원 2개를 사용하는 시스템과 비교하여 성능 저하가 관찰되었으나, 전반적인 성능은 수용 가능한 수준임이 입증되었다.
자유 시청 시선 데이터는 인간의 시각적 어텐션에 대한 풍부하고 과제 비종속적인 창을 제공한다. 데이터에 대한 기존의 탐색적 데이터 분석은 고정(fixation)과 관심 영역(area of interest)을 통해 사용자 어텐션 패턴을 제공한다. 그러나 이 시선 데이터의 풍부함에도 불구하고, 인간-정보 상호작용(HII) 패턴은 충분히 연구되지 않았다. 우리는 사용자 및 자극 특성에 대한 시선 데이터의 합의 클러스터링을 사용하여 이 격차를 해소한다. 우리는 자유 시청 시선 데이터셋의 합의 클러스터링을 위한 새로운 종단간 비지도 앙상블 학습 시스템인 EnsembleGaze를 제시한다. 사용자 행동과 자극 유형을 특성화하는 것을 목표로, 고정 기반 분포의 통계적 서술자(descriptor)를 기반으로 한 특징 엔지니어링 단계를 제안한다. EnsembleGaze는 공동 연관 행렬(co-association matrix)을 계산하기 위해 특징 벡터에 구현된 선택된 클러스터링 방법들의 합의 투표를 포함한다. 사용자와 자극의 별도 합의 클러스터링을 기준선으로 사용하여, 사용자와 이미지의 공동 특성화를 기반으로 시선 클러스터를 결정하기 위한 두 가지 고차원 클러스터링 전략을 추가로 제안한다. 이는 합의 부분공간 클러스터링(consensus subspace clustering)과 스펙트럴 바이클러스터링(spectral biclustering)이다. 클러스터링 성능은 선택된 표준 메트릭을 사용하여 평가되며, 이미지 수준의 속성을 통해 추가로 해석된다. 우리의 시스템은 장면 인식 연구에서 고정 행동의 비지도 분석을 위한 재현 가능한 방법을 제공한다. 우리의 결과는 이미지 자극 그룹화가 방법 간에 높은 일관성을 보이며 강건한 주변적-대-초점적(ambient-versus-focal) 시청 모드 구분을 반영하는 반면, 사용자 그룹화는 이미지 맥락 의존적임을 보여준다. 이 구조는 바이클러스터링과 2단계 조건부 접근법만이 아키텍처적으로 복원할 수 있다. 공개 데이터셋에 대한 테스트는 데이터셋별 패턴을 드러냈으며, 각각은 서로 다른 클러스터링 전략을 통해 상호 보완적인 통찰을 제공한다.
마이크로블로깅 플랫폼은 짧고 노이즈가 많으며 분산된 사용자 콘텐츠를 대량으로 생성하므로, 자동 키프레이즈 추출(AKE)은 중요하지만 어려운 과제이다. 선행 연구들은 이러한 신호가 독자의 두드러진 단어에 대한 주의를 반영하기 때문에 마이크로블로그 기반 AKE를 개선하기 위해 시선 추적 신호를 사용해 왔다. 그러나 시선 추적만으로는 생리학적, 획득, 특징 디코딩 제약에 한계가 있다. 이 문제를 해결하기 위해, 우리는 AKE를 위해 전기뇌파(EEG) 신호가 시선 추적 신호를 보완할 수 있는지 조사한다. ZuCo 인지 언어 처리 코퍼스를 사용하여 8개의 EEG 특징과 17개의 시선 추적 특징을 선택하고 이를 마이크로블로그 기반 AKE 모델에 통합한다. 모델 구조에 의한 인지 신호의 왜곡 가능성을 줄이기 위해, 이러한 특징을 soft-attention 층의 입력과 self-attention 층의 query 벡터에 주입한다. 그런 다음 AKE 모델 전반에 걸쳐 인지 신호의 다양한 조합을 평가한다. 결과는 독서 중 생성된 인지 신호가 특징 조합과 모델 아키텍처에 관계없이 AKE 성능을 지속적으로 향상시킴을 보여 준다. EEG 특징이 가장 큰 이득을 가져오며, EEG와 시선 추적 특징을 결합하면 두 개별 신호 유형 사이의 성능을 얻어, 부분적 상호 보완성과 함께 가능한 중복 또는 노이즈를 시사한다. 이러한 결과는 EEG 신호가 마이크로블로그 기반 AKE에 유용한 인지적 증거를 제공하며, 다중모달 인지 신호가 추가 조사를 필요로 함을 나타낸다.
이벤트 카메라 기반 안구 움직임으로 인지 부하(cognitive workload)를 인식하기 위해, N-back 유도 고정(fixation) 과제 하에서 20명 참가자의 6단계 부하 주석 데이터셋 EveLoad를 구축하고 시공간 이벤트 표현을 학습하는 프레임워크를 제안했다. 혼합 무작위 분할 평가에서 피험자별 평균 정확도 96.36%·96.13%를 달성해, 적응형 재활·보조 인터페이스를 위한 비침습적 부하 감지 경로로서 이벤트 기반 안구 동역학의 가능성을 보였다.