PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20790v2cs.CV

Ocular Verification for Virtual Reality

Virtual reality (VR) headsets (e.g., Meta Quest, Apple Vision Pro) provide a seamless user experience due to their fast, frictionless interaction with the physical world in a simulated environment. User authentication relies on biometric cues such as iris in such headsets. However, traditional iris recognition protocols may not be adequate in cases of unconstrained acquisition, which is typical of VR-based data. In this work, we examine three crucial aspects: (1) evaluating ISO/IEC 29794-6 iris quality metrics on VRBiom dataset and analyzing their limitations, (2) addressing data-specific challenges such as off-axis gaze, non-uniform illumination, and specular reflection using generative models, and (3) performing unimodal (iris, periocular) recognition and multimodal score-level fusion (iris + periocular). We observe that some metrics (e.g., margin adequacy) fail on VR-acquired data; whereas, image adjustments primarily benefit periocular recognition, and multimodal fusion lowers EER by ~11% over unimodal iris recognition performance. We will release the evaluation scripts upon acceptance for reproducibility.

arXiv:2512.20620v3cs.HC

심층 학습 해석 가능성 맵을 활용하여 사이버멀미 불편감과 일관되게 연관된 EEG 패턴 규명

Uncovering EEG Patterns Consistently Associated with Cybersickness Discomfort Using Deep Learning Interpretability Maps

가상현실(VR) 헤드 마운트 디스플레이를 사용할 때 사이버멀미(cybersickness)라 불리는 멀미와 유사한 불편한 감각이 발생할 수 있습니다. 사이버멀미는 VR 기술의 폭넓은 활용을 저해하는 요인입니다. 뇌전도(EEG)로 기록된 뇌 활동은 비침습적으로 사이버멀미 및 이로 인한 불편감을 감지하는 데 활용될 수 있습니다. 이를 완화하기 위한 개입을 수행하려면 전체 뇌 데이터에서 사이버멀미 불편감과 관련된 유의미한 신호를 추출할 수 있는 머신러닝 알고리즘이 필요합니다. 본 연구에서는 신경망과 해석 가능성 맵(interpretability maps) 기반의 프레임워크를 구축하여, EEG 데이터에서 사이버멀미 관련 불편감을 분류(classification)하는 데 가장 유용한 특징이 무엇인지 규명했습니다. 두 개의 서로 다른 청각 사건 관련 전위(ERP) 사이버멀미 사용자 연구에서 수집된 뇌 데이터를 활용하여, 불편감 분류에 가장 중요한 시공간적 EEG 특징(센서 위치 및 시간 단계)을 추출했습니다. 첫 번째 데이터셋(n=29)의 경우, 여러 무작위 시드에 걸쳐 세 가지 서로 다른 신경망으로 프레임워크를 120회 실행한 결과, 모델(model)들은 사이버멀미 불편감을 겪는 대상자의 EEG 데이터인지를 판별하는 데 좌측 전두엽, 정중앙, 우측 두정엽 부위의 두피 위치가 가장 유용하다고 일관되게 지목했습니다. 두 번째 데이터셋(n=36)에서도 유사한 위치가 특정되었으며, 이는 시간, VR 자극, 참가자 표본 전반에 걸쳐 본 연구 결과의 데이터셋 간 일반화 가능성을 보여줍니다. 추출된 ERP 시간 윈도우의 초기 구간인 자극 제시 후 약 80~260밀리초 사이는 두 데이터셋 모두에서 모델 분류에 중요한 구간으로 표시되었습니다. 이러한 결과는 향후 EEG를 활용한 사이버멀미 관련(및 잠재적으로 다른 유형의) 불편감 분류에 어떤 특징들을 활용할 수 있는지 명확히 밝히는 데 기여합니다. 프로젝트 웹페이지: https://eeg-discomfort-nnilc.github.io/.

arXiv:2609.27246v1cs.HC

경청과 반사: VR에서 체화 AI 에이전트의 사회적·공감적 인식에 대한 언어적 공감 조율 및 행동 모방의 효과

Listening and Mirroring: The Effects of Verbal Attunement and Behavioral Mimicry on Social and Empathic Perceptions of Embodied AI Agents in VR

체화 에이전트가 VR에서 점점 더 사회적·관계적 역할을 맡게 됨에 따라, 시각적 사실성과 체화만으로는 부족할 수 있으며, 사용자는 이러한 에이전트를 정서적으로 공감하고 지지하며 인간 같다고 인식해야 한다. 선행 연구는 언어적 공감 조율(verbal attunement)과 비언어적 모방이 각각 체화 에이전트에 대한 사용자의 사회적 평가를 향상시킬 수 있음을 시사한다. 그러나 행동 모방(behavioral mimicry)은 대체로 실시간 대화형 AI 상호작용 밖에서 연구되어, 에이전트가 맥락에 반응하는 대화를 동시에 생성하고 몰입형 대화 중 비언어적 행동을 조정할 때 사용자가 어떻게 반응하는지에 대한 이해는 제한적이다. 이 공백을 메우기 위해, 우리는 대화형 AI와 실시간 얼굴 표정 및 자세 모방을 결합하고, 언어적으로 공감 조율된 응답 또는 중립적 응답을 생성하는 체화 AI 상담사를 개발했다. 언어적 공감 조율과 행동 모방을 조작한 2×2 피험자 내 연구에서 20명의 참가자를 대상으로 시스템을 평가했다. 결과는 언어적 공감 조율이 지각된 공감의 가장 신뢰할 만한 요인임을 보여주었다. 행동 모방은 지각된 인간다움과 한계적인(marginal) 관계를 보였으며, 더 많은 모방 노출은 공감, 긍정성, 인간다움과의 예비적·탐색적(exploratory) 양의 연관을 보였고, 특히 여성 참가자에서 두드러졌다. 이러한 발견은 VR에서 공감적 대화 에이전트를 설계할 때 다중 모달 동조(multimodal synchrony)가 단순 가산적 전략이 아님을 보여주며, 실시간 상호작용 중 언어적·비언어적 행동이 어떻게 결합되는지 고려할 필요를 강조한다.

arXiv:2607.22613v1cs.CY

문화적·정치적 기억을 통한 공공 도시 공간 재활성화: LLM과 증강 현실을 활용한 기술적 접근

Revitalizing Public Urban Places through Cultural and Political Memory: A Technological Approach with LLMs and Augmented Reality

본 논문은 기억, 장소, 정체성의 교차점을 탐구하며, 특히 Apple Vision Pro와 같은 신기술이 이 연결고리를 어떻게 조명할 수 있는지 검토한다. 디지털 트윈(digital twin)과 가상 현실(VR)을 활용하여, 기억이 문화적·역사적 의미를 지닌 경관과 도시 환경에 어떻게 짜여 있는지 조사하고, 기억과 유산을 불러일으키는 시각적 요소를 식별한다. Apple Vision Pro와 같은 애플리케이션은 이미지 확장(image extension)을 통해 장소 정체성을 정의하는 데 기여할 수 있으며, 시간대를 넘어 문화적·정치적 실체에 대한 정보를 시청자에게 제공한다. 시각적 스토리텔링은 경관의 변화와 문화유산 보존을 보여줄 수 있으며, 가상 현실(VR)은 역사적 경관과 도시 경관의 재현을 가능하게 한다. 이 몰입형 접근은 사용자가 시간적 경계를 넘어 과거를 역동적으로 경험하도록 한다. 의미론적 이미지 검색(Semantic Image Search)은 기념물, 전통, 또는 문화적 정체성과 관련된 이미지를 발굴함으로써 연구를 지원할 수 있다. 본 연구는 디지털 트윈과 가상 환경을 도시 및 비도시 경관과 연결하여 문화적, 역사적, 환경적 지속가능성을 보여주는 방법론을 제시한다. 이 접근의 핵심은 현재 상태의 회복력, 그 미래적 진화, 그리고 과거의 중요성을 정의하는 것이다. 이러한 기술은 역사적·문화적 포용을 촉진하면서, 수년 후 특정 장소로 돌아온 듯한 감각을 불러일으킨다. 해당 방법론은 문화적·정치적 기억을 통해 공공 도시 공간을 재활성화하는 데 필요한 기술 통합을 개략적으로 설명한다. 이러한 애플리케이션을 통해 본 논문은 공간의 디지털 트윈, 도시 변화, 문화유산 보존에 관한 연구에 기여한다. 디지털 시대의 기억, 장소, 정체성 간 관계에 대한 통찰을 제공함으로써, 공동의 과거와 그것이 현재에 미치는 영향에 대한 더 깊은 이해를 지원한다.

arXiv:2602.11658v2cs.CV

EmoSpace: Immersive Affective Image Generation Guided by Fine-Grained Emotion Prototypes

Immersive affective content generation aims to create visually compelling VR imagery with controllable emotional nuance, yet existing methods typically rely on coarse labels or prompt-only control. Although modern diffusion transformers (DiTs) such as FLUX improve visual fidelity, they are not designed to incorporate structured affective representations. We present EmoSpace, an immersive affective content generation framework guided by fine-grained emotion prototypes, transforming free-form text and emotion descriptions into fine-grained affective imagery through three coordinated components. First, to represent sub-emotion variation beyond conventional categorical models, EmoSpace learns a hierarchical bank of 256 prototypes with input-conditioned adaptation through vision-language alignment. Second, Prototype-Conditioned Steering converts these prototypes into DiT-compatible generation signals through multi-pathway injection and temporal blending, while Iterative Prompt Refinement enriches prompts with prototype-aligned sub-emotion descriptors. Third, Affect-Grounded Modulation coordinates emotion conditioning with controllable LoRAs for panoramic, stylized, and multi-conditional generation. Through quantitative and qualitative evaluations, EmoSpace improves fine-grained emotional alignment while maintaining high aesthetic quality. Our user study shows that EmoSpace outputs are perceived as more emotionally aligned than baseline results and more suitable for immersive scene design. Additionally, we find that immersive presentation alters emotional perception and increases emotional engagement. Together, these findings inform the design of emotion-aware generative systems for immersive media, with potential applications including education, immersive storytelling, and artistic creation. We will release our code and models to facilitate future research along this line.

arXiv:2607.01435v2cs.CV

허공에 서명하여 잠금 해제: 포인트-복셀 크로스 어텐션 네트워크 기반 가상 및 증강 현실 인증 인터페이스

Sign in the Air to Unlock: An Interface for authentication in Virtual and Augmented Reality Powered by Point-Voxel Cross-Attention Network

가상 및 증강 현실(VR/AR)과 같은 몰입형 기술의 급격한 발전과 현대 생활 다양한 영역으로의 통합은 안전하고 직관적이며 체화된 상호작용과 호환되는 인증 인터페이스를 필요로 한다. 비밀번호, PIN, 기기 기반 로그인과 같은 전통적인 방식은 몰입감을 깨뜨리고 외부 하드웨어에 의존한다. 손 제스처, 시선 추적, 뇌전도(EEG) 기반 방식과 같은 최근의 3D 특화 행동 기반 접근법은 유망한 대안을 제시하지만, 전용 센서를 필요로 하거나 자연스러운 움직임을 제한하는 경우가 많아 동적 환경에서의 사용성이 떨어진다. 본 논문에서는 사용자가 3D 공간에서 자연스럽게 서명함으로써 인증할 수 있는 공중 서명 인터페이스인 Sign in the Air to Unlock을 제안한다. 이는 친숙하고 개인적이며 재현 가능한 제스처를 활용한다. 이 인터페이스를 구현하기 위해, 3D 궤적으로부터 지역적 동작 다이나믹스와 전역적 공간 구조를 통합적으로 모델링하는 포인트-복셀 크로스 어텐션 네트워크(PV-Net)를 설계하였다. 모델은 두 가지 데이터셋에서 평가되었다: 공개 DeepAirSig 데이터셋(40명 사용자의 서명 1,800개)과 Meta Quest 2를 활용한 몰입형 VR 환경에서 수집된 새로운 데이터셋인 ImmAirSig(22명 사용자의 샘플 880개). PV-Net은 DeepAirSig에서 Equal Error Rate 2.5%, ImmAirSig에서 분류 정확도 76%를 달성하였다. 이러한 결과는 몰입형 환경에서 보안과 자연스러운 상호작용을 융합하는 원활하고 사용자 중심적인 인증을 위한 3D 행동 기반 인터페이스의 잠재력을 보여준다.

arXiv:2607.11710v1cs.CV

SVI360: 구형 비디오 보간

SVI360: Spherical Video Interpolation

본 논문은 전방위 비디오 보간 문제를 다루며, 이는 가상 현실 및 몰입형 비디오 향상과 같은 응용 분야에서 핵심적인 역할을 한다. 기존 비디오 보간 방법들은 구형 비디오에 적합하지 않은데, 극점(poles) 근처의 심각한 왜곡을 처리하는 데 어려움이 있기 때문이다. 이 문제를 해결하기 위해, 우리는 이러한 왜곡을 처리하기 위해 이미지 프레임과 회전된 직교 뷰를 결합하는 이중 브랜치 프레임워크인 SVI360을 제안한다. 본 접근법의 핵심 방법론적 측면은 중간 프레임 예측을 개선하기 위해 원본 뷰와 직교 뷰 간의 플로우 변위(flow displacements)의 등변성(equivariance)을 강화하는 것이다. 실험 결과, 우리의 방법은 4개의 서로 다른 공개 벤치마크에서 정확한 옵티컬 플로우(optical flow)를 유지하면서 보간 품질에서 최신 접근법들을 능가하는 것으로 나타났다. 코드 및 사전학습된 모델은 https://icb-vision-ai.github.io/video360_interpolation/ 에서 확인할 수 있다.

arXiv:2607.09260v1cs.CV

AnythingReality: 오픈-어휘 VR 장면 탐험을 위한 강건한 온라인 Gaussian Splatting SLAM

AnythingReality: Robust Online Gaussian Splatting SLAM for Open-Vocabulary VR Scene Exploration

우리는 강건한 온라인 3D Gaussian splatting, 실시간 VR 탐험, 음성 기반 비전-언어 모델(Vision-Language-Model) 상호작용을 위한 새로운 통합 아키텍처를 제안한다. 깨끗한 깊이 정보나 외부 포즈를 가정하는 방법들과 달리, 우리 시스템은 잡음이 있는 실세계 데이터에 대해 ORB-SLAM3 기반 포즈 추정과 온라인 Gaussian 재구성을 결합한다. VR 파이프라인은 점진적 재구성의 몰입형 탐험을 가능하게 하며, 의미론적 모듈은 음성 명령을 텍스트로 변환하고, 장면 설명을 생성하며, 관심 지점을 기록한다. 최신 온라인 Gaussian splatting 방법들과 비교하여, 우리 데이터셋에서 이미지 품질이 향상되었으며(PSNR +14.5%, SSIM +8.6%, LPIPS -14.3%), TUM-RGBD 데이터셋에서도 마찬가지였다(PSNR +11.7%, SSIM +7.8%, LPIPS -21.6%). 품질-속도 구성을 통해 비교 가능하거나 우수한 프레임 레이트를 달성하였으며, VLM 객체 인식률 88%를 기록하였다.

arXiv:2606.26123v1cs.NI

6G SD-RAN에서 동적 VR 슬라이스 관리를 위한 프라이버시 인식 에이전트 협업

Privacy-Aware Agent Collaboration for Dynamic VR Slice Management in 6G SD-RAN

6G SD-RAN에서 VR 슬라이스 동적 자원 관리를 위해 이동성 예측과 정보 병목(information bottleneck) 인코더를 결합한 프라이버시 인식 다중 에이전트 강화학습(MARL) 프레임워크를 제안하여, 협력 에이전트가 사용자 데이터 프라이버시를 보호하면서 end-to-end VR 링크 전반의 자원 분배와 처리량을 최적화한다. 시뮬레이션에서 기존 방법 대비 처리량이 최대 34% 향상되고 자원 사용은 28% 감소하며 프라이버시 유출은 85% 줄어든다.