PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24706v1cs.HC

"MeBo는 당신의 흔적을 남깁니다": 노인을 위한 관계형 음성 기반 기억 동반자 설계

"MeBo Leaves a Piece of You Behind": Designing a Relational Voice-Based Memory Companion for Older Adults

자전적 기억 회상은 노년기의 정체성, 웰빙, 사회적 유대감을 지원하지만, 기존의 음성 기반 기억 기술은 대체로 고립된 프롬프트(prompt)에 의존하고 있습니다. 본 연구에서는 11명의 노인과의 참여형 설계를 통해 완전한 기능을 갖춘 관계형 음성 기반 기억 동반자인 MeBo를 설계하고 제작했습니다. 이들의 경험담은 MeBo의 상호작용 설계와 다중 에이전트(multi-agent) 구현을 이끈 4가지 '디자인 전략'을 형성했습니다. 20명의 노인을 대상으로 한 혼합 방법 평가(mixed-methods evaluation)에서 참가자들은 MeBo가 매우 유용하며(SUS = 87.75), 즐겁고, 사교적이며, 정서적으로 반응하고 신뢰할 수 있다고 평가했습니다. 참가자들은 세션 전보다 세션 후에 더 높은 긍정 정동과 순간적인 사회적 유대감을 보고했으며, 부정 정동은 더 낮아졌다고 답했습니다. 참가자들은 MeBo가 자신들의 이야기를 따라가고, 이전 기억으로 되돌아가며, 선호도에 맞게 적응하고, 점차 쌓여가는 기억을 시각화하고 제어할 수 있도록 만든 방식을 설명했습니다. MeBo의 관계적 프레이밍은 시스템이 무엇을 기억해야 하는지, 상호작용을 통해 생성된 기억에 누가 접근할 수 있는지, 사용자가 더 이상 존재하지 않거나 MeBo가 없을 때 이 기억들이 어떻게 되는지를 둘러싼 긴장감을 드러냅니다.

arXiv:2609.22277v1cs.AI

시각장애인 다중모달 이동 보조를 위한 저렴한 AI 통합 스마트 지팡이

An Affordable AI-Integrated Smart Cane for Multimodal Mobility Assistance of Visually Impaired Users

전 세계 22억 명 이상이 시각장애를 겪고 있으나, 기존 흰 지팡이는 높이 있는 위험 요소를 감지하거나 의미론적 환경 맥락을 제공할 수 없다. 기존 AI 보조 내비게이션 시스템은 일반적으로 고가의 하드웨어 또는 클라우드 연결에 의존하여, 자원이 제한된 환경에서의 접근성을 제한한다. 본 논문은 초저전력 Raspberry Pi Zero 2W에서 다중모달 이동 보조를 위해 설계된 저렴한(88 USD) 완전 오프라인 AI 통합 스마트 지팡이를 제안한다. 시스템은 RGB 비전 감지와 Time-of-Flight(ToF) 거리 추정을 융합하고, INT8 양자화 SSD MobileNet V1 모델을 거리 인식 진동 촉각 피드백 및 실시간 오디오 알림과 결합한다. 제한된 하드웨어에서의 운영 견고성을 위해, 멀티프로세싱 아키텍처가 센서 획득, 신경망 추론, 햅틱 피드백을 장애 안전 센싱 지원과 함께 독립 프로세스로 분리한다. 실내 이동 시나리오에 걸친 실험 평가는 macro-averaged F1-score 0.82(정밀도: 0.85, 재현율: 0.81), 평균 end-to-end 지연 330 ms, 최대 전력 소모 2.8 W를 보여준다. 12명 참가자(SUS: 78.5, NASA-TLX)를 대상으로 한 예비 사용성 연구는 긍정적인 사용자 인식과 향상된 장애물 인식을 보여주었다. 제안된 프로토타입은 비용에 민감한 이동 보조를 위한 프라이버시 보존형 엣지 네이티브 보조 지능 배포의 타당성을 검증한다.

arXiv:2607.21156v1cs.AI

SafeStep: 노쇠 또는 치매를 앓은 고령자를 위한 AI 기반 이동 보조

SafeStep: AI-powered Travel Assistance for Elderly People with Frailty or Dementia

영국에서 100만 명 이상이 노쇠 또는 치매를 겪고 있으며, 이는 도시 환경에서의 이동 능력을 심각하게 저해한다. 본 논문은 고령 사용자의 여정을 보조하는 AI 기반 이동 시스템인 SafeStep을 제안한다. SafeStep의 핵심은 경로 계획과 예측 모델링을 통합한 새로운 이동 그래프 표현이다. 각 여정 단계마다 시스템은 (i) 대규모 언어 모델(LLM)과 Anticip8 행동 예측 엔진을 결합하여 개인화된 실패 시나리오를 생성하고, (ii) 표적 개입을 제안하며, (iii) 개입이 결과 확률에 미치는 영향을 추정한다. 이를 통해 SafeStep은 목적지에 도달할 가능도를 최대화하는 개입을 선택할 수 있다. SafeStep은 이동 그래프 생성 실험과 26건의 실제 여정을 포함한 현장 연구를 통해 평가되었다. 결과는 실패 예측에는 Anticip8을, 개입 평가에는 GPT 기반 모델을 결합할 때 가장 신뢰할 수 있는 성능을 보였음을 나타냈다. 사용자 피드백에 따르면 SafeStep은 이동 중 자신감과 체감 안전성을 향상시켰으나, 대상 인구층을 위해 인터페이스 사용성을 개선할 필요가 있다. 향후 SafeStep을 개선하고 공개할 계획이다. SafeStep을 위해 개발된 AI 시스템은 정신 건강, 진로 코칭, 중독 치료 등 다른 분야에도 적용될 수 있다.

arXiv:2607.03213v1cs.CV

OpenGlass: 로컬 MLLM 기반 실시간 시각 보조를 위한 감지-연산 분리 아키텍처

OpenGlass: A Sensing-Computing Split Architecture for Local MLLM-Driven Real-Time Visual Assistance

본 논문에서는 저지연 멀티모달 시각 보조를 위한 오픈소스, 프라이버시 중심, 로컬 우선 시스템인 OpenGlass를 제안하며, 주요 대상은 시각 장애 및 저시력 사용자이다. 클라우드 기반 MLLM 어시스턴트는 강력한 시각 이해 능력을 제공하지만, 1인칭 시각 데이터 업로드가 필요하고 수 초에 달하는 네트워크 지연이 발생할 수 있다. 웨어러블 안경은 감지에 이상적이나, 제한된 연산 및 전력 예산 하에서는 대형 모델을 구동할 수 없다. OpenGlass는 감지-연산 분리 방식으로 이 간극을 해소한다. ESP32 기반 안경 측 장치가 시각적 컨텍스트를 캡처하고, 인근의 소비자용 기기가 로컬 MLLM 추론과 로컬 음성 출력을 수행함으로써 클라우드 의존도를 낮추고, 원시 자기중심적(egocentric) 시각 데이터를 기본적으로 사용자 제어 기기에 보관한다. 본 연구에서는 응답 품질, 쿼리 준비 완료 시점부터 오디오 출력까지의 지연, 안전성 인식 거절(abstention), 감사 가능한 로그를 평가한다. 실제 ESP32 Wi-Fi 캡처 환경에서, OpenGlass는 리사이즈된 페이로드 기준 중앙값 993 ms, 원시 1280×720 페이로드 기준 1625 ms의 사용자-오디오 지연을 달성하며, 각각 97.5%와 93.3%의 시도가 2초 미만이었다. OpenGlass는 장애물/위험 인식, 표지판/사물 쿼리, 이미지 품질 자가 점검을 위한 사용자 주도형 시각 보조 참조 플랫폼으로, 공인된 내비게이션 보조 도구가 아님을 명시한다. 소스 코드, 하드웨어 설명서, 프롬프트, 평가 데이터, 로그를 공개한다.

arXiv:2606.25084v1cs.CV

우리는 목표에 도달했는가? 보조 AI 응용에서 다중모달 대규모 언어 모델의 역량 탐구

Are We There Yet? Exploring the Capabilities of MLLMs in Assistive AI Applications

다중모달 대규모 언어 모델(MLLM)은 비전 인코더와 대규모 언어 모델을 결합함으로써 시각적 이해를 재정의하였다. 이 통합 아키텍처는 이미지 캡셔닝, 시각적 질의응답, 다중모달 대화 등의 태스크에서 제로샷 및 퓨샷 설정에서도 뛰어난 성능을 발휘한다. 범용적인 역량과 유연한 인터페이스 덕분에 MLLM은 실세계 비전-언어 응용의 유망한 기반으로 주목받고 있다. 보조 AI(Assistive AI)는 사용자가 자연어를 통해 주변 환경과 상호작용할 수 있도록 돕는 것을 목표로 한다. 이러한 시나리오에서는 강건한 시각적 인식, 맥락적 추론, 다국어 이해 능력이 요구되며, 이는 MLLM이 제공할 수 있다고 여겨지는 역량들이다. 그러나 보조 환경에서의 실제 효용은 아직 충분히 규명되지 않았다. 본 연구에서는 MLLM이 보조 AI를 지원할 수 있는지를 탐구하기 위해, 화폐 등 일상적 사물 인식, 장면 텍스트 기반 질의응답, 다국어로 제시된 시각 콘텐츠 읽기 등 실세계 태스크에서 최신 모델들을 평가하였다. 이를 위해 헤드 마운트 GoPro를 활용하여 실세계 에고센트릭(egocentric) 데이터를 수집하는 시스템인 NetraLink를 개발하고, 이러한 보조 시나리오를 포괄하는 벤치마크를 구축하였다. 본 연구의 결과는 현재 MLLM에 대한 포괄적인 진단을 제공하며, 시각적 지각과 언어 상호작용에 기반한 보조 기술 구현에 있어서의 강점과 한계를 명확히 제시한다.

arXiv:2606.24854v1cs.HC

It's Complicated: On the Design and Evaluation of AI-Powered AAC Interfaces

Artificial intelligence (AI) can enhance what people who use augmentative and alternative communication (AAC) are able to do with their systems. However, evaluating AI-powered AAC interfaces can be difficult. People are intersectional beings and current evaluation metrics can struggle to capture the multifaceted and nuanced desires people may have for their AAC. We explore the complicated nature of six AAC problem spaces, explore how AI might be used in these spaces, and suggest more robust methods of evaluation that take the intersectional nuances of people into account. We also discuss broader issues that arise across these problem spaces and how they could be addressed using our proposed evaluation methods.

arXiv:2606.11320v1cs.CV

보조 기술을 위한 노드 및 엣지 다이어그램의 시맨틱 세그멘테이션

Semantic Segmentation of Node and Edge Diagrams for Assistive Technology

본 논문에서는 노드-링크 다이어그램(node-link diagram)의 시맨틱 세그멘테이션(semantic segmentation)을 위한 새로운 관련 모델 세트를 제안합니다. 이러한 다이어그램은 수학적 그래프, 개념 간의 관계, 순서도를 나타내는 데 자주 사용됩니다. 이러한 다이어그램은 비시각적으로 접근하기 어렵습니다. 노드-링크 다이어그램을 위해 설계된 일부 보조 인터페이스가 존재하지만, 이들은 다이어그램의 기계가 읽을 수 있는 표현에 의존하는 반면, 실제로는 대부분 비트맵 이미지(bitmap image) 형태로 제공됩니다. 우리의 컴팩트한 심층 학습(deep learning) 모델은 노드-링크 다이어그램의 대규모 합성 데이터셋(synthetic dataset)에서 우수한 정량적 및 정성적 성능을 보여주며, 픽셀당 정확도(per-pixel accuracy) 93% 이상을 달성했습니다.

arXiv:2511.06080v4cs.CV

AIDEN: 시각장애인을 위한 AI 어시스턴트 설계 및 파일럿 연구

AIDEN: Design and Pilot Study of an AI Assistant for the Visually Impaired

이 논문은 AIDEN을 소개한다. AIDEN은 객체 식별, 텍스트 읽기, 낯선 환경에서의 내비게이션에 어려움을 겪는 시각장애인의 자율성과 일상적인 삶의 질을 향상시키기 위해 설계된 인공지능 기반 어시스턴트이다. 스크린 리더나 오디오 기반 어시스턴트와 같은 기존 솔루션은 정보 접근을 용이하게 하지만, 청각적 과부하를 자주 유발하고 개방된 환경에서 프라이버시 우려를 야기한다. AIDEN은 실시간 객체 검출을 위한 YOLO(You Only Look Once)와 장면 설명 및 광학 문자 인식(OCR)을 위한 대형 언어-비전 어시스턴트(LLaVA)를 통합한 하이브리드 아키텍처로 이러한 한계를 해결한다. 시스템의 핵심적인 새로운 기능은 가이거 계수기 은유에 기반한 연속적인 햅틱 안내 메커니즘으로, 청각 채널을 점유하지 않고 객체 중심화를 지원하며, 개인 데이터가 저장되지 않도록 보장함으로써 프라이버시를 보호한다. 시각장애인 참가자를 대상으로 한 실증적 평가에서는 기술 수용 모델(TAM)을 사용하여 인지된 사용 편의성과 수용도를 평가하였다. 결과는 특히 직관성과 인지된 자율성 측면에서 높은 사용자 만족도를 나타낸다. 또한 '객체 찾기' 기능은 효과적인 실시간 성능을 달성하였다. 이러한 결과는 멀티모달 햅틱-시각 피드백이 전통적인 오디오 중심 방법에 비해 일상적인 사용성과 독립성을 향상시킬 수 있다는 유망한 증거를 제공하며, 더 대규모의 임상 검증을 촉진한다.