소형 언어 모델과 코딩 에이전트가 웹 프론트엔드 코드를 점점 더 많이 생성하고 있지만, 그 출력물은 주로 기능적 정확성(functional correctness)만을 기준으로 평가되는 경우가 많다. 생성된 인터페이스는 컴파일되고, 렌더링되며, 단위 테스트를 통과할 수 있으면서도 접근성 장벽, 기만적 디자인 패턴, 열악한 시각적 계층 구조, 과도한 의사결정 복잡성 등 확립된 인터페이스 품질 원칙을 여전히 위반할 수 있다. 기존 감사(auditing) 접근법은 비용, 커버리지, 확장성 사이의 트레이드오프에 직면한다: 전문가의 사람 검토는 풍부한 판단을 제공하지만 느리고 비용이 많이 든다; 최첨단 비전-언어(vision-language) 모델은 더 넓은 추론 능력을 제공하지만 대규모 배포에는 여전히 비용이 많이 든다; axe-core, Lighthouse와 같은 규칙 기반 도구는 저렴하지만 주로 기계적으로 검증 가능한 접근성 이슈만 포착한다. 우리는 경량 비전-언어 모델이 생성된 인터페이스에 대한 효과적인 critic(평가자) 역할을 할 수 있는지 조사한다. 우리는 HCI 지식의 세 가지 상호 보완적 출처—WCAG 2.2 접근성 표준, 기만적 디자인 분류체계, 확립된 지각·인지·상호작용 이론—에서 19개의 인터페이스 품질 원칙을 통합한다. 이 critic을 학습하기 위해, 우리는 깨끗한 LLM 생성 Tailwind 페이지에 알려진 위반을 합성적으로 주입하여 약 10,000개의 생성 웹 페이지로 구성된 검증된 데이터셋을 구축한다. 4B 비전-언어 모델에 대한 지속적 강화학습은 micro-F1을 36%에서 84%로 향상시키며, 19개 원칙 중 13개가 80% F1을 초과한다. 결과적으로 얻어진 critic은 생성된 인터페이스를 감사하고, 저품질 인터페이스 학습 데이터를 필터링하며, 디자인을 고려한 코드 생성을 위한 보상 신호를 제공할 수 있다. 우리는 재현 가능한 평가와 확장 가능한 인터페이스 품질 평가에 대한 향후 연구를 지원하기 위해 데이터 생성 레시피와 주입/검증 프롬프트를 공개한다.
이 논문은 난독증, ADHD, 짧은 주의력을 가진 학생들이 텍스트 기반 정보를 더 효율적으로 처리할 수 있도록 돕기 위해 설계된 인공지능 도구를 제시한다. 제안된 솔루션은 클라우드에 호스팅된 대규모 언어 모델(LLM)과 적응형 타이포그래피 서식을 결합하여 인지적 및 시각적 독서 장벽을 모두 해결한다. 핵심적으로, 이 도구는 Google의 Gemini API에 요청을 스트리밍하여 정확하고 문맥을 인식하는 요약을 실시간으로 생성하며, 로컬 모델을 호스팅하거나 파인튜닝할 필요를 없앤다. 애플리케이션은 붙여넣은 텍스트뿐 아니라 업로드된 .txt, .pdf, .docx 파일도 받아들이며, 각 소스를 독립적으로 추출하고 요약한다. 가독성을 더욱 최적화하기 위해, 시스템은 사용자 정의 반단어 굵게 표시 기법을 품사 태깅과 빈도 순위를 사용하여 진정한 키워드를 식별하고 강조하는 2차 패스와 함께 적용하며, 사용자가 줄, 단어, 글자, 텍스트 간격을 수동으로 조정할 수 있게 한다. Gemini로 요청을 프록시하는 경량 Flask 웹 프레임워크를 통해 배포된 이 시스템은 고도로 개인화되고 접근 가능한 사용자 인터페이스를 제공한다. 초기 결과는 이 통합 접근 방식이 읽기 속도와 이해도를 모두 크게 향상시켜, 대상 학생들이 더 큰 집중력으로 복잡한 텍스트 데이터를 소화할 수 있게 함을 보여준다.
촉각 그래픽은 시각장애인 및 저시력(BLV)인들이 비텍스트 정보에 접근하는 주요 매체이다. 그러나 이를 확장하거나 개인화하기는 어렵다. 최근 생성 모델들이 시각 콘텐츠 창작을 혁신했지만, 화면 기반 시각적 사실성에 최적화되어 있어 촉각에 필요한 촉각 지각 및 물리적 제작 제약 조건을 충족하지 못한다. 우리는 자연어 프롬프트로부터 직접 제작 준비가 완료된 2.5D 촉각 그래픽을 생성하는 최초의 통합 생성 시스템을 제시한다. 이 시스템은 통합된 3D 프린팅 가능 표현 내에서 전역 기본 기하학, 세밀한 촉각 표면 텍스처, 표준 준수 점자를 함께 생성한다. 우리의 접근법은 템플릿 기반 릴리프 생성, 고해상도 타일링 가능 노멀 맵을 위한 빠른 확산 기반 텍스트-텍스처 모듈, 촉각 가독성과 출력 가능성을 보장하기 위한 엄격한 베이스 평탄화 등 제작 인식 기법을 도입하며, 자동 생성과 대화형 텍스처 제어를 모두 지원한다. 광범위한 평가와 함께, 물리적으로 3D 프린팅된 출력물을 사용한 BLV 참가자 및 눈가리개를 한 시력 정상 참가자 대상 대면 사용자 연구에서, 참가자들이 일관되게 베이스라인보다 우리 결과를 선호함을 보여준다. 화면을 넘어 만질 수 있는 릴리프로 생성 그래픽을 확장함으로써, 본 연구는 BLV 커뮤니티 및 그 너머에 대한 생성 AI 접근성을 넓힌다.
STEM(과학, 기술, 공학, 수학) 분야에서 시각 데이터의 확산은 시각 장애 또는 저시력을 가진 개인에게 접근성 장벽을 제시한다. 인공지능(AI)의 최근 발전은 STEM 이미지에 대한 텍스트 설명을 생성할 새로운 기회를 제공하지만, 연구 환경은 파편화되어 있으며 실제 사용자에 대한 영향은 제한적이다. 본 체계적 설문은 접근성과 인간-컴퓨터 상호작용(HCI)에 특히 초점을 맞춰 STEM 시각 자료를 설명하기 위한 AI 기반 기법에 관한 동료 심사 연구 20편을 검토한다. PRISMA 방법론과 ROBIS 기반 바이어스 위험 평가를 따르며, 본 리뷰는 (i) 대상 STEM 시각 자료의 유형, (ii) 사용된 AI 및 머신러닝 아키텍처, (iii) 채택된 데이터셋과 평가 지표, (iv) 설명이 전달되는 상호작용 방식을 분석한다. 분석 결과, 정적이고 일회성 alt text에서 대화형 인터페이스, 키보드 탐색, 오디오 또는 촉각 피드백을 통합하는 대화형·멀티모달 시스템으로의 전환을 보여준다. 그러나 사실 오류와 환각, 시각 장애 및 저시력 사용자와 공동 설계된 접근성 우선 데이터셋의 부족, 인지된 유용성과 신뢰를 제대로 포착하지 못하는 자동 텍스트 중첩 지표에 대한 과도한 의존 등 중요한 과제가 남아 있다. 본 설문은 HCI를 위한 주요 연구 방향을 정리하며 마무리한다. 여기에는 사용자 제어 가능한 상세 수준(verbosity), 설명 가능하고 검증 가능한 AI 파이프라인, 접근 가능한 설명 도구를 주류 STEM 저작 및 학습 환경에 통합하는 것이 강조된다.
시각장애인(visually impaired individuals, VII)은 시각 정보에 대한 접근이 제한되어 일상에서 상당한 어려움을 겪는다. 다중모달 대규모 언어 모델(Multimodal Large Language Models, MLLM)은 일반적인 비전 및 언어 과제에서 인상적인 성과를 거두었지만, 실세계의 시각장애 보조에서의 실용적 유용성은 여전히 크게 미탐색 상태로 남아 있다. 이 공백을 메우기 위해, 우리는 시각장애인(VII)이 직접 녹화하거나 공유한 1인칭 비디오를 사용하여 시각장애 보조(Visually Impaired Assistance) 시나리오에서 MLLM을 평가하도록 특별히 설계된 포괄적 비디오 벤치마크인 VIABench를 소개한다. VIABench는 시각 보조에서 서로 다른 요구를 겨냥하는 세 가지 핵심 과제를 정의한다. 선제적 알림(Proactive Reminder): 진행 중인 비디오 내용을 해석하면서 다가오는 내비게이션상 중요한 사건을 선제적으로 예측하고 구두로 설명하는 모델의 능력을 평가한다; 시각 질의응답(Visual Question Answering, VQA): 비디오 내 환경 또는 사물에 대한 사용자 질문에 답하는 모델의 역량을 평가한다; 비전 기반 상호작용(Vision-Guided Interaction): 사용자와 환경 사이의 의도적 상호작용을 수행하기 위한 맥락 인식 추론을 검증한다. 견고하고 공정한 평가를 위해, 온라인(실시간) 및 오프라인 설정을 모두 지원하는 엄격한 벤치마킹 파이프라인을 제안한다. 우리의 실험은 현재의 MLLM이 여전히 VII을 위한 포괄적 지원을 제공하는 데 어려움을 겪음을 보여주며, 특히 정확한 예측과 실시간 반응성을 요구하는 선제적 알림 과제에서 그렇다. 우리는 VIABench가 실세계 보조를 위한 맞춤형 MLLM 개발을 향한 향후 연구를 이끌어, 궁극적으로 시각장애인의 내비게이션 및 상호작용 경험을 개선하기를 기대한다. 코드와 데이터는 https://github.com/MCG-NJU/VIABench에서 공개될 예정이다.
시력이 있는 실무자들이 접근 가능한 데이터 시각화를 저작할 때, 보조 기술이 인터페이스를 탐색하는 방식을 제어하는 노드, 엣지, 입력 바인딩으로 구성된 내비게이션 구조를 전적으로 코드로만 구축하며, 이에 대한 시각적 표현은 없다. 반응할 수 있는 표현이 없기 때문에 실무자들은 어떤 것이 내비게이션을 좋게 하거나 나쁘게 하는지에 대한 판단을 발달시킬 수 없으며, 비시각 경험의 품질 상한은 피드백 루프의 부재에 의해 정해진다. 지도 제작, 디자인 시스템, 오픈 소스 시각화 분야의 실무자들과의 장기적 공동 디자인을 통해 이 문제를 해결하고, 세 가지 기여를 제시한다. 첫째, 내비게이션 그래프를 인터랙티브 node-link 다이어그램으로 렌더링하는 Inspector와, 명시적 그래프 구축 대신 데이터 차원의 관점에서 내비게이션을 표현하는 Dimensions API를 소개한다. 둘째, 접근 가능한 내비게이션 구조의 속성이 저작자가 관찰하고 조작할 수 있는 시각적 표현으로 변환되는 직접 조작(direct-manipulation) 저작 환경인 Skeleton을 제시한다. 핵심 기법으로는 시스템의 내비게이션 모델과 최종 사용자의 공간적 경험을 동시에 보여 주는 듀얼 뷰 편집기, 시각화 렌더링 파이프라인을 재활용하여 공간적 노드 배치를 자동화하는 스캐폴딩 엔진, 실시간 스크린 리더 출력 미리보기를 갖춘 라이브 레이블 템플릿 편집기, 그리고 순회(traversal) 시퀀스를 시각적으로 추적 가능하게 하는 테스트 모드를 포함한다. 셋째, 시각화 설계, 엔지니어링, 연구 분야의 8명의 실무자를 대상으로 한 현장(in-situ) 연구를 통해 Skeleton을 평가한다. 내비게이션 구조를 가시화한 것은 실무자들의 접근 가능한 디자인 참여 방식을 바꾸었다: 그들은 자신의 시각화 아키텍처를 재고하고, 더 넓은 범위의 입력 양식(input modalities)에 주의를 기울였으며, 접근성을 규정 준수(compliance) 과업이 아닌 디자인 문제로 대하는 관점으로 전환했다. (arXiv용 초록 단축본)
This paper addresses the challenges of using sign language within shared mobility services, such as taxis, carpools, or ride-sharing platforms. The use of sign language recognition (SLR) in real-world, confined environments, specifically vehicle interiors remains largely unexplored. To motivate research in this area, we present the In-Car Sign Language (ICSL) dataset for Brazilian Sign Language (Libras), with the long-term goal of improving public transport accessibility for the Deaf and Hard-of-Hearing community. The dataset consists of: (1) high-precision laboratory motion capture (MoCap) data to establish an idealized linguistic baseline and (2) real-world multi-modal in-car recordings captured using a 2D camera and 3D Time-of-Flight sensors. The dataset provides a basis for comparative analyses between synthesized signing avatar animations and recorded real signing interpreter videos, which enable future research into robust "in-the-wild" SLR models and domain adaptation. We describe in detail the use cases, the setup, the data collection protocol, and the metadata structure of the corpus. In total, we recorded a multimodal dataset exceeding 1.5 million frames, comprising the synchronized multimodal streams described above featuring Libras users across various in-car scenarios. The corpus is provided with gloss annotation of lexical signs and non-lexical sign language elements specially designed to support the training and evaluation of deep neural networks for constrained space recognition. In-vehicle signing offers a technically significant example of a constrained, occluded, and non-frontal environment. While recognizing the diverse communication strategies already employed by the Deaf community, identifying automotive-specific limitations provides a useful stepping stone for research into enhancing in-car accessibility and passenger quality of life.
힌디어 시각장애인을 위한 오디오 설명(AD) 생성 연구로, 8편 장편 영화에서 수집한 최초의 힌디어 AD 데이터셋 Andha-Dhun을 소개하고 영어 밀집 설명에서 직접 생성하는 방식과 영어 AD를 번역하는 두 가지 접근법을 perplexity 및 LLM-as-a-judge 지표로 평가했다. 단순 기계 번역은 문화적 참조 적응에 실패하고 다양성을 낮추며, 힌디어 BLV 시청자를 위한 진정한 접근성 달성에는 원본 충실성보다 대상 청중에 맞는 콘텐츠 적응이 더 중요함을 발견했다.
시각장애 및 저시력(BLV) 사용자가 멀티모달 대규모 언어 모델(MLLM)이 생성한 이미지 설명의 오류를 시각적 확인 없이 탐지하기 어렵다는 문제를 해결하기 위해, 복수의 MLLM 응답 간 변이(variations)를 체계적으로 제시하는 디자인 공간과 프로토타입 시스템을 제안하였다. 15명의 BLV 참가자 대상 사용자 연구 결과, 단일 설명 대비 변이 제시 방식이 신뢰할 수 없는 주장의 탐지율을 4.9배 향상시키고 MLLM 응답에 대한 인지된 신뢰도를 유의미하게 낮추는 것으로 나타났다.