arXiv:2606.13192v1 cs.AI

멀티모달 LLM을 활용한 모바일 사용자 경험 추론: 태스크, 벤치마크, 접근법

Reasoning for Mobile User Experience with Multimodal LLMs: Task, Benchmark, and Approach

Ruichao Mao, Zhou Fang, Teng Guo, Hao Yang, Yaping Li, Shaohua Peng, Maji Huang, Xiaoyu Lin, Shuoyang Liu, Xuepeng Li, Yuyu Zhang, Hai Rao

제출 2026-06-11

한국어 초록

사용성, 지각적 일관성, 기능적 명확성을 중심으로 하는 사용자 경험(UX)은 실제 사용자 인터페이스(UI)의 근본적인 요소이다. 시각적 요소 그라운딩(visual element grounding), 그래픽 사용자 인터페이스(GUI) 에이전트, 디자인-코드 생성 등 사용자 인터페이스 분야에서 멀티모달 대규모 언어 모델(MLLM)의 활용이 빠르게 발전하고 있다. 그러나 UI 스크린샷을 기반으로 UX를 평가하는 연구는 아직 미성숙한 단계에 머물러 있다. 이를 해결하기 위해 우리는 UXBench를 제안한다. UXBench는 MLLM의 UI 기반 추론 능력을 평가하기 위해 설계된 2,000개의 VQA 데이터 샘플로 구성된 새로운 멀티모달 벤치마크이다. UXBench는 실제 UI 스크린샷을 기반으로 하는 8가지 태스크를 포함하며, 레이아웃 관계, 시각적 계층 구조, 콘텐츠 일관성 전반에 걸쳐 UX 문제를 세밀하게 진단하도록 요구한다. 주류 MLLM에 대한 광범위한 평가 결과, 이 모델들은 UI 기반 추론 능력에서 근본적인 한계를 여전히 보이고 있음이 드러났다. 이 결과는 해당 분야에서 추가적인 발전이 필요함을 강조한다. 이 격차를 해소하기 위해 우리는 UI-UX를 제안한다. UI-UX는 Qwen3-VL-4B-Thinking 파운데이션 모델을 기반으로 하며, 두 가지 핵심 혁신을 통해 강화학습으로 향상된 MLLM이다. 첫째는 추론 중 지각적 이해와 논리적 추론을 동적으로 균형 조정하는 보상 라우팅(reward routing) 메커니즘이고, 둘째는 중복되거나 불충분한 추론 단계를 억제하는 비대칭 전이 보상(asymmetric transition reward)이다. 실험 결과 UI-UX는 UXBench에서 최첨단(SOTA) 성능을 달성하여 정확도 0.7963을 기록하였으며, 이는 Claude-4.5-Sonnet의 0.6550을 상회한다. 또한 다양한 UI 태스크 전반에서 강력한 일반화 능력을 보이면서도 낮은 추론 지연 시간을 유지한다.

원문 초록

User experience (UX) centered on usability, perceived consistency, and functional clarity is fundamental to real-world user interfaces (UI). The application of multimodal large language models (MLLMs) in the field of user interfaces is evolving rapidly, such as visual element grounding, graphical user interface (GUI) agents, and design-to-code generation. However, research efforts on evaluating UX based on UI screenshots are still immature. To address this, we propose UXBench, a novel multimodal benchmark consisting of 2,000 VQA data samples designed to assess MLLMs' ability to perform UI-based reasoning. UXBench includes 8 tasks based on real-world UI screenshots that require fine-grained diagnosis of UX issues across layout relationships, visual hierarchy, and content consistency. Our extensive evaluation of mainstream MLLMs shows that they remain fundamentally limited in their capacity for UI-based reasoning. The results underscore the need for further advancements in this area. To bridge this gap, we propose UI-UX, an MLLM based on Qwen3-VL-4B-Thinking foundation model and enhanced via reinforcement learning with two key innovations: a reward routing mechanism that dynamically balances perceptual understanding and logical reasoning during inference, and an asymmetric transition reward that suppresses redundant or insufficient reasoning steps. Experiments demonstrate that UI-UX achieves state-of-the-art (SOTA) performance on UXBench, attaining an accuracy of 0.7963 -- surpassing Claude-4.5-Sonnet's 0.6550 -- while exhibiting strong generalization across diverse UI tasks and maintaining low inference latency.

요약

UI 스크린샷을 통해 UX(User Experience)를 진단하는 UXBench 벤치마크를 제안하고, 강화학습(reinforcement learning) 기반의 새로운 보상 라우팅 메커니즘을 적용한 UI-UX 모델이 기존 최상위 모델보다 뛰어난 성능을 보임을 확인했습니다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.13192v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15810v1cs.CV공통 태그 Reinforcement Learning, Visual Question Answering

적응적 보기, 유연한 사고: 멀티모달 추론에서 어떻게, 얼마나 길게 생각할지 학습하기

Adaptive Look, Flexible Thought: Learning How and How Long to Think in Multimodal Reasoning

긴 사고의 연쇄(Chain-of-Thought, CoT) 추론과 외부 도구의 도입은 일반 작업과 추론 작업에서 멀티모달 대규모 언어 모델(MLLM)의 성능을 크게 향상시켰다. 그러나 기존의 빠르고-느린(fast-slow) 추론 패러다임은 주로 텍스트 추론의 길이를 조절하는 데 그치며, 외부 도구나 비주얼 토큰에 의해 도입되는 시각적 연산은 흔히 보조적인 구성 요소로 취급된다. 이러한 분리는 MLLM이 시각적 지각(visual perception)과 텍스트 추론을 함께 최적화하는 것을 가로막는다. 이 문제를 해결하기 위해, 우리는 연산의 형태와 깊이를 함께 최적화하는 통합 추론 프레임워크인 L2T(adaptive Look, flexible Thought)를 제안한다. L2T는 먼저 도구가 생성한 시각적 상태를 비주얼 토큰으로 이산화(discretize)하여, 시각적 지각과 텍스트 추론을 공유된 자기회귀(autoregressive) 공간으로 통합한다. 이러한 통합된 표현을 기반으로, L2T는 적절한 추론 모드를 선택하기 위한 모달리티 인지 라우팅 보상(modality-aware routing reward)과 과제의 복잡도에 따라 추론 깊이를 조정하는 난이도 인지 빠르고-느린 전략(difficulty-aware fast-slow strategy)을 도입한다. 일반적인 지각 작업과 추론이 집중적으로 필요한 작업에 대한 실험은 L2T의 효과를 입증한다. 명시적으로 도구를 호출하는 접근법과 비교할 때, L2T는 경쟁력 있는 성능을 유지하면서도 1.7~3.6배 높은 처리량(throughput)을 달성한다.

arXiv:2610.13790v1cs.CV공통 태그 Benchmarking, Visual Question Answering

OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?

OccludeBench: Can VLMs Find What's Missing?

비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.

arXiv:2610.11065v1cs.LG공통 태그 Reinforcement Learning, Benchmarking

CityDeploy-Bench: 다중 송신기 네트워크 배치를 위한 물리 기반 공간 집합 계획 벤치마킹

CityDeploy-Bench: Benchmarking Physics-Grounded Spatial Set Planning for Multi-Transmitter Network Deployment

도시 규모의 무선 배치 자동화는 복잡한 도심 전파 환경과 네트워크 전역의 간섭 속에서 여전히 어려운 과제로 남아 있다. 본 논문에서는 다중 송신기 배치 문제를 통합된 광선 추적(ray-tracing) 검증기 하에서 물리 기반 공간 집합 계획(physics-grounded spatial set planning) 문제로 재구성한 벤치마크인 CityDeploy-Bench를 소개한다. 이 벤치마크는 유틸리티(utility) 표현과 계획 다이내믹스를 분리함으로써, 다양한 플래너(planner)에 대해 직접적인 스칼라 보상, 관계형 모델, 그리고 고차 상호작용 구조 간의 통제된 비교를 가능하게 한다. 실험 결과, 물리적 결합(coupling)이 커질수록 계획 행동에서 명확한 전환이 나타난다. 배치 품질은 학습된 유틸리티가 송신기 간의 집합적 상호작용을 포착하는지에 점점 더 의존하게 되며, 반면 더 강력한 탐색만으로는 누락된 관계형 구조를 보완할 수 없다. 이는 다중 송신기 배치가 독립적인 공간적 의사결정들의 집합이 아니라, 물리적으로 상호작용하는 집합에 대한 조정(coordination) 문제임을 보여준다. 우리는 의사결정 학습(decision learning)과 물리 기반 무선 네트워크 설계를 연결하는 연구를 위한 재현 가능한 테스트베드로서 CityDeploy-Data와 벤치마크 프레임워크를 공개한다.

arXiv:2610.02617v1cs.SE공통 태그 Reinforcement Learning, Benchmarking

WebUIProof: UI-에이전트 실행 하네스를 활용한 WebUI 코드 생성기 벤치마킹

WebUIProof: Benchmarking WebUI Code Generators with UI-Agent Execution Harness

WebUI 코드 생성을 대규모로 평가하는 것은 어렵습니다. 생성 결과물이 컴파일되고 그럴듯해 보일 수 있지만 사용자 상호작용에서는 실패할 수 있으며, 기존 벤치마크는 주로 기능적 정확성을 놓치는 정적 검사(빌드 성공, 스크린샷)와 자유 형식 프롬프트에 크게 의존합니다. 본 논문에서는 일반 WebUI(예: 대시보드, 게임, 대화형 도구)와 3D 대화형 시뮬레이션(예: 입자/은하계 시스템, 물리 역학)의 두 가지 작업군에 걸쳐 WebUI 생성을 위한 구조화된 명세와 조밀하고 실행 가능한 상호작용 테스트를 제공하는 실행 지향적 벤치마크인 WebUIProof를 소개합니다. WebUIProof는 반복적인 계획-행동-관찰(plan-act-observe) 루프를 사용해 헤드리스 브라우저에서 실행 가능한 상호작용 테스트를 구동하는 UI-에이전트(UI-agent) 하네스를 포함합니다. 이는 DOM 요소를 찾고, 행동을 수행하며, 그 결과로 나타나는 UI/DOM 변화를 관찰하고, 지정된 단언문(assertions)을 확인합니다. 8개의 상용 대규모 언어 모델(LLM)에 대해 평가를 진행한 결과, 페이지가 성공적으로 렌더링되더라도 상호작용 기반 요구사항에서 빈번한 실패가 발생함을 관찰했으며, 특히 3D 시뮬레이션 인터페이스에서 이러한 현상이 두드러졌습니다. 마지막으로, UI-에이전트 하네스가 결과 수준의 학습(training) 신호를 제공할 수 있음을 보여줍니다. 실행 가능한 상호작용 테스트에서 파생된 강화학습(RL) 보상으로 소형 모델(예: Qwen2.5 14B 및 MIMO 7B)을 학습시키면 빌드 실패를 줄이면서 기능적 완성도를 향상시킬 수 있습니다.

arXiv:2610.03617v1cs.CV공통 태그 Benchmarking, Visual Question Answering

DEPICT: 답변 일치도를 통한 텍스트-이미지 정렬 점수화

DEPICT: Scoring Text-to-Image Alignment by Answer Agreement

이미지-텍스트 정렬(image-text alignment)은 캡션 평가, 환각(hallucination) 감지, 데이터 큐레이션, 텍스트-이미지(T2I) 생성 모델 벤치마킹 등에 응용되는 컴퓨터 비전의 핵심 문제입니다. T2I 모델이 발전함에 따라 벤치마킹 요구 수준도 높아져, 누락된 객체, 뒤바뀐 속성, 잘못된 개수 세기, 무시된 부정 표현과 같은 일련의 문제들을 발견할 수 있는 평가 지표가 필요해졌습니다. 최근 연구들은 선호도 데이터로 평가 모델을 미세조정(fine-tuning)하거나 비전-언어 모델(VLM)에 캡션을 통째로 프롬프트로 주거나 분해된 검증 질문을 제공하는 방식으로 이를 해결하고자 합니다. 그러나 기존 접근 방식에는 한계가 있습니다. 미세조정된 지표는 단일 백본 및 학습 분포에 종속되며, 전체론적(holistic) 지표는 세밀한 세부 정보를 놓치고, 분해 기반 지표는 가정이 깨질 때마다 충실한 이미지에 불이익을 주는 '고정된 YES' 가정에 의존합니다. 이에 반해, 본 논문에서는 고정된 참조 답변 대신 이미지 기반 답변과 캡션 전용 답변 간의 기대 일치도를 사용하고, 캡션이 질문을 얼마나 결정적으로 판별하는지에 따라 가중치를 부여하는 학습 불필요(training-free) 지표인 DEPICT를 제안합니다. 고정된 참조 답변을 대체함으로써, 이러한 일치 규칙은 부정 표현 정확도를 19%에서 88%로 향상시킵니다. 또한 분해 과정에서 손실된 문맥을 복원하기 위해, DEPICT는 이 일치 점수를 전체론적 점수와 병합합니다. 3개 모델 계열의 11개 백본과 5개 벤치마크에서 DEPICT를 평가한 결과, 모든 학습 불필요 지표를 능가했으며 인간 상관관계 벤치마크 3개 중 2개에서 미세조정된 평가 모델보다 우수한 성능을 보였습니다.

arXiv:2610.00557v1cs.CR공통 태그 Reinforcement Learning, Benchmarking

모든 것에 적합한 단일 아키텍처는 없다: 계층적 레드팀 에이전트의 교차 환경 평가

No One Architecture Fits All: A Cross-Environment Evaluation of Hierarchical Red Team Agents

자율 레드팀 에이전트는 전략을 계획하고 다단계 공격을 실행함으로써 AI 기반 사이버 방어를 스트레스 테스트하는 데 점점 더 많이 활용되고 있습니다. 강화학습(RL)과 대규모 언어 모델(LLM)은 이러한 에이전트가 요구하는 계획 및 실행에 대해 상호보완적인 메커니즘을 제공하며, 이전 연구들은 이들을 하이브리드 계층 구조로 결합해 왔습니다. 그러나 특정 아키텍처는 일반적으로 단일 환경 내에서 개발 및 평가되므로, 관찰된 이점이 전반적으로 더 강력한 의사결정 메커니즘을 반영하는 것인지 아니면 특정 설정에 대한 정렬에 불과한 것인지는 명확하지 않았습니다. 본 연구에서는 RL 계획기와 RL 실행기로 구성된 구조(RL+RL), 그리고 LLM 계획기와 LLM 실행기로 구성된 구조(LLM+LLM)라는 두 가지 동질적 계층형 레드팀 아키텍처에 대한 통제된 교차 환경 비교를 통해 이러한 공백을 해결합니다. CybORG CAGE-4 환경 및 두 가지 네트워크 규모의 Cyberwheel 환경에서, 단일 통합 무력화(disruption) 지표 하에 18개 구성을 바탕으로 전문가 자율 방어자를 상대로 두 아키텍처를 모두 평가했습니다. 그 결과 뚜렷한 환경 의존적 역전 현상을 발견했습니다. RL+RL은 조밀한 보상이 주어지는 소규모 CAGE-4(가장 강력한 LLM 구성의 18.0% 대비 78.5% 무력화 성공률)와 100대 호스트 규모의 Cyberwheel 네트워크(50.5% 대비 81.0%)에서 우세했던 반면, 사전학습된 사이버 보안 LLM 에이전트는 권한 상승이 관문 역할을 하는 더 큰 규모의 1010대 호스트 Cyberwheel 네트워크에서 우세했습니다(RL의 0.0% 대비 55.0%). 킬체인(kill-chain) 분석을 통해 전체 성공률에 가려져 있던 아키텍처별 병목 현상으로 이러한 역전을 설명합니다. 1010대 호스트 Cyberwheel 네트워크에서 RL은 호스트를 탐색하고 침해하지만 권한 상승 단계에서 정체되는 반면, CAGE-4에서는 LLM 에이전트가 특권 접근 권한을 획득하고도 이를 실제 운영상의 타격으로 전환하지 못합니다. 이러한 결과는 단일 환경에서 도출된 결론이 일반화되지 않을 수 있음을 시사하며, 하이브리드 계획기-실행기 설계는 특정 아키텍처가 보편적으로 우월하다는 가정보다는 구체적인 실패 모드를 기반으로 타당성을 확보해야 함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.