AURORA: Navigating UI Tarpits via Automated Neural Screen Understanding
원문 초록
Nearly a decade of research in software engineering has focused on automating mobile app testing to help engineers in overcoming the unique challenges associated with the software platform. Much of this work has come in the form of Automated Input Generation tools (AIG tools) that dynamically explore app screens. However, such tools have repeatedly been demonstrated to achieve lower-than-expected code coverage - particularly on sophisticated proprietary apps. Prior work has illustrated that a primary cause of these coverage deficiencies is related to so-called tarpits, or complex screens that are difficult to navigate. In this paper, we take a critical step toward enabling AIG tools to effectively navigate tarpits during app exploration through a new form of automated semantic screen understanding. We introduce AURORA, a technique that learns from the visual and textual patterns that exist in mobile app UIs to automatically detect common screen designs and navigate them accordingly. The key idea of AURORA is that there are a finite number of mobile app screen designs, albeit with subtle variations, such that the general patterns of different categories of UI designs can be learned. As such, AURORA employs a multi-modal, neural screen classifier that is able to recognize the most common types of UI screen designs. After recognizing a given screen, it then applies a set of flexible and generalizable heuristics to properly navigate the screen. We evaluated AURORA both on a set of 12 apps with known tarpits from prior work, and on a new set of five of the most popular apps from the Google Play store. Our results indicate that AURORA is able to effectively navigate tarpit screens, outperforming prior approaches that avoid tarpits by 19.6% in terms of method coverage. The improvements can be attributed to AURORA's UI design classification and heuristic navigation techniques.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
윤리와 보상이 갈라질 때: 도덕적으로 민감한 사회적 딜레마에서의 LLM 에이전트
When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas
최근 LLM의 발전으로 인간이나 다른 에이전트와의 의사결정을 포함하는 복잡한 에이전트 역할에 LLM을 활용할 수 있게 되면서, 윤리적 정렬(alignment)이 중요한 관심사가 되었다. 기존 연구는 LLM의 도덕적 판단과 전략적 행동을 각각 따로 다루어 왔지만, 도덕적 명령이 이익 추구와 직접 충돌할 때 LLM이 어떻게 행동하는지에 대한 이해는 제한적이다. 우리는 \msimfull (\msim)을 도입하여, 9개 모델에 걸쳐 도덕적 프레이밍, 상대 행동, 생존 압력을 변화시키며 도덕적으로 민감한 맥락에 내재된 죄수의 딜레마(prisoner's dilemma)와 공공재 게임(public goods game)에서 LLM이 어떻게 행동하는지 평가한다. 행동 측정을 넘어, 평균 처리 효과(ATE)를 통해 각 요인의 인과 효과를 추정하고, 에이전트 자체의 추론 trace를 분석하여 선택 뒤에 있는 동기를 특성화한다. 어떤 모델도 일관되게 도덕적이지 않으며, 협력률은 7.9\%에서 76.3\%까지 분포한다는 것을 발견했다. 게임 구조와 도덕적 프레이밍이 도덕적 행동의 가장 강한 인과적 동인이며, 추론 trace 분석은 모델마다 뚜렷한 동기 프로필을 드러낸다. 이는 주로 보상 최대화(payoff-maximizing)부터 도덕적·평판 지향적 성향까지 다양하다. 이 결과들은 현재 LLM의 도덕적 행동이 상황에 따라 쉽게 흔들린다는 점과, 이익 추구가 윤리적 지침과 충돌하는 환경에 LLM을 배치할 때의 위험을 드러낸다.
STRUCTSENSE: A Task-Agnostic Agentic Framework for Structured Information Extraction with Human-In-The-Loop Evaluation and Benchmarking
AI Research Agents for Machine Learning: Search, Exploration, and Generalization in MLE-bench
The Decrypto Benchmark for Multi-Agent Reasoning and Theory of Mind
Decide less, communicate more: On the construct validity of end-to-end fact-checking in medicine
From Emergence to Control: Probing and Modulating Self-Reflection in Language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.