PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.03100v1cs.SE

Flow-A11y: 흐름 인식 접근성 테스팅

Flow-A11y: Flow-Aware Accessibility Testing

현대 웹 애플리케이션은 정적 페이지 스냅샷이 아닌 상호작용 흐름을 통해 접근성 장벽을 점점 더 노출시키고 있다. 키보드 트랩, 포커스 손실, 모달 누출, 지연된 상태 업데이트, 동적 컨트롤, 변경되는 페이지 영역 등은 사용자가 구체적인 동작을 수행한 이후에야 관찰 가능해지는 경우가 많다. 이러한 동작들은 동적 WCAG 기준과 직접적으로 연관되어 있으나, 평가가 런타임 상호작용 증거에 의존하고 여전히 수동 검사를 통해 수행되는 경우가 많아 자동화하기 어렵다. 우리는 상호작용 의존적 WCAG 기준을 위한 흐름 인식 접근성 테스팅 시스템인 Flow-A11y를 제시한다. 대상 페이지와 자연어 시나리오가 주어지면, Flow-A11y는 실제 브라우저에서 흐름을 실행하고, 순서가 있는 런타임 트레이스를 기록하며, 기준별 증거 패킷을 구성하고, 지원되지 않는 판단을 차단하며, 해결 가능한 런타임 증거에 근거한 감사 가능한 발견을 출력한다. 45개의 동적 WCAG 기준을 포함하는 19개의 실제 공개 웹 시나리오에서 평가한 결과, Flow-A11y는 일반적인 브라우저 에이전트 감사보다 오라클 일치율이 10배 이상 높으며, 증거 교정 층이 실패 정밀도를 23.5%에서 41.4%로 향상시키고 유효하지 않은 증거 참조를 제거한다. 이러한 결과는 런타임 트레이스가 상호작용 의존적 접근성 동작을 평가하기 위한 실행 가능한 증거를 제공함을 보여준다. 또한 페이지 수준 스캐너가 평가할 수 없고 전통적으로 수동 평가가 필요했던 동적 WCAG 기준 자동화를 향한 실용적인 경로를 제시한다.

arXiv:2606.32014v1cs.CL

스킬 증류를 통한 브라우저에서의 확장 가능한 행동 복제

Scalable Behaviour Cloning on Browser Using via Skill Distillation

브라우저 에이전트의 핵심 병목이 저수준 조작이 아닌 불완전한 정보 하에서의 의사결정임을 규명하고, 인간의 브라우징 궤적을 재사용 가능한 자연어 스킬로 증류하는 행동 복제(behaviour cloning) 프레임워크 BrowserBC를 제안한다. 증류된 스킬을 스킬 그래프로 구조화해 무한 누적 없이 확장 가능하도록 설계하였으며, WebArena-Hard 및 ClawBench 벤치마크에서 상호작용 효율성과 태스크 성공률 향상을 입증했다.

arXiv:2606.20978v1cs.AI

에이전트는 시연을 어떻게 읽어야 하는가? 계층적 구조가 평탄한 행동 로그를 능가한다

How Should Agents Read Demonstrations? Hierarchical Structure Beats Flat Action Logs

시연 기반 프로그래밍(Programming by Demonstration, PbD)은 LLM 에이전트를 위한 절차적 지식을 작성하는 인간 중심의 방법을 제공한다. 사용자는 프롬프트나 코드를 작성하는 대신 행동을 보여줌으로써 원하는 것을 전달하므로, 비프로그래머도 에이전트 작성에 접근할 수 있다. PbD 녹화의 자연스러운 출력은 평탄한 행동 로그이지만, 이 로그를 에이전트에 전달하기 전에 어떻게 구성할지는 계획 품질에 상당한 영향을 미치는 미결정 설계 문제이다. 우리는 기록된 행동을 레이블이 붙은 계층적 하위 목표(subgoal)로 그룹화하는 방법을 제안하고, 통제 실험에서 이 조직적 구조의 효과를 평가한다. 85개의 웹 자동화 작업에서, 동일한 행동 시퀀스를 공유하지만 구조가 다른 네 가지 시연 형식을 제로샷 기준선과 비교한다. 모호한 설명을 가진 43개의 자연어 작업에서, 계층적으로 그룹화된 시연은 통과율을 76.7%에서 90.7%로 향상시킨다(쌍체 순열 검정 $p{=}0.034$; win-loss 6:0). 반면 평탄한 시연은 더 작고 통계적으로 유의하지 않은 개선만 보인다. 정확한 설명을 가진 42개 작업에서는 어떤 형식도 이점을 제공하지 않으며, 이는 계층적 이점이 설명이 절차적 세부사항을 모호하게 남길 때에만 발생함을 확인한다. 절제(ablation) 분석은 하위 목표 그룹화만이 효과를 주도함을 보여준다. 전제조건(preconditions), 사후조건(postconditions), 매개변수 주석은 측정 가능한 이점을 추가하지 않는다. 이 결과는 PbD 파이프라인에 대한 구체적인 설계 권고를 제공하며, 더 넓게는 LLM 에이전트에 절차적 컨텍스트를 공급하는 모든 시스템에 대해서도 마찬가지이다. 평탄한 단계 목록을 제시하는 대신 행동 시퀀스를 명명된 하위 목표 그룹으로 분할하라.