PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.12224v5cs.RO공식 코드 · Papers with Code

RoboFAC: 로봇 실패 분석 및 수정을 위한 포괄적 프레임워크

RoboFAC: A Comprehensive Framework for Robotic Failure Analysis and Correction

비전-언어-행동(Vision-Language-Action, VLA) 모델은 자연어 지시와 시각적 관측을 제어 행동으로 변환함으로써 최근 로봇 조작(robotic manipulation) 분야를 발전시켰습니다. 그러나 기존 VLA는 주로 성공적인 전문가 시연 데이터를 기반으로 학습(training)되어 실패 진단 및 복구를 위한 구조화된 지도(supervision)가 부족하며, 이는 개방형 환경(open-world) 시나리오에서의 강건성(robustness)을 제한합니다. 이러한 한계를 해결하기 위해 본 논문에서는 로봇 실패 분석 및 수정(RoboFAC) 프레임워크를 제안합니다. 시뮬레이션 및 실제 환경의 53개 장면에서 체계적으로 분류된 실패 유형과 함께 9,440개의 오류 조작 궤적과 78,623개의 QA 쌍으로 구성된 대규모 실패 중심 데이터셋을 구축합니다. 이 데이터셋을 활용하여 태스크 이해, 실패 분석 및 실패 수정을 전문으로 하는 경량 멀티모달 모델을 개발함으로써, 대규모 상용 모델과 견줄 만한 성능을 유지하면서도 효율적인 로컬 배포를 가능하게 합니다. 실험 결과에 따르면 RoboFAC은 GPT-4o 대비 34.1% 더 높은 실패 분석 정확도를 달성합니다. 나아가 실제 VLA 제어 파이프라인에 RoboFAC을 외부 감독자로 통합하여 4개 태스크 전반에서 29.1%의 상대적 성능 향상을 이끌어내는 동시에 GPT-4o 대비 지연 시간(latency)을 크게 줄였습니다. 이러한 결과는 RoboFAC이 체계적인 실패 진단 및 복구를 가능하게 하여 VLA 복구 능력을 크게 향상시킴을 입증합니다. 모델과 데이터셋은 https://github.com/MINT-SJTU/RoboFAC 에서 공개되어 있습니다.

arXiv:2607.21601v1cs.AI

프레임 수준 인식에서 이벤트 수준 확인으로: 공공 공간 제스처 상호작용의 수리 기록과 런타임 실패 분석

From Frame-Level Recognition to Event-Level Confirmation: Repair Traces and Runtime Failure Analysis of Public-Space Gesture Interaction

공공 공간 제스처 상호작용은 종종 프레임 수준 인식 문제로 평가되지만, 배포된 시스템은 다른 실패 경계를 드러낸다. 관광지 키오스크, 전시장, 서비스 터미널에서 사용자는 개별 손 랜드마크(hand-landmark) 프레임이 정확한지 여부가 아니라, 의도한 동작이 안정적인 상호작용 이벤트가 되는지를 경험한다. 이를 인식-상호작용 격차(recognition-to-interaction gap)라고 부른다. 본 논문은 관광지 인터랙티브 키오스크 프로젝트의 8건의 엔지니어링 수리 기록을 분석하며, 4가지 제스처 과제를 다룬다: 양손 절하기, 한손 주먹 흔들기, 양손 잡기 제어, 지식 그래프 노드 호버링. 이러한 흔적에서 20건의 실패 사례를 추출하고, 여섯 가지 비배타적 작업 실패 클래스로 분류한다: 모델 출력 퇴화, 시간적 불일치, 기하-스케일 불안정성, 좌표-렌더링 불일치, 런타임 라이프사이클 실패, 피드백 동기화 및 복구 실패. 또한 반복되는 수리 메커니즘을 손 랜드마크 모델과 상호작용 과제 사이의 이벤트 수준 런타임 추상화로 정리한다. 기여는 의도적으로 범위가 제한된다: 배포 기반 실패 분류체계, 이벤트 확인 런타임 추상화, 사례 연구 결과. 새로운 인식 모델, 대규모 사용자 평가, 또는 정량화된 정확도 향상을 주장하지 않는다.

arXiv:2607.09510v1cs.SE

과정으로서의 실패: CLI 코딩 에이전트 궤적 해부

Failure as a Process: An Anatomy of CLI Coding Agent Trajectories

대규모 언어 모델(LLM) 코딩 에이전트는 터미널 기반 환경에서 소프트웨어 엔지니어링 작업을 자율적으로 수행하기 위해 점점 더 광범위하게 배포되고 있으며, 이에 따라 신뢰성에 대한 우려도 커지고 있다. 기존 실증 연구들은 코딩 에이전트가 실패하는 이유를 조사하지만, 대부분 실패를 시간적 과정이 아닌 최종 결과로 다루어 실패가 어떻게 발생하고, 전개되며, 회복 불가능한 상태에 이르는지에 대한 통찰이 제한적이다. 우리는 CLI 코딩 에이전트 실패 궤적에 관한 최초의 대규모 실증 연구를 제시하며, 실행 궤적 전반에 걸쳐 실패의 발생, 전개, 회복을 분석하는 과정 지향적 프레임워크를 도입한다. 먼저 Terminal-Bench에서 세 가지 코딩 에이전트 스캐폴드(OpenHands, MiniSWE, Terminus2)에 걸쳐 일곱 개의 프론티어 모델이 생성한 3,843개의 실행 궤적을 수집한 후, 이를 신중하게 필터링하여 수작업 주석을 위한 1,794개의 완전하고 유효한 궤적(63,000개 이상의 실행 단계)을 확보하였으며, 이로부터 실패 발생, 근본 원인, 회복, 시스템 간 일관성에 걸친 14가지 발견을 도출하였다. 우리의 발견에 따르면 코딩 에이전트의 실패는 주로 인식론적 오류에 의해 유발되고, 일반적으로 처음 몇 번의 실행 단계 내에 시작되며, 회복이 더 이상 불가능해질 때까지 은폐된 채로 남아 있는 경우가 많다. 이는 코딩 에이전트의 신뢰성 향상이 최종 결과 평가에만 의존하기보다 더 이른 검증과 개입을 필요로 함을 시사한다.