arXiv:2606.29247v1 cs.AI

SurgVLA-Bench: Towards Evaluating Vision-Language-Action Models for Laparoscopic Surgical Robotics

Jiashuo Sun, Yue He, Wenxuan Liu, Tao Mao, Jiazheng Wang, Xiang Chen, Min Liu

제출 2026-06-28

원문 초록

Vision-Language-Action (VLA) models represent a promising direction for embodied intelligence in surgical robotics. Despite the prevalence of VLA benchmarks for general robotics, standardized evaluation platforms specifically designed for surgical contexts remain absent. To address this limitation, we present SurgVLA-Bench, the first comprehensive benchmark for evaluating VLA models in laparoscopic surgical robotics. Leveraging the SurRoL simulation platform, we construct a hierarchical task taxonomy ranging from atomic actions to complete surgical procedures, complemented by a multi-dimensional evaluation framework assessing action accuracy and semantic consistency. We then systematically evaluate two representative paradigms, including autoregressive models such as OpenVLA, and flow matching models such as $π_{0}$, $π_{0.5}$, and SmolVLA. Our experiments show that autoregressive models tend to excel in semantic understanding, while flow matching models often achieve higher task precision but may face generalization trade-offs. However, even the best-performing models remain far from satisfactory, as the constrained endoscopic field of view, restricted viewing angles, and frequent occlusions persist as fundamental physical bottlenecks. The code and data are available at https://github.com/VCL-HNU/SurgVLA

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.29247v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13516v1cs.RO공통 태그 Benchmarking, Vision-Language-Action

RESCUE: 이 알람은 대응할 가치가 있는가? VLA 런타임 모니터의 반사실적 평가

RESCUE: Is This Alarm Worth Acting On? Counterfactual Evaluation of VLA Runtime Monitors

로봇 정책(policy)에 대한 런타임 실패 모니터는 일반적으로 실패한 실행과 성공한 실행을 얼마나 정확하게 구분하는지로 평가된다. 그러나 정확한 알람도 복구하기에는 너무 늦게 도착할 수 있으며, 불필요한 개입(intervention)은 그렇지 않았다면 성공했을 실행을 방해할 수 있다. 우리는 모니터의 알람이 유용한 개입을 가능하게 하는지 평가하기 위한 반사실적(counterfactual) 프레임워크인 RESCUE를 소개한다. 실행 체크포인트에서 시뮬레이터와 정책 상태를 복원함으로써, RESCUE는 대안적 행동을 비교하고 지정된 복구 기준을 만족하는 가장 마지막 체크포인트를 식별하며, 알람에 따라 행동하는 것이 예상 작업 완료 비용을 줄이는지를 평가한다. 우리는 LIBERO-Spatial과 LIBERO-Plus에서 OpenVLA-OFT와 $π_{0.5}$를 사용하여 128,340개의 반사실적 분기로 RESCUE를 평가한다. 복구 가능성은 로봇 상태만이 아니라 상태-개입 쌍에 의존한다: $τ=0.5$에서 OpenVLA-OFT/LIBERO-Plus 실패 66건 중 14건은 계속(continuation) 조건에서 복구 가능한 체크포인트를 포함하는 반면, 계속 또는 스크립트 기반 복구 조건에서는 66건 중 34건이 그러하며, 다른 조건에서는 복구가 오히려 복구 가능성을 감소시킨다. 주요 강한 정책 조건에서는 우수한 탐지 점수가 더 낮은 개입 비용을 보장하지 않는다. 평가된 정지 후 재설정 모델 하에서는, 이상적인 탐지기조차도 불필요한 재설정으로 인한 비용이 실패를 조기에 멈춤으로써 얻는 절감 효과를 상회하기 전까지 2.0~3.3%의 오탐 비율만을 감당할 수 있다. 이러한 결과는 모니터의 가치가 사용 가능한 개입과 그것이 배치되는 작업 부하에 공동으로 의존한다는 것을 보여준다.

arXiv:2610.13628v1cs.RO공통 태그 Benchmarking, Vision-Language-Action

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2610.13675v1eess.IV공통 태그 Medical Image Analysis, Benchmarking

멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹

Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets

멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.

arXiv:2610.01135v2cs.CV공통 태그 Medical Image Analysis, Benchmarking

RSNA 뇌동맥류(RSNA-ICA) 데이터셋

The RSNA Intracranial Aneurysm (RSNA-ICA) Dataset

뇌동맥류 파열은 상당한 이환율 및 사망률과 관련이 있지만, 특히 작은 병변이거나 비혈관조영 일반 영상 검사에서는 동맥류 탐지가 여전히 까난한 과제로 남아 있습니다. 뇌동맥류 탐지 및 위치 식별을 위한 인공지능(AI) 알고리즘의 개발과 평가를 지원하고자 북미영상의학회(RSNA)는 미국신경영상의학회(ASNR), 신경중재수술학회(SNIS), 유럽신경영상의학회(ESNR)와의 협력을 통해 RSNA 뇌동맥류(RSNA-ICA) 데이터셋을 구축했습니다. 2025 RSNA 뇌동맥류 탐지 챌린지(RSNA Intracranial Aneurysm Detection Challenge)를 위해 개발된 RSNA-ICA는 5개 대륙 12개국 21개 기관에서 수집한 4,278명의 성인 환자로부터 얻은 7,202건의 CTA, MRA 및 MRI 시리즈로 구성된 대규모의 공개 전문가 주석 데이터셋입니다. 이 데이터셋은 낭상 뇌동맥류가 있거나 없는 환자들의 CTA 2,566건, MRA 2,166건, MRI 2,470건 시리즈를 포함하여 상당한 지리적 및 영상학적 다양성을 제공합니다. 전문가 주석에는 동맥류의 유무와 위치가 모두 표시되어 있으며, 178건의 시리즈에는 챌린지에서 정의한 혈관 위치에 대한 3차원 분할(segmentation)이 추가로 포함되어 있습니다. RSNA-ICA는 2025 RSNA 뇌동맥류 탐지 챌린지에서 알고리즘을 개발하고 평가하는 데 사용되었습니다. 7,202건의 영상 시리즈 중 5,041건은 MIRA를 통해 공개되어 있으며, 나머지는 챌린지의 공개 및 비공개 테스트 세트로 사용되었습니다. 이 데이터셋은 비상업적 용도에 한해 연구 커뮤니티에 무료로 제공되며, 혈관조영 검사와 일반 신경영상 검사 전반에서 AI 기반 동맥류 탐지를 발전시키기 위한 종합적인 리소스를 제공합니다.

arXiv:2610.02270v1eess.IV공통 태그 Medical Image Analysis, Benchmarking

흉부 X선 비전-언어 모델을 위한 신뢰성 스트레스 테스트 및 결정 시점 라우팅

Reliability Stress Tests and Decision-Time Routing for Chest X-ray Vision-Language Models

의료 비전-언어 모델(VLM) 평가는 워크플로 설계, 프롬프트 전략, 벤치마크 구성에 민감하지만, 대부분의 연구는 이러한 요인들을 개별적으로 다룹니다. 본 연구에서는 두 개의 균형 잡힌 데이터셋(비공개 보고서 기반 데이터셋 및 선별된 MIMIC 서브셋)을 기반으로 구축된 흉부 X선 판독을 위한 신뢰성 스트레스 테스트를 소개합니다. 세 가지 의료 VLM(CheXagent, MedGemma-4B, MedGemma-27B)을 세 가지 프롬프트 스타일과 두 가지 워크플로(단일 VLM 및 멀티 에이전트)에 걸쳐 평가하여 총 36개의 구성을 생성했습니다. 본 연구는 정확 일치(exact-match) 정확도만으로는 기본적으로 "정상(Normal)" 예측을 내놓는 보수적인 모델의 유효성이 과장될 수 있음을 보여줍니다. 진단 신뢰성 또한 모델 계열과 규모에 크게 의존하는데, 멀티 에이전트 추론은 일부 구성에는 도움이 되지만 다른 구성에는 오히려 해가 됩니다. 이러한 관찰을 바탕으로, 유익한 경우에만 멀티 에이전트 추론으로 선택적으로 이관하여 고정된 워크플로 대비 비용-품질 트레이드오프를 개선하는 결정 시점 라우팅(decision-time routing) 프레임워크를 제안합니다. 본 연구 결과는 임상 배포 전에 프롬프트 민감도, 실패 모드의 다양성, 워크플로 선택을 종합적으로 고려하는 평가 프로토콜의 필요성을 강조합니다.

arXiv:2610.03193v1cs.CV공통 태그 Medical Image Analysis, Benchmarking

연구와 실제 임상의 간극 좁히기: 임상 피부 병변 분류에서 범용 모델과 피부과 특화 모델의 체계적 평가

Bridging Research and Practice: A Systematic Evaluation of Generalist and Dermatology-Specific Models in Clinical Skin Lesion Classification

최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.