근전도 및 시각적 작업 기술자 증강을 통한 VLA의 연속적 조건화
Continuous Conditioning of VLAs with Augmenting EMG and Visual Task Descriptors
비전-언어-행동(VLA, Vision-Language-Action) 모델은 멀티모달 입력을 지원함에도 불구하고 작업 정보를 설명할 때 언어에 크게 의존합니다. 본 논문에서는 상태 공간의 다른 모달리티가 보조적인 작업 조건화(task conditioning) 기회를 제공할 수 있으며, 이는 복잡하거나 모호한 장면에서 특히 유용할 수 있다는 가설을 세웁니다. 이 가설을 검증하기 위해 두 가지 튜닝된 모델을 소개합니다. (1) 8채널 근전도검사(EMG) 포락선을 고유수용성 벡터에 연결된 연속적 조건화 입력으로 통합한 전기생리학 조건화 VLA(EC-VLA)와 (2) 이미지 입력에 시각적 분할(segmentation) 주석을 결합한 시각 주석 VLA(VA-VLA)입니다. 3명의 참가자를 대상으로 평가한 큐브 선택 작업에서, EC-VLA는 어수선하지 않은 분포 내(in-distribution) 조건에서는 언어 프롬프트 기반의 기준선(baseline)과 동등한 성능을 보였으며, 복잡한 분포 외(out-of-distribution) 장면에서는 기준선을 크게 능가했습니다. 마찬가지로 VA-VLA는 분포 내 장면에서 언어 프롬프트 기준선 대비 소폭의 개선을 보였고, 복잡한 분포 외 실험에서는 상당한 성능 향상을 나타냈습니다. 이러한 결과는 언어를 넘어선 작업 조건화의 잠재적 이점에 대한 강력한 증거를 제공합니다.