PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01794v1cs.CV

근전도 및 시각적 작업 기술자 증강을 통한 VLA의 연속적 조건화

Continuous Conditioning of VLAs with Augmenting EMG and Visual Task Descriptors

비전-언어-행동(VLA, Vision-Language-Action) 모델은 멀티모달 입력을 지원함에도 불구하고 작업 정보를 설명할 때 언어에 크게 의존합니다. 본 논문에서는 상태 공간의 다른 모달리티가 보조적인 작업 조건화(task conditioning) 기회를 제공할 수 있으며, 이는 복잡하거나 모호한 장면에서 특히 유용할 수 있다는 가설을 세웁니다. 이 가설을 검증하기 위해 두 가지 튜닝된 모델을 소개합니다. (1) 8채널 근전도검사(EMG) 포락선을 고유수용성 벡터에 연결된 연속적 조건화 입력으로 통합한 전기생리학 조건화 VLA(EC-VLA)와 (2) 이미지 입력에 시각적 분할(segmentation) 주석을 결합한 시각 주석 VLA(VA-VLA)입니다. 3명의 참가자를 대상으로 평가한 큐브 선택 작업에서, EC-VLA는 어수선하지 않은 분포 내(in-distribution) 조건에서는 언어 프롬프트 기반의 기준선(baseline)과 동등한 성능을 보였으며, 복잡한 분포 외(out-of-distribution) 장면에서는 기준선을 크게 능가했습니다. 마찬가지로 VA-VLA는 분포 내 장면에서 언어 프롬프트 기준선 대비 소폭의 개선을 보였고, 복잡한 분포 외 실험에서는 상당한 성능 향상을 나타냈습니다. 이러한 결과는 언어를 넘어선 작업 조건화의 잠재적 이점에 대한 강력한 증거를 제공합니다.

arXiv:2607.04820v1cs.LG

KinEMbed: 교차 모달 대조 학습을 통한 근전도 신호로부터의 손 운동학 디코딩

KinEMbed: Decoding Kinematics from Electromyography via Cross-Modal Contrastive Learning

표면 근전도(EMG) 신호로부터 연속적인 손 관절 각도를 회귀하는 문제를 해결하기 위해, KinEMbed는 EMG 특징과 운동학적 타깃을 공유 임베딩 공간에 정렬하는 교차 모달 대조 학습(cross-modal contrastive learning) 프레임워크를 제안한다. NinaPro DB8 데이터셋에서 PCA, PLS, 오토인코더, CEBRA 등의 베이스라인을 상회하는 성능(평균 R² 0.732)을 달성했으며, 특히 엄지 관절 자유도에서 가장 두드러진 성능 향상을 보였다.