arXiv:2608.03047v1 cs.CV

AIDE: 참조 영상 없는 운동 기술 코칭을 위한 지식 증류 기반 자동화 인스트럭션

AIDE: Automated Instruction via Distilled Expertise for Reference-Free Motor Skill Coaching

Yoshiki Ito

제출 2026-08-04

한국어 초록

운동 기술(motor skills)에 대한 자연어 코칭 피드백을 생성하는 것은 학습 속도를 높일 수 있지만, 전문 코치는 부족하고 비용이 많이 듭니다. 기존의 참조 기반(reference-based) 방식은 학습(training)과 추론(inference) 시점 모두에서 전문가의 시연(demonstration)을 요구하므로 실제 현장 적용에 한계가 있습니다. 본 논문에서는 학습 중에만 전문가 참조를 활용하고, 추론 시에는 학습자(learner)의 포즈 시퀀스만으로 피드백을 생성하는 프레임워크인 AIDE(Automated Instruction via Distilled Expertise)를 제안합니다. 먼저 교사 모델(teacher model)은 동결된 언어 모델(frozen language model)을 통해 쌍을 이룬 학습자-전문가 포즈로부터 피드백을 생성하는 방법을 학습하며, 별도의 학습자 토큰과 학습자-전문가 간의 차이를 인코딩하는 차이 토큰(difference token)을 생성합니다. 이후 학생 모델(student model)은 교사 모델의 인코더 및 가중치 초기화(weight initialization)를 계승하고, 명시적인 전문가 비교를 학습자의 포즈만으로 상호보완적인 토큰을 생성하는 보조 모듈로 대체합니다. ExpertAF 데이터셋(dataset) 평가에서 AIDE는 대부분의 지표에서 참조 없는(reference-free) 베이스라인보다 우수한 성능을 보였으며, 학습과 추론 모두에서 전문가 시연을 요구하는 방식들과 대등한 성능을 달성했고, 대규모 언어 모델(LLM) 기반 평가에서도 이러한 결과가 뒷받침되었습니다.

원문 초록

Generating natural-language coaching feedback on motor skills can accelerate learning, yet expert coaches are scarce and expensive. Existing reference-based methods require expert demonstrations at both training and inference time, limiting practical deployment. We propose AIDE (Automated Instruction via Distilled Expertise), a framework that exploits expert references only during training and generates feedback from a learner's pose sequence alone at inference. A teacher model first learns to generate feedback from paired learner-expert poses via a frozen language model, producing separate learner tokens and difference tokens that encode the learner-expert difference. A student model then inherits the teacher's encoder and weight initialization, replacing the explicit expert comparison with an auxiliary module that produces complementary tokens from the learner's pose alone. On the ExpertAF dataset, AIDE outperforms reference-free baselines on most metrics and performs comparably to methods requiring expert demonstrations at both training and inference, with LLM-based evaluation supporting these findings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.03047v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.