자동 구현형 대화 증강을 통한 DialNav 고도화
Advancing DialNav through Automatic Embodied Dialog Augmentation
물리적 상호작용이 가능한 구현형 에이전트(embodied agent)의 경우, 안전성과 효과성을 보장하기 위해 대화를 생성하고 이해하는 능력이 필수적입니다. DialNav은 사실적인 실내 내비게이션 환경에서 대화-실행 루프(dialog-execution loop)를 전체적으로 평가할 수 있는 프레임워크를 제공하지만, 학습 데이터(2K 에피소드)의 심각한 부족으로 인해 성능이 제한적입니다. 이를 해결하기 위해 우리는 자동 생성 파이프라인을 제안하고 DialNav을 위한 238K 에피소드를 포함하는 대규모 학습 데이터셋인 **RAINbow** 데이터셋을 구축했습니다. 우리의 파이프라인은 기존 VLN(Vision-and-Language Navigation) 데이터셋을 멀티턴 대화(multi-turn dialog)로 변환하여 비용 효율적이고 고품질의 데이터셋을 생성합니다. 그 후, 데이터의 잠재력을 극대화하기 위해 두 가지 상호 보완적인 발전을 소개합니다: (1) 동적 대화-내비게이션 루프와 내비게이션 학습을 정렬하는 내비게이션 학습 방식인 이중 전략 학습(Dual-Strategy Training), (2) VLN 지식을 활용하는 위치 추정 모델(localization model). 이러한 상호 보완적인 솔루션들을 결합하여, 우리의 모델은 **Val Seen** (58.24, **+89%**) 및 **Val Unseen** (29.05, **+100%**) 분할에서 모두 기준선(baseline)보다 월등히 높은 성공률을 기록하며 새로운 최신 성능(state of the art)을 확립했습니다.