ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human
원문 초록
In this paper, we present ChatPLUG, a Chinese open-domain dialogue system for digital human applications that instruction finetunes on a wide range of dialogue tasks in a unified internet-augmented format. Different from other open-domain dialogue models that focus on large-scale pre-training and scaling up model size or dialogue corpus, we aim to build a powerful and practical dialogue system for digital human with diverse skills and good multi-task generalization by internet-augmented instruction tuning. To this end, we first conduct large-scale pre-training on both common document corpus and dialogue data with curriculum learning, so as to inject various world knowledge and dialogue abilities into ChatPLUG. Then, we collect a wide range of dialogue tasks spanning diverse features of knowledge, personality, multi-turn memory, and empathy, on which we further instruction tune \modelname via unified natural language instruction templates. External knowledge from an internet search is also used during instruction finetuning for alleviating the problem of knowledge hallucinations. We show that \modelname outperforms state-of-the-art Chinese dialogue systems on both automatic and human evaluation, and demonstrates strong multi-task generalization on a variety of text understanding and generation tasks. In addition, we deploy \modelname to real-world applications such as Smart Speaker and Instant Message applications with fast inference. Our models and code will be made publicly available on ModelScope: https://modelscope.cn/models/damo/ChatPLUG-3.7B and Github: https://github.com/X-PLUG/ChatPLUG .
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LiveXiv -- arXiv 논문 콘텐츠 기반의 멀티모달 라이브 벤치마크
LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content
웹에서 스크랩한 데이터를 활용한 멀티모달(multi-modal) 모델의 대규모 학습(training)은 여러 다운스트림 태스크에서 효과적으로 작동하는 데 필요한 세계 지식을 모델에 주입하는 탁월한 유용성을 보여주었습니다. 그러나 웹 데이터 스크래핑의 한 가지 단점은 모델의 능력을 평가(evaluation)하는 벤치마크(benchmark)가 잠재적으로 오염될 수 있다는 점입니다. 테스트 데이터 오염을 방지하고 이러한 파운데이션 모델의 진정한 역량을 테스트하기 위해, 본 연구에서는 과학 논문 arXiv를 기반으로 확장 가능하며 지속적으로 진화하는 라이브 벤치마크인 LiveXiv를 제안합니다. LiveXiv는 특정 시점의 도메인 특화 원고에 접근하여 시각적 질의응답(VQA) 쌍을 자동으로 생성할 것을 제안합니다. 이는 인간의 개입(human-in-the-loop) 없이 원고 내의 그래프, 차트, 표와 같은 멀티모달 콘텐츠를 활용하여 수행됩니다. 아울러, 진화하는 벤치마크에서 일부 모델의 평가 결과만을 활용하여 전체 모델의 성능을 추정하는 효율적인 평가 접근법을 도입함으로써 전체 평가 비용을 대폭 절감합니다. 본 벤치마크의 첫 번째 버전에서 여러 공개 및 독점 대규모 멀티모달 모델(LMM)을 평가하여 벤치마크의 난이도를 입증하고, 오염을 배제한 모델의 실제 능력을 드러냈습니다. 마지막으로 높은 품질을 보장하기 위해 수동으로 검증된 하위 집합을 수집하고 평가했습니다. 자동 주석 결과와 전체 결과를 비교한 결과, 성능 편차가 2.5% 미만으로 매우 미미함을 확인했습니다. 본 데이터셋(dataset)은 HuggingFace에 공개되어 있으며, 코드는 지정된 링크에서 제공될 예정입니다.
DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge
최근 비전-언어-행동(VLA) 모델의 발전은 이미지 생성과 행동 예측을 통합하여 로봇 조작에서의 일반화 및 추론 능력을 향상시키는 가능성을 보여주고 있습니다. 그러나 기존 방법들은 중복된 정보가 많고 동적, 공간적, 의미적 정보를 포함한 포괄적이고 중요한 세계 지식이 부족한 어려운 이미지 기반 예측에 한정되어 있습니다. 이러한 한계를 극복하기 위해, 본 논문에서는 역동역학 모델링을 가능하게 하는 포괄적 세계 지식 예측을 통합한 새로운 VLA 프레임워크인 DreamVLA를 제안합니다. 이를 통해 조작 작업을 위한 지각-예측-행동 루프를 구축합니다. 구체적으로 DreamVLA는 동적 영역 안내 세계 지식 예측을 도입하며, 공간적 및 의미적 단서와 통합하여 행동 계획에 대해 간결하면서도 포괄적인 표현을 제공합니다. 이러한 설계는 인간이 행동하기 전에 추상적 다중모달 사고의 연쇄를 형성하는 방식과 일치합니다. 학습 과정에서 동적, 공간적, 의미적 정보 간 간섭을 완화하기 위해, 상호 어텐션을 차단하여 정보 누출을 방지하고 각 표현을 깨끗하고 분리된 상태로 유지하는 블록 단위 구조화 어텐션 메커니즘을 채택하였습니다. 또한 미래 행동에 대한 조건부 분포를 모델링하기 위해, 공유 잠재 특징으로부터 행동 표현을 분리하는 diffusion 기반 트랜스포머를 활용합니다. 실제 및 시뮬레이션 환경에서의 광범위한 실험 결과, DreamVLA는 실제 로봇 작업에서 76.7%의 성공률과 CALVIN ABC-D 벤치마크에서 평균 4.44의 길이를 달성함을 입증하였습니다.
MIRAGE: A Benchmark for Multimodal Information-Seeking and Reasoning in Agricultural Expert-Guided Conversations
Multi-Preference Lambda-weighted Listwise DPO for Dynamic Preference Alignment
ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge
AutoVLA: A Vision-Language-Action Model for End-to-End Autonomous Driving with Adaptive Reasoning and Reinforcement Fine-Tuning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.