arXiv:2012.02929

Data-Efficient Methods for Dialogue Systems

Igor Shalyminov

제출 2020-12-05

원문 초록

Conversational User Interface (CUI) has become ubiquitous in everyday life, in consumer-focused products like Siri and Alexa or business-oriented solutions. Deep learning underlies many recent breakthroughs in dialogue systems but requires very large amounts of training data, often annotated by experts. Trained with smaller data, these methods end up severely lacking robustness (e.g. to disfluencies and out-of-domain input), and often just have too little generalisation power. In this thesis, we address the above issues by introducing a series of methods for training robust dialogue systems from minimal data. Firstly, we study two orthogonal approaches to dialogue: linguistically informed and machine learning-based - from the data efficiency perspective. We outline the steps to obtain data-efficient solutions with either approach. We then introduce two data-efficient models for dialogue response generation: the Dialogue Knowledge Transfer Network based on latent variable dialogue representations, and the hybrid Generative-Retrieval Transformer model (ranked first at the DSTC 8 Fast Domain Adaptation task). Next, we address the problem of robustness given minimal data. As such, propose a multitask LSTM-based model for domain-general disfluency detection. For the problem of out-of-domain input, we present Turn Dropout, a data augmentation technique for anomaly detection only using in-domain data, and introduce autoencoder-augmented models for efficient training with Turn Dropout. Finally, we focus on social dialogue and introduce a neural model for response ranking in social conversation used in Alana, the 3rd place winner in the Amazon Alexa Prize 2017 and 2018. We employ a novel technique of predicting the dialogue length as the main ranking objective and show that this approach improves upon the ratings-based counterpart in terms of data efficiency while matching it in performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15761v1cs.CL공통 태그 Data Augmentation, Domain Adaptation

도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석

Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches

자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.

arXiv:2610.13697v1cs.CV공통 태그 Data Augmentation, Domain Adaptation

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.00973v1cs.CV공통 태그 Retrieval, Domain Adaptation

개념 기반 도메인 적응: 건초더미에서 추상적인 바늘 찾기

Concept Driven Domain Adaptation: Finding an Abstract Needle in a Haystack

과학교사들은 화면에 나타나는 내용을 묘사하기보다는 자신이 가르치고자 하는 추상적인 개념을 검색어로 사용하여 다큐멘터리 발췌본을 찾는 경우가 많습니다. 이러한 사용 사례는 질의어가 관찰 가능한 사건을 기술한다고 주로 가정하는 기존 언어 기반 비디오 모먼트 검색(video moment retrieval) 방법의 한계를 드러냅니다. 반면 교육용 검색은 기저의 과학적 원리를 구체화하는 시각적 현상을 검색해야 합니다. 본 연구에서는 이를 간결한 교육과정 개념을 시간적으로 희소한 다큐멘터리 근거에 그라운딩(grounding)해야 하는 '건초더미 속 추상적 바늘 찾기' 문제인 '개념-예시 비디오 검색(concept-to-example video retrieval)'으로 정의하고 탐구합니다. 이러한 추상화 격차를 해소하기 위해, 우리는 2-타워 비전-언어(vision-language) 모델을 개념 수준 검색에 적응시키기 위한 3단계 프레임워크인 개념 기반 도메인 적응(Concept-Driven Domain Adaptation, CDDA)을 제안합니다. CDDA는 개념을 중간 의미 앵커로 취급합니다. 즉, 먼저 교과서 및 교사용 지도서의 예시-개념 쌍을 통해 텍스트 임베딩 공간을 구조화한 뒤, 동결된 시각 인코더 환경에서 이러한 개념 인식 기하 구조를 다큐멘터리 시각 정보로 전이하고, 마지막으로 희소한 시각적 개념 지도(supervision)를 통해 두 인코더를 결합 적응시킵니다. 기하학적 관점에서 이러한 단계적 정렬(alignment)은 텍스트-개념 및 비전-개념 간 각도 격차를 줄임으로써, 사전학습 모델의 구체적인 이미지 묘사 정렬을 보존하는 동시에 개념 수준의 적응을 촉진합니다. 선별된 중학교 물리 검색 벤치마크에서 CDDA는 Qwen3-VL-Embedding-2B를 포함한 여러 경쟁력 있는 멀티모달 베이스라인보다 더 우수한 교육 지향적 개념 검색 성능을 달성하는 동시에, 적응 후에도 구체적인 이미지-텍스트 매칭 성능을 유지했습니다.

arXiv:2609.27825v1cs.LG공통 태그 Data Augmentation, Anomaly Detection

CAST: 문맥 및 이상 구조 조건부 시계열 이상치 생성

CAST: Context- and Anomaly Structure-Conditioned Time Series Anomaly Generation

이상 시계열은 안전이 중요한 영역에서 핵심적인 역할을 하지만 본질적으로 희소하고 이질적이며 획득 비용이 높습니다. 기존 시계열 생성 방법은 주로 정상 데이터 합성에 집중되어 있어 이상 샘플이 필요할 때 제한적인 가치만을 제공합니다. 본 논문에서는 이상 생성에서 두 가지 근본적인 과제를 규명합니다. 바로 (i) 이상 데이터의 희소성과 (ii) 이상의 이질적인 형태학적 특성입니다. 이러한 과제를 해결하기 위해, 원칙적인 2단계 사전학습(pre-training) 및 파인튜닝(fine-tuning) 전략을 갖춘 문맥 및 이상 구조 조건부 시계열 이상 생성 프레임워크인 CAST를 제안합니다. 사전학습 단계에서는 풍부한 정상 시계열 데이터를 활용하여 기저의 시스템 역학을 학습함으로써 이상 데이터의 제한된 가용성을 대폭 완화합니다. 파인튜닝 단계에서는 CAST가 학습된 이상 구조 표현을 기반으로 생성기를 명시적으로 조건화하여, 유사한 문맥 조건 하에서도 이질적인 이상 형태를 포착할 수 있도록 합니다. 다양한 실제 단변량 및 다변량 데이터셋에 대한 광범위한 실험을 통해, CAST가 생성 충실도(fidelity)와 다운스트림 태스크 유용성 측면 모두에서 최신 이상 생성 방법들을 일관되게 능가함을 입증하여 제안된 접근법의 유효성을 강조합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.