Comparing Data Augmentation Methods for End-to-End Task-Oriented Dialog Systems
원문 초록
Creating effective and reliable task-oriented dialog systems (ToDSs) is challenging, not only because of the complex structure of these systems, but also due to the scarcity of training data, especially when several modules need to be trained separately, each one with its own input/output training examples. Data augmentation (DA), whereby synthetic training examples are added to the training data, has been successful in other NLP systems, but has not been explored as extensively in ToDSs. We empirically evaluate the effectiveness of DA methods in an end-to-end ToDS setting, where a single system is trained to handle all processing stages, from user inputs to system outputs. We experiment with two ToDSs (UBAR, GALAXY) on two datasets (MultiWOZ, KVRET). We consider three types of DA methods (word-level, sentence-level, dialog-level), comparing eight DA methods that have shown promising results in ToDSs and other NLP systems. We show that all DA methods considered are beneficial, and we highlight the best ones, also providing advice to practitioners. We also introduce a more challenging few-shot cross-domain ToDS setting, reaching similar conclusions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자연어 처리 분야에서 알고리즘 언급 동기 탐구: 심층 학습 접근법
Exploring Motivations for Algorithm Mention in the Domain of Natural Language Processing: A Deep Learning Approach
데이터 집약적 과학의 부상과 함께 알고리즘은 과학 연구의 핵심이 되었다. 학술 논문에서 알고리즘은 특정 연구 과제에 대한 방법을 기술, 사용, 비교, 또는 개선하는 등 다양한 목적으로 언급된다. 이러한 목적을 파악하면 알고리즘 간의 관계를 밝히고 그 역할과 가치를 평가하는 데 도움이 된다. 자연어 처리(NLP)를 예시로 삼아, 본 연구는 알고리즘 언급 동기의 식별, 분석, 진화 추적을 위한 문장 수준의 프레임워크를 제안한다. 먼저 수동 어노테이션과 기계 학습을 통해 전문 논문에서 알고리즘 개체와 알고리즘 관련 문장을 식별한다. 이후 사전학습 모델과 데이터 증강(data augmentation)을 활용하여 언급 동기를 분류(classification)하고, 그 분포와 시간적 변화를 분석한다. 결과에 따르면, 증강된 데이터로 학습된 심층 학습(deep learning) 모델이 동기 분류에서 전통적인 기계 학습 모델보다 우수한 성능을 보인다. NLP 논문에서 알고리즘 관련 문장의 절반 이상이 직접 사용을 표현하는 반면, 개선은 가장 드문 동기이다. 동기의 다양성은 시간이 지남에 따라 증가하였다. 특정 알고리즘 범주를 살펴보면, 문법 기반 알고리즘은 기술(description) 목적으로 더 자주 언급되는 반면, 기계 학습 알고리즘은 사용 목적으로 더 자주 언급된다. 시간이 지남에 따라 다양한 알고리즘에서 사용 동기가 기술 동기를 점차 대체해 왔으며, 개별 알고리즘과 연관된 동기 유형의 수는 크게 감소하였다. 본 연구는 저자들이 학술 글쓰기에서 알고리즘 개체를 언급하는 방식을 밝히고, 알고리즘 관계 식별 및 알고리즘 영향 평가에 관한 향후 연구의 기반을 제공한다.
과학 논문에서 문제 및 방법 문장 추출: 정형 표현 탈민감화를 활용한 문맥 강화 트랜스포머
Extracting Problem and Method Sentence from Scientific Papers: A Context-enhanced Transformer Using Formulaic Expression Desensitization
수십억 편의 과학 논문으로 인해 방대한 텍스트에서 핵심 부분을 식별할 필요가 생겼다. 과학 연구는 문제를 제기하는 것부터 방법을 사용하는 것까지의 활동이다. 과학 논문에서 주요 아이디어를 파악하기 위해, 우리는 문제 및 방법 문장 추출에 집중한다. 과학 논문 내 문장에 주석을 달기는 노동 집약적이어서 소규모 데이터셋만 만들어지고, 이는 모델이 학습할 수 있는 정보량을 제한한다. 이러한 제한된 정보로 인해 모델은 특정 형식에 과도하게 의존하게 되며, 그 결과 일반화 능력이 저하된다. 본 논문은 소규모 데이터셋으로 인한 문제를 세 가지 관점에서 해결한다: 데이터셋 규모 확대, 특정 형식에 대한 의존성 감소, 문장 내 정보의 풍부화. 첫 두 가지 아이디어를 구현하기 위해, 우리는 정형 표현(formulaic expression, FE) 탈민감화 개념을 도입하고, 합성 데이터를 생성하고 모델의 FE 의존성을 줄이기 위한 FE 탈민감화 기반 데이터 증강기를 제안한다. 세 번째 아이디어에 대해서는, 문맥을 활용하여 대상 문장 내 단어의 중요도를 측정하고 문맥의 노이즈를 줄이는 문맥 강화 트랜스포머를 제안한다. 또한 본 논문은 대규모 언어 모델(LLM) 기반 문맥 내 학습(ICL) 방법을 이용한 실험을 수행한다. 정량적·정성적 실험 결과, 제안 모델은 두 과학 논문 데이터셋에서 기준선 모델보다 더 높은 macro F1 점수를 달성했으며, 각각 3.71% 및 2.67%의 향상을 보였다. LLM 기반 ICL 방법은 문제 및 방법 추출 작업에 적합하지 않은 것으로 나타났다.
인터랙티브 게임플레이를 위한 코칭 가능한 에이전트
Coachable Agents for Interactive Gameplay
강화학습은 게임 플레이(Silver et al., 2016; 2017; Wurman et al., 2022)에서 로보틱스(Levine et al., 2016; Andrychowicz et al., 2020; Luo et al., 2025; D\"urr et al., 2026), 파운데이션 모델(Ouyang et al., 2022; Noukhovitch et al., 2024; Sun et al., 2024; Guo et al., 2025)에 이르기까지 첨단 AI 및 로봇 시스템을 만드는 데 유용한 도구임이 입증되었다. 이러한 AI 시스템은 시행착오를 통해 과제를 해결하는 단일한 근사 최적 행동을 학습하는 것이 일반적이다. 그러나 학습이 끝난 후에 과제를 해결하는 방식을 어느 정도 제어하고자 하는 사용 사례가 많다. 우리는 핵심 과제에 대한 이러한 수정을 스타일이라 부른다. 우리는 범용 가치 함수 근사기(UVFA)를 신중하게 선택한 학습 시나리오, 학습 알고리즘, 데이터 증강과 결합하여 복잡한 도메인에서 스타일을 보이는 에이전트를 코칭하기 위한 프레임워크를 만든다. 이 프레임워크의 적용을 AAA 비디오 게임인 Horizon Forbidden West와 Gran Turismo, 그리고 오픈소스 휴머노이드 테스트 도메인에서 시연한다. 자동차 레이싱, 양식화된 게임 전투, 휴머노이드 보행이라는 도메인의 상이한 성격에도 불구하고, 각 에이전트는 해당 도메인의 주요 과제를 충족하면서도 스타일 요청에 대한 강한 일관성을 보인다. 중요하게도 본 논문에서 설명한 기법은 최종 사용자가 실행 시점에 최종 행동을 선택할 수 있게 하여, 최종 수행 성능에 대한 유연한 제어를 제공한다.
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
가상현실을 위한 안구 검증
Ocular Verification for Virtual Reality
가상현실(VR) 헤드셋(예: Meta Quest, Apple Vision Pro)은 시뮬레이션 환경에서 물리 세계와 빠르고 마찰 없는 상호작용을 제공하여 매끄러운 사용자 경험을 제공한다. 이러한 헤드셋에서 사용자 인증은 홍채와 같은 생체 단서에 의존한다. 그러나 기존의 홍채 인식 프로토콜은 VR 기반 데이터의 전형적 특성인 비제약 환경 획득의 경우에는 충분하지 않을 수 있다. 본 연구에서는 세 가지 핵심 측면을 검토한다. (1) VRBiom 데이터셋에서 ISO/IEC 29794-6 홍채 품질 지표를 평가하고 그 한계를 분석하며, (2) 생성 모델을 사용하여 축 이탈 시선, 불균일 조명, 정반사와 같은 데이터 특유의 문제를 해결하고, (3) 단일 모달(홍채, 눈 주위) 인식과 다중 모달 점수 수준 융합(홍채 + 눈 주위)을 수행한다. 일부 지표(예: 마진 적절성)는 VR로 획득한 데이터에서 실패하는 반면, 이미지 보정은 주로 눈 주위 인식에 도움이 되며, 다중 모달 융합은 단일 모달 홍채 인식 성능 대비 EER을 약 11% 낮춘다는 것을 관찰하였다. 재현성을 위해 논문 채택 시 평가 스크립트를 공개할 예정이다.
도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석
Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches
자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.