Improving N-gram Language Models with Pre-trained Deep Transformer
원문 초록
Although n-gram language models (LMs) have been outperformed by the state-of-the-art neural LMs, they are still widely used in speech recognition due to its high efficiency in inference. In this paper, we demonstrate that n-gram LM can be improved by neural LMs through a text generation based data augmentation method. In contrast to previous approaches, we employ a large-scale general domain pre-training followed by in-domain fine-tuning strategy to construct deep Transformer based neural LMs. Large amount of in-domain text data is generated with the well trained deep Transformer to construct new n-gram LMs, which are then interpolated with baseline n-gram systems. Empirical studies on different speech recognition tasks show that the proposed approach can effectively improve recognition accuracy. In particular, our proposed approach brings significant relative word error rate reduction up to 6.0% for domains with limited in-domain data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Do You Act Like You Talk? Exploring Pose-based Driver Action Classification with Speech Recognition Networks
Visual Speech Recognition in a Driver Assistance System
문법서를 활용한 저자원 기계 번역용 합성 데이터 생성의 요인 실험 연구
A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books
대부분의 위기 언어는 기술 문법서가 존재함에도 불구하고 기계 번역에 필요한 병렬 데이터가 부족하다. 본 연구는 대규모 언어 모델(LLM)을 사용하여 문법서에서 문법 규칙, 예문, 어휘집을 추출하고 미세조정용 합성 병렬 코퍼스를 생성하는 파이프라인을 제안한다. 이는 기존 연구처럼 추론 시점에 문법 내용을 프롬프트에 제공하는 방식과는 다르다. 유형론적으로 다양한 세 저자원 언어—Kalamang(파푸아어), Tuatschin(로망스어), Mandan(수어)—에서 검증한 결과, 합성 데이터 미세조정은 Kalamang에서 75%, Tuatschin에서 59%의 설정에서 시드 데이터 기준선 대비 개선을 보였으며, 최적의 경우 ChrF++는 각각 +8.8, +5.3, +3.3만큼 향상되었다. 목표 품사, 검색 세분성, 샘플 규모를 달리한 96개 설정에 대한 체계적인 요인 실험을 통해, 어떤 요인 조합이 성능 향상을 이끌고 어디에서 효과가 한계에 이르는지 밝혔다. 이 결과는 정적 언어학 문헌을 기계 번역 미세조정에 재활용할 수 있음을 보여 주며, 극도로 자원이 부족한 언어를 위한 번역 도구 구축이라는 실용적 경로를 제시한다.
문맥 인식 서두 생성을 통한 실세계 대화 로봇의 저지연 턴 테이킹
Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot
대규모 언어 모델(LLM) 기반 대화 시스템은 생성이 최종 음성 인식 이후에만 시작되기 때문에 응답 지연이 발생한다. 고정 필러(filler)는 우회 방법이지만, 시간이 지날수록 부자연스러워진다. 우리는 서두 응답(prefatory response) 준비와 발화 시작을 분리하는 2단계 점진적 프레임워크를 제안한다. 사용자 의도가 예측 가능해지면, 의도 준비도(intent readiness) 탐지기가 짧은 서두 응답의 LLM 기반 생성을 트리거한다. 동시에, 음성 활동 투영(VAP) 모델이 이를 전달할 시점을 결정한다. 쇼핑몰의 경로 안내 로봇을 이용한 현장 실험을 통해 no-filler, fixed-filler, contextual-preface 세 가지 조건을 평가했다. fixed-filler와 contextual-preface 모두 no-filler 대비 초기 응답 지연을 유의미하게 줄였다. fixed-filler 대비 contextual-preface는 초기 응답 지연이 유의미하게 더 길었지만, 초기-본문 간격(initial-to-main gap)은 유의미하게 더 짧았다. 탐색적 평가에서는 유의미한 차이가 없었다. 이러한 결과는 타이밍 트레이드오프를 나타낸다.
InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델
InnoText: A Unified Model for Visual Text Generation and Editing
확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.
AINTMA: 생성형 지능, 보안 클라우드 통신 및 적응형 품질 분석을 갖춘 자율 테스트 관리를 위한 에이전틱 AI 아키텍처
AINTMA: Agentic AI Architecture for Autonomous Test Management with Generative Intelligence, Secure Cloud Communication and Adaptive Quality Analytics
현대 소프트웨어 품질 보증은 분산 클라우드 환경 전반에서 적응적 의사결정이 가능한 지능형 자율 시스템을 요구한다. 본 논문은 전통적인 테스트 관리를 자율적 품질 지능 생태계로 전환하는 다중 에이전트 에이전틱 AI 시스템인 AINTMA(Agentic Intelligent Test Management Architecture)를 제안한다. AINTMA는 클라우드 네이티브 마이크로서비스 인프라 위의 보안 다중 에이전트 통신 프레임워크를 통해 조율되는 여섯 개의 전문 AI 에이전트(테스트 탐색, 위험 평가, 강화학습 우선순위화, 실행 오케스트레이션, 생성형 품질 지능, 클라우드 보안 모니터)를 배치한다. 생성형 품질 지능 에이전트는 대규모 언어 모델(LLM)을 활용해 평이한 언어의 품질 서술, 결함 위험 요약, 데이터 증강 기반 테스트 권고를 생성한다. 강화학습 우선순위화 에이전트는 테스트 선택을 마르코프 결정 과정으로 모델링하고, 대규모 과거 테스트 실행 데이터(47개 특징, 36개월 롤링 윈도우)로부터 문맥적 정책을 학습한다. 보안 클라우드 통신은 OAuth2/JWT 인증, 암호화된 에이전트 간 메시징, 다중 테넌트 격리를 갖춘 제로 트러스트 API 게이트웨이를 통해 강제된다. 18개월에 걸친 12개의 이질적 소프트웨어 프로젝트에 대한 평가 결과는 다음을 보여준다: 88.4% 테스트 우선순위화 정확도(APFD, 무작위 51.2%, 최고 상용 기준선 82.1% 대비); 테스트 사이클 시간 43% 단축; 결함 누출률 8.3%에서 2.1%로 감소; 9개월 투자 회수 기간에 340% ROI. 에이전틱 아키텍처는 50,000개 이상의 테스트 케이스에 확장되며 400ms 미만의 응답 시간을 달성하고, 생성형 지능 모듈은 개발자 유용성 평가 4.3/5.0을 기록했다. AINTMA는 자율적 다중 에이전트 조율, 생성형 지능, 보안 스마트 연결을 결합한 에이전틱 AI가 클라우드 규모의 엔터프라이즈 환경에서 소프트웨어 품질 관리를 근본적으로 발전시킬 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.