arXiv:2406.17363

Leveraging Synthetic Audio Data for End-to-End Low-Resource Speech Translation

Yasmin Moslem

제출 2024-06-25

원문 초록

This paper describes our system submission to the International Conference on Spoken Language Translation (IWSLT 2024) for Irish-to-English speech translation. We built end-to-end systems based on Whisper, and employed a number of data augmentation techniques, such as speech back-translation and noise augmentation. We investigate the effect of using synthetic audio data and discuss several methods for enriching signal diversity.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24115v1cs.AI공통 태그 Data Augmentation, Diversity

EDGEGEN: 합성 엣지 케이스 생성으로 행복 경로(happy path)를 넘어서는 도구 호출 에이전트 개선

EDGEGEN: Improving Tool-Calling Agents Beyond Happy Paths with Synthetic Edge Case Generation

도구 호출 LLM 에이전트는 기업 애플리케이션에 점점 더 많이 배포되고 있다. 그러나 효과적인 평가와 최적화를 위해서는 고품질의 다양한 태스크 데이터셋이 필요한데, 프라이버시 및 기타 제약으로 인해 이를 얻기 어려운 경우가 많다. 기존 합성 태스크 생성 방법은 종종 에이전트의 내부 상태나 데이터베이스를 무시하는 일반적인 태스크를 생성하여 실제 사용의 다양성을 반영하지 못한다. 우리는 에이전트 명세에서 준수(compliance) 규칙을 추출하고, 이를 위반하도록 설계된 데이터베이스 기반(database-grounded) 엣지 케이스 태스크를 생성하는 합성 태스크 생성 프레임워크인 EdgeGen을 제안한다. 기존 합성 데이터 생성 기법과 결합하면 EdgeGen은 파인튜닝과 하네스(harness) 최적화를 통해 에이전트 개선을 가능하게 한다. 그렇게 얻어진 파이프라인은 사람의 어노테이션 없이 완전 자동화된 폐루프(closed-loop) 시스템을 이룬다. EdgeGen으로 생성된 데이터에 대한 파인튜닝은 tau2bench 항공사 도메인에서 일관되게 평균 진행률(progress) 2%에서 42%까지 개선을 보이는 반면, 다른 기준선 방법은 일부 모델에서 성능 저하를 보인다. 한편 하네스 최적화의 경우 Gemma-4-e4b 모델에 대해 우리 방법은 사람이 큐레이션한 하네스와 기본 하네스 대비 각각 평균 진행률 10% 및 30%의 개선을 보인다.

arXiv:2607.12987v2cs.CV공통 태그 Data Augmentation, Diversity

공정하고 효율적인 악성 분류를 위한 다양한 피부과 영상의 제어 가능한 생성

Controllable Generation of Diverse Dermatological Imagery for Fair and Efficient Malignancy Classification

정확한 피부과 진단은 자연스럽게 다양한 인구 집단에 걸친 공평한 성능을 필요로 하지만, 특히 대표성이 낮은 피부 톤과 희귀 질환에 대한 전문가 주석 이미지의 체계적 부족은 측정 가능하게 공정한 방법으로의 진전을 저해한다. 우리는 cgDDI(Controllable Generation of Diverse Dermatological Imagery)를 소개한다. 이는 (1) 다른 입력 속성을 방해하지 않고 사실적인 건강한 피부 샘플을 합성하고, (2) 단일 샘플 희귀 병변을 새로운 피부 톤과 위치에 비모수적으로 매핑하며, (3) 단 10개의 학습 샘플만으로도 효율적인 모수적 생성을 가능하게 하는 하이브리드 프레임워크이다. 이 프레임워크는 사람과 자동 분할 마스킹(segmentation masking)을 모두 지원하여, 사전에 만들어진 병변 마스크가 없는 데이터셋으로도 확장 가능하게 한다. 우리는 656장 이미지 데이터셋을 400배 이상 확장하고, 생검으로 확인된 Diverse Dermatology Images(DDI)와 전문가가 검증한 Fitzpatrick17k(F17k) 두 데이터셋에서 검증한다. DDI 벤치마크에서 합성 데이터만으로 학습한 경우 86.4%의 악성 분류 정확도를, 실제 데이터 미세조정과 함께 90.9%의 최신(state-of-the-art) 성능을 달성했으며, 공정성 지표에서도 선두 수준의 결과를 보였다. 교차 데이터셋 실험에서는 질병 중복이 거의 없음에도 불구하고, 보지 못한 F17k 데이터에서 +13.9%의 정확도 향상을 보였다. 공정성 연구를 더욱 지원하기 위해 26만 6천 개 이상의 합성 이미지, 코드, 생성 모델을 https://github.com/hectorcarrion/ControllableGenDDI 에서 공개한다.

arXiv:2607.12874v1cs.CV공통 태그 Data Augmentation, Diversity

에이전트형 AI와 호환되는 심층 학습을 위한 메트릭 기반 합성 이미지 데이터 렌더링

Metric-Guided Synthetic Image Data Rendering for Deep Learning compatible with Agentic AI

과학 응용을 위한 심층 학습 컴퓨터 비전은 대규모 데이터셋을 수집하고 주석을 달아야 하는데, 이 과정은 힘들고 비용이 많이 들며 오류가 발생하기 쉽다. 3D 모델링과 렌더링을 통한 합성 데이터 생성은 주석을 프로그래밍 방식으로 생성함으로써 이 과정을 단순화하고 주석 정확도를 높일 수 있다. 그러나 실제 이미지와 합성 이미지 사이의 도메인 격차(domain gap)를 시각적으로 최소화하는 것은 주관적이며 체계적인 정량적 가이드가 부족하다. 우리는 렌더링된 장면의 개선을 안내하는 메트릭을 포함한 Python 패키지 GraNatPy를 제시한다. 렌더링된 데이터셋의 사실성, 다양성, 규모가 정량적으로 증가하는 것이 장면에 대한 시각적 인식 개선 및 객체 검출 모델의 제로샷 성능 향상과 상관관계가 있음을 보인다. 또한 바이러스학적 플라크 분석 사진을 이용해 그래디언트 유사성이 소형 객체 검출 성능에 영향을 미친다는 것을 보였으며, 이는 실제 데이터와 합성 데이터를 혼합하면 개선할 수 있다. 마지막으로 절차적 매개변수 최적화를 자동화하기 위해 절차적 데이터 렌더링을 에이전트형 기술(SynthClaw)로 전환한다.

arXiv:2607.04563v1cs.CL공통 태그 Data Augmentation, Diversity

텍스트를 위한 충실도-다양성 지표

Fidelity-Diversity Metrics for Text

언어 모델링 기술이 성숙해짐에 따라, 이러한 모델을 학습하는 데 사용되는 데이터셋의 구성과 큐레이션에 대한 연구 관심이 높아지고 있다. 예를 들어, 실무자들은 일반적으로 고품질 데이터셋에 추가 텍스트를 보완하여 해당 데이터로 학습된 모델의 성능을 향상시키고자 한다. 그러나 데이터 증강에 대한 합리적인 의사결정을 위해서는 데이터 품질에 대한 보다 세밀한 평가가 필요하다. 본 연구는 생성 모델의 정밀도와 재현율을 측정하는 기존 연구를 기반으로, (1) 충실도(fidelity)—후보 텍스트가 참조 데이터와 얼마나 유사한지를 포착—와 (2) 다양성(diversity)—후보 텍스트가 참조 데이터셋의 모드를 얼마나 잘 포괄하는지를 포착—를 정량화하는 한 쌍의 지표를 개발한다. 제안하는 지표는 이산 텍스트 요약 간의 최적 수송(optimal transport) 발산 범함수(divergence functional)에 기반한다. M2D2 텍스트 데이터셋을 대상으로 한 실험에서, 이 지표들이 결함 있는 후보 텍스트에서 충실도 부족과 다양성 부족을 분리하여 진단할 수 있음을 보인다. 추가 실험에서는, 합성 GSM8K 방식의 수학 데이터셋에서 다양성 결핍을 탐지하며, 이는 해당 합성 데이터로 파인튜닝된 언어 모델의 다운스트림 정확도 저하와 상관관계를 보인다.

arXiv:2607.22305v2cs.AI공통 태그 Diversity

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.