NADI 2026: 두 번째 다중 방언 아랍어 음성 처리 공유 과제
NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task
한국어 초록
NADI 2026은 Nuanced Arabic Dialect Identification(NADI) 공유 과제 시리즈의 일곱 번째 개최이며, 다중 방언 아랍어 음성 처리에 초점을 맞춘 두 번째 회차이다. 이번 회차는 자동 음성 인식(ASR), 구어 방언 식별(SDID), 텍스트 음성 변환(TTS), 구어 언어 번역(SLT), 구어 언어 이해(SLU)에 걸친 다섯 가지 과제와 여덟 개의 하위 과제로 구성된다. NADI 2026은 저대역폭, 혼합 방언, 코드 스위칭, 도메인 외(out-of-domain), 제로샷(zero-shot) 설정을 통한 현실적인 평가를 강조하며, 시리즈에 TTS, SLT, SLU를 처음으로 도입한다. 공유 과제에는 최소 13개국에서 온 21개 참가 팀이 참여했고, 테스트 단계 제출 48건과 시스템 설명 논문 14편이 제출되었다. 결과는 도메인 외 일반화가 여전히 주요 병목임을 보여 주며, 최근 아랍어 특화 음성 모델, 멀티모달 방언 식별 접근, 앙상블 방법의 효과를 부각한다. 전반적으로 NADI 2026은 견고한 아랍어 방언 음성 처리를 위한 더 넓고 도전적인 벤치마크를 제공한다.
원문 초록
NADI 2026 is the seventh edition of the Nuanced Arabic Dialect Identification (NADI) shared task series and the second dedicated to multidialectal Arabic speech processing. This edition comprises five tasks and eight subtasks spanning Automatic Speech Recognition (ASR), Spoken Dialect Identification (SDID), Text-to-Speech (TTS), Spoken Language Translation (SLT), and Spoken Language Understanding (SLU). NADI 2026 emphasizes realistic evaluation through low-bandwidth, mixed-dialect, code-switched, out-of-domain, and zero-shot settings, while introducing TTS, SLT, and SLU to the series for the first time. The shared task attracted 21 participating teams from at least 13 countries, with 48 test-phase submissions and 14 submitted system-description papers. Results show that out-of-domain generalization remains a major bottleneck and highlight the effectiveness of recent Arabic-specialized speech models, multimodal dialect identification approaches, and ensemble methods. Overall, NADI 2026 provides a broader and more challenging benchmark for robust Arabic dialect speech processing.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27086v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
실세계 CAD 분할 벤치마크: 홀 검출을 통한 규칙 기반 접근법과 학습 기반 접근법 비교
A Real-World CAD Segmentation Benchmark: Comparing Rule-Based and Learning-Based Approaches through Hole Detection
CAD 분할(segmentation) 데이터셋은 대부분 합성 데이터이거나 자동으로 레이블링되어 있어, 기존 방법들이 실세계 엔지니어링 작업에 얼마나 잘 전이되는지는 명확하지 않다. 파스너(fastener) 관련 홀 검출(hole detection)은 그러한 작업 중 하나로, 사람에 의한 주석(annotation)이 필요하며 일반적으로 사용되는 벤치마크보다 더 큰 기하학적 복잡성을 보인다. 우리는 세 가지 주요 기여를 통해 이러한 격차를 다룬다. 첫째, 그래프-와이어 탐색(graph-wire-search) 기반 방법과 다중 뷰(multi-view) 기반 방법이라는 두 가지 과제 특화 규칙 기반(rule-based) 방법을 개발하고, 이를 엔지니어링 CAD 데이터로부터 도출된 사람이 주석을 단 벤치마크 데이터셋으로 보완하며, 이 데이터셋은 B-Rep 분할을 위한 대표적인 학습 기반(learning-based) 접근법인 UV-Net과 AAGNet의 학습도 가능하게 한다. 둘째, 매개변수(parameter) 최적화, 우리 벤치마크 데이터셋에 대한 평가, 합성 데이터셋에 대한 도메인 간 일반화(cross-domain generalisation), 그리고 다양한 데이터셋 크기와 IoU 임계값에서의 접근법의 실현 가능성 평가를 포함한 광범위한 실험 연구를 수행한다. 셋째, 서로 다른 접근법들의 강점과 한계에 대한 근거 기반 통찰을 제공한다: 규칙 기반 방법은 학습 데이터 없이도 잘 일반화되며, 그래프-와이어 탐색 방법은 재현율(recall)에서, 다중 뷰 방법은 정밀도(precision)에서 우위를 보이는 반면, 학습 기반 방법은 충분한 주석이 있을 때 강력한 성능을 달성하지만 도메인 시프트(domain shift) 상황에서는 강건성(robustness)이 떨어진다. 이러한 결과는 데이터 요구량과 강건성 사이의 트레이드오프(trade-off)를 보여주며, 홀 검출뿐만 아니라 더 넓게는 실세계 CAD 분할 작업 전반에 대한 지침을 제공한다.
위성 영상을 활용한 건물 피해 평가 과제 재고
Revisiting the Task of Building Damage Assessment by Satellite Imaging
지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.
기계 번역 품질 어노테이션을 위한 대규모 언어 모델: 인간과 모델 모두가 겪는 어려움
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
대규모 언어 모델(LLM)은 기계 번역(MT) 평가에서 인간의 판단을 대체할 수 있는 더 효율적이고 비용 효과적인 대안으로 여겨진다. 기계 번역 평가는 매우 많은 언어 쌍, 도메인, 어노테이션 세분화 수준에 걸쳐 이루어지므로, LLM이 인간 평가의 신뢰할 수 있는 대안으로 사용되기 전에 이러한 차원들에 대해 철저히 평가되어야 한다. 본 논문에서는 두 가지 주요 기계 번역 품질 평가 체계인 다차원 품질 지표(Multidimensional Quality Metrics, MQM)와 오류 구간 어노테이션(Error Span Annotation, ESA)에 대해 LLM의 성능을 인간 어노테이터와의 일치도를 비교하여 평가한다. 우리는 70개 언어 쌍으로 구성된 롱 컨텍스트(long-context) 테스트 셋과 공개적으로 이용 가능한 WMT23 및 WMT25 데이터에 대한 결과를 제시하며, 다양한 언어 쌍과 도메인에 걸쳐 점수 및 오류 구간 어노테이션 일치도를 모두 조사한다. 우리의 결과는 일부 평가 과제에서 LLM과 인간 어노테이터 간의 일치도가 인간 어노테이터 간의 일치도를 초과하지만, 두 일치도 모두 어노테이션 체계, 언어 쌍, 도메인에 따라 크게 달라지며 대부분의 설정에서 여전히 신뢰할 수 없음을 보여준다. 더 나아가 우리는 인간과 LLM 어노테이터가 모두 직면하는 과제를 확인하였다: 인간은 특히 세분화된 MQM 어노테이션과 저자원(low-resource) 언어 쌍에서 어려움을 겪는 반면, LLM은 미세한 오류, 잘못된 언어 변이형, 오류 구간 어노테이션에서 어려움을 겪는다. 우리의 결과는 인간과 LLM 어노테이션 성능 모두에 개선의 가능성이 있음을 강조하며, 이는 본 연구에서 확인된 신뢰성 문제를 해결하는 인간-LLM 협업 어노테이션 파이프라인을 통해 가능할 수 있다.
자기 진화형 기술은 미학습 태스크에도 일반화되는가?
Do Self-Evolving Skills Generalize to Held-Out Tasks?
AI 에이전트(agent)는 이전 태스크에서 학습한 내용을 절차, 체크리스트, 코드 또는 기타 실행 가능한 아티팩트와 같은 재사용 가능한 기술(skills)로 외재화하여 새로운 태스크를 해결할 때 검색 및 재사용할 수 있습니다. 자기 진화형 기술(self-evolving skill) 방법은 학습(training) 태스크에 대한 연습을 거칠 때마다 이러한 기술을 지속해서 다시 작성하며, 이후 동일한 종류의 새로운 태스크에 해당 기술을 활용합니다. 본 논문에서는 기술이 학습 태스크에서 보인 개선 효과가 새로운 테스트 태스크로도 이어지는가라는 질문을 던집니다. 저자들은 모든 방법에 동일한 모델(model), 동일한 에이전트, 동일한 학습/테스트 분할을 적용하여 6개 벤치마크에서 5가지 자기 진화 방법과 원샷(one-shot) 기술을 테스트했습니다. 학습 태스크에서 성능 향상을 보인 21개 기술 중 5개는 테스트 태스크에서도 그 개선 효과를 온전히 유지했고, 13개는 일부만 유지했으며, 3개는 전혀 유지하지 못했습니다. 모든 영역에서 가장 뛰어난 기존 방법은 없었습니다. 기술 내용을 분석한 결과, 일반화 성능이 낮은 기술들은 열 이름이나 출력 파일과 같이 태스크에 종속되어야 하는 세부 사항을 고정해 버리거나, 단일 실패에 대한 해결책을 모든 태스크를 위한 규칙으로 일반화하는 경우가 많았습니다. 기술 내용을 읽는 LLM 판정자(judge)는 이러한 점을 포착할 수 있어, 86%의 쌍에서 테스트 결과와 동일한 방식으로 완성된 기술들의 순위를 매겼습니다. 그러나 단일 수정의 영향은 제대로 예측하지 못하므로, 수정 사항은 여전히 직접 실행하여 테스트해야 합니다. 이러한 발견을 바탕으로 본 논문에서는 기술 작성 가이드만 유지하고 태스크마다 새로운 기술을 작성하는 일반화 가능한 기술 최적화(GSO, Generalizable Skill Optimization)를 제안하며, 이 방법은 6개 벤치마크 모두에서 가장 높은 점수를 기록했습니다.
연구와 실제 임상의 간극 좁히기: 임상 피부 병변 분류에서 범용 모델과 피부과 특화 모델의 체계적 평가
Bridging Research and Practice: A Systematic Evaluation of Generalist and Dermatology-Specific Models in Clinical Skin Lesion Classification
최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.
통제된 안개 열화 환경에서 안티-UAV 탐지의 강건성 평가: 안개 인지 학습 및 맑은 날씨 트레이드오프
Evaluating the Robustness of Anti-UAV Detection under Controlled Fog Degradation: Fog-Aware Training and Clear-Sky Tradeoff
비전 기반 안티-UAV 시스템은 저시정 환경에서도 작동해야 하지만, 대부분의 벤치마크는 맑은 날씨 영상만을 사용하며 기존 강건성 연구는 악천후를 단순 유무 조건으로만 다룹니다. 그 결과, 안개 심각도가 지상-대-공중 UAV 탐지에 미치는 영향은 여전히 잘 알려져 있지 않습니다. 본 연구는 이 작업을 위해 안개 심각도가 제어된 최초의 벤치마크를 제시합니다. Anti-UAV300 데이터셋의 RGB 모달리티에 10단계 심각도의 합성 안개를 적용하고, 맑은 날씨로 학습된 YOLOv5m 기준선(baseline) 모델을 맑은 날씨와 안개 낀 이미지를 모두 학습한 안개 인지(fog-aware) 모델과 비교합니다. 탐지 성능은 급격하고 비선형적으로 하락하며, 약한 안개에서 중간 정도의 안개(beta 약 0.05-0.10) 구간에서 초기에 집중적인 성능 저하가 발생하고, 맑은 날씨 대비 가장 짙은 안개에서 [email omitted]:0.95가 96% 감소하는데, 이는 주로 재현율과 신뢰도 저하에 기인합니다. 비교 가능한 지표([email omitted])에서 이러한 급격한 하락은 가장 가까운 선행 벤치마크에서 보고된 가장 극심한 강우 시의 성능 저하를 초과합니다. 안개 인지 학습은 맑은 날씨 정확도가 단 9.1%만 감소하면서도 모든 심각도 구간에서 탐지 성능을 향상시키며(최대 +0.320 [email omitted]:0.95), 극심한 안개 속에서의 붕괴를 완전히 막지는 못하지만 신뢰할 수 있는 탐지의 임계값을 높여줍니다. 신뢰성이 좁은 가시거리 범위 내에서 상실되므로, 단순한 맑은 날씨 대 악천후 비교 테스트는 실제 운용 위험을 과소평가하게 됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.