대규모 언어 모델(LLM)은 대화형 AI를 변화시켰지만, 고품질 다국어 코드믹스(code-mixed) 대화 자원은 여전히 부족하며, 특히 인디아 언어에서는 화자들이 원어 문자와 로마자(Romanized) 표기 양 형태 모두에서 영어와 모국어를 자연스럽게 번갈아 사용하는 경우가 그렇다. 본 논문은 IndicTalk를 제시하는데, 이는 9개 인디아 언어를 포괄하는 18개 언어 변종에 걸쳐 13,28,604개 이상의 이벤트 그라운딩(event-grounded) 다회차 대화로 구성된 가장 큰 다국어 인디아 코드믹스 대화 코퍼스 중 하나이다. 이 코퍼스는 실세계 뉴스 그라운딩, 다국어 LLM을 이용한 페르소나 조건(persona-conditioned) 대화 생성, 자동 품질 검증을 결합한 완전 자동화 파이프라인을 통해 생성된다. 광범위한 언어학적·자동·인간 평가는 IndicTalk가 두 문자 변종(script variants) 모두에서 유창하고 일관되며 자연스럽게 코드믹스된 대화를 생성함을 보여준다. IndicTalk를 공개하여 대표성이 낮은(underrepresented) 인디아 언어를 위한 다국어 대화형 AI의 개발과 평가를 지원할 것이다. 데이터셋은 https://huggingface.co/datasets/LingoIITGN/IndicTalk 에서 이용할 수 있다.
멀티모달 대규모 언어 모델(MLLM)은 일반 도메인에서 유망한 추론 능력을 보여주었지만, 의료와 같은 전문 분야, 특히 다국어 및 저자원(low-resource) 시나리오에서는 성능이 여전히 제한적이다. 이러한 격차는 농촌 인도와 같은 지역에서 특히 중요한데, 환자들은 종종 모국어인 Indic 언어로 복잡한 의료 질문을 표현하고 의료 영상과 같은 멀티모달 입력에 의존하기 때문이다. 기존의 영어 중심 MLLM은 이러한 사용 사례를 지원하는 데 어려움을 겪으며, AI 기반 의료 지원에 대한 공평한 접근을 제한한다. 이 과제를 해결하기 위해, 우리는 8개의 이질적 출처로 구성된 대규모 다국어 멀티모달 의료 질의응답 데이터셋 ArogyaBodha를 제시한다. 이 데이터셋은 영어와 7개의 주요 인도 언어에 걸쳐 31개 신체계, 6개 영상 모달리티, 21개 임상 도메인을 포괄한다. 또한 actor-critic 기반 멀티 에이전트 프레임워크 ArogyaSutra를 제안한다. 이 프레임워크는 단계별 추론 인식 의사결정을 위해 도구 그라운딩(tool grounding)과 이중 메모리 메커니즘을 통합하며, 저장된 actor-critic 시뮬레이션 궤적을 지식 증류(distillation)에 활용한다. 실험 결과, 우리의 데이터셋과 프레임워크가 모든 Indic 언어에 걸쳐 다국어 의료 추론 정확도를 향상시키며, ablation을 통해 각 구성 요소의 기여를 검증하였다. 소스 코드와 데이터셋은 https://iitp-cse.github.io/ArogyaSutra/ 에서 이용할 수 있다.
로마자 코드 혼합(RCM)—이중 언어 사용자가 인도 언어와 영어를 로마 문자로 혼용하는 방식—에서 대규모 언어 모델(LLM)의 지시 수행 능력을 체계적으로 평가하기 위해, 4개 인도 언어·7개 태스크·3단계 혼합 강도로 구성된 Indi-RomCoM 벤치마크를 제안한다. 19개 LLM을 제로샷/퓨샷 설정으로 평가한 결과, 코드 혼합 밀도가 높아질수록 성능이 단조적으로 저하되며, 특히 독성(Toxicity) 감지 같은 탐지 태스크가 추론 태스크보다 더 큰 성능 저하를 보였다.
IndicTrans2는 가장 강력한 오픈 소스 영어-인도어 번역 시스템이지만, 대부분의 시스템과 마찬가지로 일반 텍스트로 학습(training)되어 일상적인 대화체 입력에 딱딱하게 들리는 경향이 있다. 우리는 공개 데이터(OpenSubtitles, BPCC-H-Daily, Tatoeba)만을 사용하여 21개 인도 언어 전반에 걸쳐 IndicTrans2-1B를 대화체 레지스터에 적응시킨다. 단순 미세조정(fine-tuning)은 대화체 chrF를 향상시키지만 일반 도메인을 망각한다(힌디어의 경우 FLORES에서 3.9 chrF 하락). 일반 데이터를 학습에 다시 혼합하는 경험 재생(experience replay)과 이후 미세조정된 가중치를 기본 모델(model)과 평균하는 모델 수핑(model souping)은 이 트레이드오프를 제거한다: 결과 모델은 21개 언어 모두에서 대화체 chrF 기준으로 IndicTrans2-1B를 능가하며(평균 +6.2), FLORES에서는 동등한 성능을 유지한다(평균 변화 -0.17, 모두 0.7 chrF 이내). 대응 부트스트랩 검정은 대화체 향상이 유의미하며(p <= 0.004) FLORES가 유의미하게 저하되지 않음을 확인한다. 우리는 범위에 대해 신중하다: 이것은 chrF 향상이며, 맹검 인간 평가와 다중 모델 LLM 검증은 이를 지각된 품질 향상으로 확인하지 않는다. 따라서 우리는 대화체 향상을 더 나은 번역의 증거라기보다는 참조문에 대한 레지스터 일치로 대부분 간주한다. 기법 자체는 새롭지 않으며, 기여는 인도어 대화 환경에서의 정직한 종단 간(end-to-end) 연구이다.
Accent conversion and controllability remain fundamental challenges in cross-lingual text-to-speech (TTS), particularly for low-resource and phonetically diverse Indic languages. While recent large language model (LLM)-based TTS systems exhibit strong cross-lingual generalization, they provide limited explicit control over accent characteristics and intensity. In this paper, we propose CrossAccentTTS, a framework that enables both accent control and conversion while preserving speaker identity. Specifically, we introduce an Accent Intensity Controller (AIC) that injects weighted language embeddings into the accent subspace, allowing smooth interpolation between accents and fine-grained modulation of accent strength at inference time. Experiments on the Indic Multilingual and L2-arctic datasets shows that CrossAccent-TTS achieves precise control of accent intensity, outperforming strong baselines in accent similarity and controllability by maintaining speaker similarity and naturalness.
10억 명 이상이 사용하는 인도계 언어의 자연어 처리(NLP) 인프라는 언어별로 파편화되어 있으나, 산스크리트 중심 수렴으로 공유된 파니니(Pāṇini) Astādhyāyī 형태통사 틀이 어족 경계를 넘는다는 점을 짚고, 형태 분할·태깅, 파니니 의존 구문, 의미역 표지, 확장 인도 언어권 교차언어 평가로 구성된 4부 벤치마크를 통해 이 구조를 명시화하면 정확도·데이터 효율·교차언어 전이가 개선될 것을 주장한다. 또한 해당 언어로 학습한 신경망이 파니니 범주를 스스로 표상하는지에 대한 해석가능성 질문을 제기한다.
언어적 다양성과 음성 인지의 다차원성으로 TTS(텍스트 음성 변환) 평가 분산이 커지는 문제에 대응하기 위해, 언어적 제어와 지각 기반 주석을 결합한 다차원 쌍대 비교 평가 프레임워크를 제안한다. 인도 10개 언어 5천 문장 이상과 1,900명 이상의 원어민 평가자로 7개 TTS 시스템에 12만 건 이상의 비교를 수집하고 Bradley-Terry 모델링으로 다국어 리더보드를 구성한 결과, Gemini 2.5 Pro TTS가 1위, Indic F5가 최하위로 평가되었다.
영어 중심 안전 메커니즘이 인도 지역의 사회문화적 민감성과 현지화된 유해 유형을 충분히 반영하지 못하는 문제를 해결하기 위해, 10개 주요 인도 언어용 문화적으로 정교한 안전 데이터셋과 Gemma-3-4B-IT 기반 IndicGuard 가드 모델을 제안한다. 실시간 콘텐츠 모더레이션용으로 파인튜닝한 IndicGuard는 현지화된 취약점에 대한 견고성을 높이고 평가 언어 전반에서 CultureGuard를 능가하며, 학습에 포함되지 않은 저자원 인도 언어에도 효과적으로 일반화된다.