mailbox.tu-dresden.de

이 이메일 도메인이 관측된 논문 2건

arXiv:2610.11510v1cs.CL

대규모 언어 모델(LLM)에서 현대 표준 아랍어(MSA)가 아랍어 방언을 지배하는가? 표현 수준 분석

Does Modern Standard Arabic (MSA) Dominate Arabic Dialects in LLMs? A Representation-Level Analysis

대규모 언어 모델(LLM)은 방언 아랍어로 프롬프트를 입력받더라도 아랍어를 생성할 때 현대 표준 아랍어(MSA)를 기본값으로 사용하는 경우가 많습니다. 이에 대한 자연스러운 설명은 모델의 내부 표현이 MSA에 의해 지배된다는 가설입니다. 본 연구에서는 Shani와 Basirat (2025) (https://doi.org/10.18653/v1/2025.blackboxnlp-1.7)의 언어 지배(language-dominance) 프레임워크를 26개 아랍어 변이형에 적용하여 이 가설을 검증합니다. 여러 레이어와 모델 패밀리 전반에 걸쳐 분석한 결과, MSA가 아랍어 방언에 대한 지배적인 내부 표현으로 작용한다는 증거는 발견되지 않았습니다. 대신 방언 표현들은 조밀하고 크게 중첩된 공간을 형성하며, 더 뚜렷이 구분되는 언어들에서 보고된 패턴과 비교했을 때 정규화된 상호정보량(normalized mutual information)이 급격히 떨어집니다. 또한 가장 강한 분리도(separability) 효과는 중간 레이어에 국한되지 않고, 아키텍처에 따라 후반부 레이어로 이동할 수 있습니다. 이러한 발견은 MSA 편향 생성에 대한 일반적인 해석에 의문을 제기합니다. 즉, 출력 선호도가 내부 표현상의 지배력을 반드시 드러내는 것은 아닙니다. 따라서 다국어 및 방언 LLM 분석은 생성 바이어스와 내부 표현의 기하학적 구조를 구분해야 합니다.

arXiv:2606.20890v1cs.CL

제약된 증거 선택을 통한 토픽-타임스탬프 정렬

Topic-to-Timestamp Alignment by Constrained Evidence Selection

회의 아카이브는 사용자가 무엇이 논의되었는지는 기억하지만 언제 논의되었는지는 기억하지 못할 때 검색하기 어렵다. 우리는 토픽-타임스탬프 정렬을 연구한다: 자연어 토픽과 타임스탬프가 붙은 회의 녹취록이 주어졌을 때, 목표는 해당 토픽이 논의된 시각을 반환하는 것이다. 표준 검색-증강 생성(RAG) 설정은 관련 녹취록 발췌문을 검색할 수 있지만, 여전히 언어 모델에게 타임스탬프를 생성하도록 요구하며, 이는 근거 없거나 유효하지 않은 타임코드를 만들어낼 수 있다. 따라서 우리는 타임스탬프 예측을 제약된 시간적 후보 선택으로 재구성한다: 시스템은 타임스탬프가 붙은 녹취록 청크를 검색하고, 모델은 타임코드를 생성하는 대신 토픽을 가장 잘 그라운딩(grounding)하는 후보를 선택한다. 200개 시의회 회의 녹취록에서 나온 420개의 토픽-타임스탬프 쿼리에 대해, 이 방법은 Mistral-7B-Instruct에서 재현율@5를 31.9%에서 50.0%로 높이고, MAE를 837.0초에서 761.0초로 줄이며, 420개 쿼리 중 파싱 가능한 출력 수를 373개에서 419개로 늘린다. 이 결과는 긴 녹취록에서의 시간적 그라운딩이 언어 모델 선택뿐 아니라 검색 품질과 출력 설계에 크게 의존함을 시사한다.