iit.ac.lk

이 이메일 도메인이 관측된 논문 6건

arXiv:2610.11389v1cs.CL

허구보다 사실: 싱할라어-영어 신경망 기계 번역에서의 병리적 환각 탐지

Fact over Fiction: Detection of Pathological Hallucinations in Sinhala-to-English Neural Machine Translation

신경망 기계 번역(NMT) 모델은 매우 유창한 결과물을 생성할 수 있지만, 자연스러우면서도 원문과 의미상 무관한 번역인 환각(hallucination)에 여전히 취약합니다. 이러한 취약점은 교차 언어 정렬이 약해 환각이 자주 발생하는 싱할라어-영어와 같은 저자원 환경에서 특히 심각합니다. 본 논문에서는 이 언어 쌍을 위한 무참조(reference-free) 환각 탐지 프레임워크를 소개합니다. 언어학적 근거를 둔 5가지 변조 전략의 확률적 체인을 통해 생성되고 문자 수준 유사도를 사용해 형태론적 변이와 환각을 구별하는 의미적 구제 메커니즘을 갖춘 45,000개 샘플 규모의 합성 데이터셋을 제시합니다. 토큰 수준 시퀀스 레이블링을 위해 mDeBERTa-v3를 파인튜닝하여 원문이 분리된(source-disjoint) 테스트 세트에서 3개 시드 기준 토큰 수준 F1 0.841 +/- 0.001을 달성했으며, 신경망 위험 점수, 시퀀스 로그 확률, 교차 언어 의미 임베딩(LaBSE)을 통합한 3개 신호 앙상블을 연구합니다. 원문 절제(source-ablation) 대조군 실험 결과, 탐지기가 변조 과정의 표면적 아티팩트가 아닌 싱할라어 원문에 의존함을 확인했습니다. 즉, 원문을 섞거나 제거하면 문장 수준 AUROC가 0.970에서 무작위 추측 수준으로 감소합니다. 5개 모델 계열에 걸친 8개 NMT 시스템을 벤치마크한 결과, 탐지기의 발화 빈도가 아키텍처에 따라 최대 10배(an order of magnitude) 차이가 남을 발견했습니다.

arXiv:2609.32382v2cs.CL

PlurVA-LLM-2026 공유 태스크 트랙 1: 다국어 미세조정 및 임계값 보정을 통한 대규모 언어 모델(LLM)의 다원적 가치 정렬

PlurVA-LLM-2026 Shared Task Track-1: Pluralistic Value Alignment in LLMs via Multilingual Fine-Tuning and Threshold Calibration

본 논문에서는 중국, 인도네시아, 스리랑카 맥락에서의 다원적 가치 정렬(pluralistic value alignment)에 초점을 맞춘 PlurVA-LLM 2026 공유 태스크(Shared Task) 트랙 1을 위한 시스템을 제시합니다. 이러한 자원 제약적 트랙을 위해 4비트 QLoRA를 사용하여 Llama 3.1 8B Instruct를 미세조정(fine-tuning)했습니다. 본 연구의 접근 방식은 중국어 데이터를 위한 선택지 순열 증강(option-permutation augmentation), 인도네시아어 데이터를 위한 주석자 투표 확장(annotator vote expansion), 스리랑카 데이터를 위한 이진 재구성 및 SinhalaMMLU 증강을 결합합니다. 또한 스리랑카 데이터의 예측에 조건부 임계값 보정(threshold calibration)을 적용했습니다. 최종 시스템은 중국어 0.785, 인도네시아어 0.715, 스리랑카 0.916의 정확도를 달성하여 전체 매크로 평균 정확도 0.805를 기록했습니다.

arXiv:2610.02873v1cs.CL

ConvoDrift: 문체 어조 변화 모델링을 위한 다중 턴 대화 데이터셋

ConvoDrift: A Multi-Turn Conversational Dataset for Modeling Stylistic Tone Evolution

대화에서 언어적 문체의 진화는 자연어 처리(NLP) 분야에서 충분히 연구되지 않은 문제입니다. 대부분의 문체 제어 데이터셋은 개별 문장에 초점을 맞추거나 대화 전반에 걸쳐 정적인 문체를 가정하므로, 상호작용 과정에서 사용자 선호도가 변화함에 따라 발생하는 동적인 변화를 포착하지 못합니다. 본 연구에서는 고정된 의미적 의도 하에서 점진적인 대화 문체 어조 변화(conversational tone drift)를 모델링하도록 설계된 데이터셋인 ConvoDrift를 소개합니다. 이 데이터셋은 적응 및 페르소나 조건부 정렬(alignment) 기법을 위한 15,727개의 공유 다중 턴 대화 구조를 기반으로 구축되었습니다. 대화당 6개의 프롬프트-응답 쌍으로 구성되며, 각 쌍에는 문체 변화 및 문체 방향 레이블이 주석되어 있습니다. 이러한 쌍들은 다양한 의사소통 장르를 포괄합니다. 나아가, 의미적으로는 동일하지만 문체적으로 구별되는 응답들을 짝지어 5가지 서로 다른 문체 의사소통 페르소나를 활용해 페르소나 조건부 선호도를 주석한 상호 보완적인 쌍별(pairwise) 데이터셋을 도출함으로써, 언어 어조에서의 개인화 및 다원적 정렬에 대한 통제된 연구를 가능하게 합니다. 데이터셋 구축 외에도 인간 검증, LLM 판별자(LLM-as-judge) 평가, 자동 어휘 및 의미론적 평가를 포함한 종합적인 평가를 수행합니다. 3명의 인간 평가자가 주석한 7가지 리커트(Likert) 척도 기준 전반에서 평균 크리펜도르프 알파(Krippendorff's alpha)는 0.88을 기록했으며, 어휘 및 의미 분석 결과 변화 이벤트가 의미적 유사성을 유지하면서도 어휘적 변화를 유도함을 보여줍니다.

arXiv:2603.10861v3cs.CL

SiDiaC-v.2.0: 싱할라어 통시적 말뭉치 버전 2.0

SiDiaC-v.2.0: Sinhala Diachronic Corpus Version 2.0

SiDiaC-v.2.0은 출판 연도 기준 서기 1800년부터 1955년까지, 작성 연도 기준 서기 5세기부터 20세기까지의 역사적 기간을 아우르는 현재까지 가장 방대하고 포괄적인 싱할라어 통시적 코퍼스(Sinhala Diachronic Corpus)이다. 이 코퍼스는 철저한 필터링, 전처리, 저작권 준수 검토 및 광범위한 사후 처리를 거친 185편의 문학 작품에 걸쳐 22만 9천 단어로 구성되어 있다. 또한 총 6만 5천 단어에 달하는 59개 문서의 하위 집합은 작성 연도를 기준으로 주석이 부여되었다. 스리랑카 국립도서관의 문헌들은 Google Document AI OCR을 사용하여 디지털화되었던 SiDiaC-v.1.0의 미필터링 목록에서 선정되었다. 이후 서식 오류 수정, 코드 혼용(code-mixing) 처리, 특수 토큰 포함, 손상된 토큰 수정을 위한 사후 처리가 진행되었다. SiDiaC-v.2.0의 구축은 FarPaHC, SiDiaC-v.1.0, CCOHA 등 다른 코퍼스의 관례를 참고하였다. 이는 페로어와의 저자원 언어 특성 공유 및 CCOHA에서 사용된 유사한 정제 전략을 고려할 때, 구문 주석 부여 및 텍스트 정규화(text normalisation) 전략에 특히 유의미하게 적용되었다. 본 코퍼스는 장르에 따라 1차 및 2차의 두 가지 계층으로 분류된다. 1차 분류는 이진 분류로 각 서적을 논픽션(Non-Fiction) 또는 픽션(Fiction)으로 지정한다. 2차 분류는 보다 세부적으로, 종교, 역사, 시, 언어, 의학 등 특정 장르로 텍스트를 분류한다. 제한된 자원으로 인한 어려움에도 불구하고, SiDiaC-v.2.0은 이전 SiDiaC-v.1.0 연구를 기반으로 구축되어 싱할라어 자연어 처리(NLP)를 위한 포괄적인 자원 역할을 한다.

arXiv:2608.03166v1cs.AI

다중 에이전트 평가를 활용한 역할 수행 언어 에이전트의 적대적 스트레스 테스팅

Adversarial Stress Testing of Role-Playing Language Agents using Multi-Agent Evaluation

역할 수행 언어 에이전트(RPLA)는 의료 지원, 고객 지원, 교육과 같이 적대적 압박 속에서도 일관된 페르소나, 윤리적 제약 조건, 행동의 일관성을 유지하는 것이 매우 중요한 고위험 분야에 점점 더 많이 배포되고 있습니다. 기존 평가 방식은 정적 벤치마크나 단일 턴 프롬프트에 의존하여 장기적인 상호작용 과정에서 발생하는 누적된 행동 실패를 포착하지 못합니다. 본 연구에서는 구조화된 다중 턴 대화를 통해 RPLA를 적대적으로 스트레스 테스트하는 모듈형 다중 에이전트 플랫폼을 제시합니다. 이 시스템은 세 가지 에이전트를 조율합니다. 즉, 여섯 가지 점진적 적대 전략을 적용하는 전략 주도형 질문자 에이전트(Interrogator Agent), 평가 대상 RPLA를 나타내는 타깃 에이전트(Target Agent), 그리고 역할 충실도, 표류(drift), 윤리적 일탈, 일관성 차원에서 행동을 채점하는 자동화된 판정 에이전트(Judging Agent)입니다. 세 가지 페르소나와 세 가지 대규모 언어 모델(LLM) 계열을 대상으로 한 실험을 통해, 다중 전략 적대적 평가가 단일 전략 테스트에서는 보이지 않던 실패 모드를 드러내어 전반적인 견고성 점수를 평균 0.17~0.20점 감소시킴을 입증합니다. 모델 간 교차 검증을 통해 Llama-3.3-70B, GPT-4o-mini, Claude-3.5-Haiku 전반에서 일관된 성능 저하 패턴을 확인하였으며, 권위 도전(Authority Challenge)과 감정 조작(Emotional Manipulation)이 가장 효과적인 공격 전략으로 나타났습니다. 자동화된 판정은 높은 인간 평가 일치도($r = 0.82$, Fleiss' $κ = 0.71$)를 달성했습니다. 본 연구는 AI 안전성(safety)과 재현 가능한 RPLA 벤치마킹을 지원하기 위해 오픈소스 플랫폼으로 공개됩니다. 본 프레임워크가 실패 모드의 체계적인 발견을 가능하게 하지만, 적대적 테스팅 방법론과 관련된 잠재적 윤리적 위험을 인지하며 AI 안전성 향상을 위한 책임감 있는 사용을 강조합니다.