AraGenre 2026: 계층적 정의 기반 아랍어 장르 분류 공유 과제
AraGenre 2026: A Hierarchical Definition-Guided Arabic Genre Classification Shared Task
한국어 초록
AraGenre는 아랍어 및 기타 저자원 언어에서의 주석 데이터 부족 문제를 해결하기 위해 고안된 계층적 정의 기반(definition-guided) 아랍어 장르 분류(classification) 공유 과제이다. 시스템은 각 아랍어 텍스트 세그먼트에 광범위한 의사소통 장르와 세부 장르를 모두 부여한다. 공개된 학습(training) 및 개발 데이터셋(dataset)은 주로 합성 및 통제된 제한된 예시를 포함하는 반면, 블라인드 평가용 최종 벤치마크(benchmark)는 현대 표준 아랍어(Modern Standard Arabic), 고전 아랍어(Classical Arabic), 그리고 다양한 방언에 걸친 잡음이 많은 자연 발생 텍스트를 포함한다. 참가자들에게는 이전에 본 적 없는 74개 세부 장르에 대한 자연어 정의가 제공되어, 시스템이 고정된 레이블-특징(feature) 연관성을 암기하기보다 클래스 의미론을 추론해야 하는 제로샷(zero-shot) 레이블 일반화 환경이 조성되었다. 이 과제에는 46개 팀이 등록하고 373건이 제출되었으며, 17개 팀이 최종 평가(evaluation)를 완료했다. Thakaa 팀이 계층적 매크로 F1(Hierarchical Macro F1) 0.7352로 1위를 차지했고, HoangPhong (HP) 팀이 0.7169로 그 뒤를 이었으며, NAMAA 팀이 0.7013을 기록했다. 결과는 광범위한 장르 인식에서는 강력한 성능을 보였으나, 언어적 및 도메인 변이가 존재하는 환경에서의 세부 장르 분류에서는 상당한 성능 격차가 존재함을 보여준다.
원문 초록
AraGenre is a shared task on hierarchical, definition-guided Arabic genre classification, motivated by the limited availability of annotated data in Arabic and other low-resource languages. Systems assign each Arabic text segment both a broad communicative genre and a fine-grained specific genre. The released training and development sets contain limited, primarily synthetic and controlled examples, whereas the hidden final benchmark contains noisier naturally occurring text spanning Modern Standard Arabic, Classical Arabic, and multiple dialects. Participants received natural-language definitions for 74 previously unseen specific genres, creating a zero-shot label generalisation setting in which systems had to infer class semantics rather than memorise fixed label-feature associations. The task attracted 46 registrations and 373 submissions, with 17 teams completing the final evaluation. Thakaa ranked first with a Hierarchical Macro F1 of 0.7352, followed by HoangPhong (HP) with 0.7169 and NAMAA with 0.7013. The results show strong broad-genre recognition but a substantial gap in fine-grained classification under linguistic and domain variation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27387v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크
NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse
다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.
검증되지 않았는가, 아니면 억울하게 의심받는가? 카자흐어에서의 AI 생성 텍스트 탐지기 평가
Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh
AI 텍스트 탐지기는 이미 카자흐어 글쓰기에 적용되고 있지만, 공개적으로 이용 가능한 탐지기가 ChatGPT 이전에 작성된 것으로 확인된 카자흐어 텍스트를 얼마나 자주 (AI 생성으로) 플래그하는지 보고한 연구는 없다. 우리는 AINA-KK를 제시한다: ChatGPT 이전에 존재했음이 입증된 백과사전, 뉴스, 웹, 교육용 페이지에서 수집한 3,811개의 인간 작성 지문(passage)과, 카자흐어로 구축된 KazLLM과 Sherkala를 포함한 9개의 생성기에서 나온 5,597개의 기계 생성 및 그레이존(gray-zone) 지문으로 구성되며, 문자 체계(script) 및 길이에 대한 스트레스 테스트를 포함한다. Hugging Face Hub에서 가져온 영어로 학습된 5개의 탐지기는 인간 지문의 최대 81.4%와 공개된 학생 에세이의 79.6%를 (AI 생성으로) 플래그했다; 재보정(recalibration) 후에는 기계 생성 텍스트를 최대 1.3%만 탐지했다. 보정된 제로샷(zero-shot) 탐지기는 분포 내(in-distribution) 생성기의 기계 생성 텍스트를 최대 50.3%만 탐지했다. 파인튜닝된 인코더는 텍스트를 거의 완벽하게 순위화하지만, 기본 임계값에서 mDeBERTa는 50단어 분량의 인간 발췌문 중 24.4%를 플래그했는데, 이는 부분적으로 기계 생성 출력이 인간 텍스트보다 짧기 때문이다; 보정 후에는 KazLLM 지문의 47.1%와 Sherkala 지문의 62.7%만 탐지했다. 문자 체계 처리를 하지 않으면, 기계가 음차 표기(transliteration)한 Latin-2021 텍스트가 모든 탐지기를 무력화시켰다. 새로운 데이터가 필요 없는 수정 사항들(보정, 문자 체계 정규화(canonicalization), 문자 체계가 증강되고 길이가 일치된 학습, 그리고 제로샷 스코어러와의 OR 결합)을 결합하여 AINA-KK-Det을 구성한다. 테스트에서 이는 인간 지문의 0.9%를 플래그하며(95% 신뢰구간 0.4-2.7; 개발 데이터에서는 1.5%), 알려진 생성기의 기계 생성 텍스트 중 85.2%, 보지 못한(unseen) 두 개의 Gemini 계열 Gemma-4 모델에서 나온 텍스트 중 92.9%, 카자흐어로 구축된 생성기에서 나온 텍스트 중 61.3%를 탐지한다; 해당 구성은 테스트 결과를 고려하여 선택되었다. 우리는 데이터, 코드, 탐지기를 https://github.com/ozxmn/aina-kk 에서 공개한다.
기계 생성 텍스트 탐지기의 아티팩트 의존성 측정
Measuring Artifact Reliance in Machine-Generated Text Detectors
기계 생성 텍스트 탐지기는 과학 문헌 벤치마크에서 거의 완벽한 점수를 기록하는데, 이는 이러한 탐지기로 인간이 작성한 문서와 기계가 생성한 문서를 신뢰성 있게 구별할 수 있음을 암시한다. 우리는 여섯 개의 널리 사용되는 자료원에서 추출한 열 개의 과학 문서 서브셋을 살펴보았으며, 그중 여러 서브셋에서는 이러한 겉보기의 용이함이 문서가 구성된 방식에서 비롯된 부수 효과임을 확인했다. 27개의 표면적 특징(superficial feature)을 사용한 로지스틱 회귀(logistic regression)는 0.833-0.997의 매크로(macro) F1을 기록했으며, 세 개의 arXiv 서브셋에서는 우리가 평가한 모든 탐지기를 능가하여 0.951-0.997의 F1 점수를 보였다. 탐지기에 가장 강력한 단서는 PDF 추출 아티팩트(artifact)이다: 인간이 작성한 텍스트는 원래의 줄 바꿈을 유지하는 반면, 생성된 텍스트는 단일한 연속된 문장 블록으로 추출된다. 이 단서는 다른 세 가지 서식 특징과 함께 0.996의 AUC로 두 클래스를 구별해낸다. 이러한 신호를 포함하는 벤치마크와 그 신호에 의존하는 탐지기를 구별하기 위해, 우리는 서식 반사실(format counterfactual)을 도입한다: 단 한 단어도 바꾸지 않고 기계가 작성한 초록을 다시 줄바꿈하는 것만으로도 공개된 한 탐지기의 정확한 판단 중 20-27%가 뒤바뀐다. 학습 전에 서식을 정규화(normalizing)하면 일반화 격차(generalization gap)가 0.32에서 0.22로 줄어든다. 서식이 정제된 벤치마크에서는, 아티팩트가 포함된 서브셋으로 학습된 탐지기의 도메인 외(out-of-domain) 매크로 F1 또한 0.33에서 0.65로 향상된다.
기억된 세계를 넘어서: 진화하는 세계에서의 지속적 내비게이션을 위한 예측적 4D 신념
Beyond the Remembered World: Predictive 4D Belief for Persistent Navigation in Evolving Worlds
지속적 공간 메모리는 체화된 에이전트(embodied agent)가 반복적인 방문에 걸쳐 익숙한 환경을 탐색할 수 있도록 돕습니다. 그러나 목표 대상은 관측되지 않는 동안에도 움직일 수 있으며 내비게이션 도중에도 이동할 수 있어, 에이전트가 도착할 즈음에는 기억된 위치의 신뢰성이 떨어지게 됩니다. 메모리 검색 및 상태 예측 기술의 발전에도 불구하고, 지속적으로 숨겨진 세계의 변화(world evolution)를 고려하고 제한된 시야 하에서 신념(belief)을 수정하는 일은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 에이전트가 간헐적인 관측으로부터 목표 위치를 추론하고, 검사 시점의 상태를 예측하며, 시각적 증거를 사용해 신념을 수정하는 '진화하는 세계 내비게이션(Evolving-World Navigation)'을 연구합니다. 우리는 구조화된 지속-재배치 모델을 통해 타임스탬프가 부여된 3D 객체 이력으로부터 시간 인덱싱된 신념을 구축하는 EvolvingNav를 제안합니다. 이 신념은 마지막으로 관측된 위치에서의 지속성과 다른 위치로의 재배치를 구분하며, 알려진 후보군 집합 외부의 확률 질량도 유지합니다. 이벤트 기반 필터는 시간이 경과함에 따라 현재 신념을 전파하고, 후보 검사 시점에서의 목표 점유율을 예측하며, 새로운 RGB-D 증거를 반영합니다. 부정적 관측(negative observation)은 캘리브레이션된 시야 조건부 탐지 확률에 따라 위치 가설의 가중치를 낮추고, 증거 추적 메커니즘은 동일한 관측의 중복 활용을 방지합니다. 동결된 제로샷(zero-shot) 비전-언어(vision-language) 제어기는 업데이트된 신념을 사용하여 행동을 선택하고 재계획을 수행합니다. 나아가 우리는 인간 활동 궤적을 기반으로 하며, 내비게이션 전후 및 도중의 제어된 변화를 포함하는 54개 장면과 803,680개 작업으로 구성된 벤치마크(benchmark)인 EvoWorld-Bench를 소개합니다. 시뮬레이션 및 실제 로봇 실험에서 EvolvingNav는 평가된 베이스라인 대비 내비게이션 성공률과 탐색 효율성을 향상시켰습니다. 쌍체 실험(paired experiments)에서는 학습 가능한 시간적 패턴 하에서 가장 뚜렷한 성능 향상을 보였으며, 소거 연구(ablation study)를 통해 불확실성 보존 및 시야 인식 증거 반영의 유효성을 입증했습니다.
AiSearch: VLM을 활용한 대화형 멀티모달 검색
AiSearch: Interactive Multi-Modal Search with VLMs
현대의 정보 검색(retrieval) 시스템은 자동화되는 동시에 사용자가 실시간으로 결과를 검색하고 개선할 수 있는 대화형(interactive) 특성을 갖추어야 합니다. 본 논문에서는 이미지 및 비디오에 대한 자연어 검색을 위해 비전-언어 모델(VLM)의 제로샷(zero-shot) 역량을 활용하는 유연한 멀티모달 검색 프레임워크인 AiSearch를 제시합니다. AiSearch는 사용자의 의도에 맞게 결과를 맞춤화하기 위한 사용자 피드백 기반의 대화형 검색 정교화를 지원하며, 여러 VLM 전반에 걸친 시각적 벤치마킹을 지원하여 사용자가 작업에 가장 적합한 모델을 선택할 수 있도록 합니다.
제로샷 의학 논문 초록 분류에서 DeBERTa-v3를 위한 비교 설명가능성 프레임워크
A Comparative Explainability Framework for DeBERTa-v3 in Zero-Shot Medical Abstract Classification
본 연구에서는 의학 논문 초록의 제로샷(zero-shot) 분류 환경에서 DeBERTa-v3를 감사(audit)하기 위한 비교 설명가능성(explainability) 프레임워크를 제시한다. 이 연구는 서로 다른 기여도 산출(attribution) 방식이 동일한 입력과 예측에 대해 상이한 설명을 생성하는 설명가능한 인공지능(XAI)의 불일치 문제를 다룬다. Medical Abstracts 말뭉치를 기반으로 진단 범주당 5개의 보강된 가설과 클래스당 1,000개의 균형 잡힌 텍스트 샘플을 활용하여 자연어 추론(NLI) 엔진을 구현한다. 모델 불가지론적(model-agnostic) 접근법인 SHAP과 LIME, 딥러닝 특화 접근법인 오클루전(occlusion)과 Input x Gradient, 트랜스포머 특화 접근법인 Attention x Gradient 등 다섯 가지 설명 방법을 비교한다. 설명은 상위 토큰 기여도를 통해 표준화되며, 쌍별 일치도는 자카드 지수(Jaccard index)를 사용하여 정량화된다. 잘 정의된 임상 영역에서는 높은 예측 정확도를 달성하지만, 의미적 모호성이 높은 상황에서는 성능이 저하된다. 설명의 안정성은 예측 확신도를 직접적으로 반영하여 일가적(univalent) 범주에서는 강한 수렴을 보이고 진단 불확실성 하에서는 뚜렷한 하락을 나타낸다. 나아가 정성적 오류 감사를 통해 어휘적 과민성, 의미적 중첩, 기여도 일관성 손실이라는 세 가지 시스템적 실패 메커니즘을 밝혀낸다. 이러한 결과는 의학 텍스트 분류에서 트랜스포머 기반 모델을 감사할 때 여러 설명 방법과 정량적 일치도 지표를 결합하여 사용할 것을 지지하며, 광범위한 진단 레이블보다 구체적인 임상 온톨로지를 우선시할 것을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.