열려 있지만 호환되지 않는: 저자원 아프리카 언어 말뭉치의 라이선스 호환성 분석
Open but Incompatible: A License Compatibility Analysis of Corpora for Low-Resource African Languages
한국어 초록
크리에이티브 커먼즈(Creative Commons) 라이선스가 아프리카 자연어 처리(NLP) 말뭉치 공개를 지배하고 있지만, 그 호환성 규칙은 거의 적용되지 않는다. CC-BY-SA와 CC-BY-NC는 단일 공개 데이터셋에 결합할 수 없으며, NoDerivs 조항은 토큰화(tokenisation)와 주석(annotation)을 묵시적으로 금지한다. 본 논문은 아프리카 NLP에 사용되는 20개 이상의 말뭉치 계열에 대해 라이선스 출처를 감사하고, 6단계 호환성 매트릭스를 구성하여 세 가지 사례 연구 언어인 Kituba/Munukutuba, Zarma, Moore에 적용한다. 1차 출처 증거를 바탕으로 네 가지 실패 유형이 기술된다: 완전한 금지(JW300, 서비스 약관 위반이 법적 감사에서 확인된 후 OPUS에서 삭제됨), 복합 라이선스 허위 표시(WAXAL, CC-BY 4.0 주장이 자체 HuggingFace 데이터셋 카드와 모순됨), CC-BY 라벨 뒤에 숨겨진 NoDerivs 조항(Tanzil), 그리고 데이터 지속성 실패(Congolese Radio Corpus, 405개 소스 URL 중 402개가 현재 접속 불가). 주석 전 실사 체크리스트와 법적으로 문제없는 보강 기회에 대한 조사로 논문을 마무리한다.
원문 초록
Creative Commons licenses dominate African NLP corpus releases, but their compatibility rules are rarely applied. CC-BY-SA and CC-BY-NC cannot be combined in a single published dataset; a NoDerivs clause silently prohibits tokenisation and annotation. This paper audits the license provenance of over twenty corpus families used in African NLP, constructs a six-tier compatibility matrix, and applies it to three case-study languages: Kituba/Munukutuba, Zarma, and Moore. Four failure modes are documented with primary-source evidence: outright prohibition (JW300, removed from OPUS after a legal audit confirmed Terms of Service violation); composite license misrepresentation (WAXAL, whose CC-BY 4.0 claim is contradicted by its own HuggingFace dataset card); a NoDerivs clause hidden behind a CC-BY label (Tanzil); and data persistence failure (the Congolese Radio Corpus, where 402 of 405 source URLs are now dead). A pre-annotation due diligence checklist and a survey of legally clean enrichment opportunities close the paper.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.28867v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
위성 영상을 활용한 건물 피해 평가 과제 재고
Revisiting the Task of Building Damage Assessment by Satellite Imaging
지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.
기계 번역 품질 어노테이션을 위한 대규모 언어 모델: 인간과 모델 모두가 겪는 어려움
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
대규모 언어 모델(LLM)은 기계 번역(MT) 평가에서 인간의 판단을 대체할 수 있는 더 효율적이고 비용 효과적인 대안으로 여겨진다. 기계 번역 평가는 매우 많은 언어 쌍, 도메인, 어노테이션 세분화 수준에 걸쳐 이루어지므로, LLM이 인간 평가의 신뢰할 수 있는 대안으로 사용되기 전에 이러한 차원들에 대해 철저히 평가되어야 한다. 본 논문에서는 두 가지 주요 기계 번역 품질 평가 체계인 다차원 품질 지표(Multidimensional Quality Metrics, MQM)와 오류 구간 어노테이션(Error Span Annotation, ESA)에 대해 LLM의 성능을 인간 어노테이터와의 일치도를 비교하여 평가한다. 우리는 70개 언어 쌍으로 구성된 롱 컨텍스트(long-context) 테스트 셋과 공개적으로 이용 가능한 WMT23 및 WMT25 데이터에 대한 결과를 제시하며, 다양한 언어 쌍과 도메인에 걸쳐 점수 및 오류 구간 어노테이션 일치도를 모두 조사한다. 우리의 결과는 일부 평가 과제에서 LLM과 인간 어노테이터 간의 일치도가 인간 어노테이터 간의 일치도를 초과하지만, 두 일치도 모두 어노테이션 체계, 언어 쌍, 도메인에 따라 크게 달라지며 대부분의 설정에서 여전히 신뢰할 수 없음을 보여준다. 더 나아가 우리는 인간과 LLM 어노테이터가 모두 직면하는 과제를 확인하였다: 인간은 특히 세분화된 MQM 어노테이션과 저자원(low-resource) 언어 쌍에서 어려움을 겪는 반면, LLM은 미세한 오류, 잘못된 언어 변이형, 오류 구간 어노테이션에서 어려움을 겪는다. 우리의 결과는 인간과 LLM 어노테이션 성능 모두에 개선의 가능성이 있음을 강조하며, 이는 본 연구에서 확인된 신뢰성 문제를 해결하는 인간-LLM 협업 어노테이션 파이프라인을 통해 가능할 수 있다.
스킬은 실제로 어떤 역할을 하는가? LLM 에이전트의 도구 및 스킬 활용에 대한 추정 대상과 평가 타당성: 비판적 고찰
What Does a Skill Actually Do? Estimands and Evaluation Validity for Tool and Skill Use in LLM Agents: A Critical Review
대규모 언어 모델(LLM) 에이전트에서 도구 및 재사용 가능한 스킬을 통해 보고되는 개선 사항들은 서로 다른 비교 기준을 참조합니다. 본 비판적 서술형 고찰(critical narrative review)은 이러한 평가들이 무엇을 추정하는지, 그리고 해당 평가 설계가 어떤 결론을 뒷받침하는지 검토합니다. 본 리뷰에서는 인용된 논문 100편의 역할을 점검하고, 35편의 연구에서 핵심적인 평가 설계를 상세히 추출합니다. 또한 출간되었거나 게재 승인된 35편의 추가 연구를 집중적으로 검토하여 도구 생성, 메모리, 상호작용형 벤치마크, 신뢰성 및 위험에 대한 범위를 확장합니다. 평가 설계는 처치 대비(treatment contrast), 목표 모집단, 결과, 예산 제약, 요약 척도 및 식별 가정을 바탕으로 특성화됩니다. 분석적 분해와 반례를 통해, 처치된 실행 내의 트리거를 조건으로 평가할 경우 동일한 작업에 대한 실행을 쌍으로 구성하는 것 자체만으로는 호출 효과(invocation effect)를 식별하지 못함을 보여줍니다. 쌍을 이룬 이득 및 성능 저하(regression) 횟수는 기대 결과가 악화되는 작업의 비율이 아니라 결합 프로토콜 하에서의 불일치를 설명합니다. 모듈 배포의 총 효과는 공통 예산 하에서의 효율성과는 다른 질문에 답합니다. 여러 연구 간의 비교를 통해 정선된 스킬 제공과 검색기(retriever) 대체를 구분하고, 작업 모집단과 트리거된 하위 집합을 구분하며, 준비 비용과 한계 사용 비용을 구분합니다. 출간 상태와 분석 깊이도 기록됩니다. 본 고찰은 도구 및 스킬에 대한 주장이 해당 평가 설계가 뒷받침하는 비교와 일치하도록 돕기 위한 방법론적 종합과 보고 체크리스트를 제공합니다.
수어를 위한 기계 번역
Machine Translation for Sign Languages
수어 기계 번역(machine translation)은 지난 10년간 고립 수어 인식에서 종단간(end-to-end) 번역 시스템으로 발전하며 상당한 진전을 이루어 왔다. 포즈 추정, 트랜스포머(transformer) 아키텍처, 대규모 데이터셋(dataset) 수집의 발전이 이러한 진전을 이끌었지만, 여전히 과제가 남아 있다. 데이터셋은 음성 언어 자원에 비해 제한적이며, 평가 지표는 출력물의 언어적 품질을 충분히 포착하지 못하고, 모델은 수어의 동시적이고 다층적이며 3차원적인 구조를 포착해야 한다. 본 논문은 기술적 과제와 이해관계자 고려사항 간의 균형을 추구하는 포괄적인 리뷰를 제공한다. 우리는 수어를 계산적으로 독특하게 만드는 언어학적 특성을 살펴보고, 인식, 번역, 생성 시스템의 발전 과정을 추적하며, 현재진행 중인 기술적 과제를 분석한다. 결정적으로, 우리는 데이터 거버넌스, 커뮤니티 참여, 적절한 사용에 관한 윤리적 고려사항을 다룬다. 컴퓨터 비전, 수어 언어학, 농인학(deaf studies)을 아우르는 학제간 관점을 바탕으로, 우리의 분석은 지속적인 진전을 위해서는 이러한 분야들 간, 그리고 농인 커뮤니티와의 지속적인 협력이 필요함을 강조한다.
번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다
Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following
병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.
A Survey on Performance Metrics for Object-Detection Algorithms
토론
이 논문과 연결된 포럼 글이 아직 없습니다.