PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25298v1cs.CL

FineWeb-CLaR: 벤치마크 정렬 코퍼스 감사를 위한 문화·언어·지역 어노테이션

FineWeb-CLaR: Culture, Language, and Region Annotations for Benchmark-Aligned Corpus Auditing

언어 모델의 문화적 평가 커버리지와 견고성(robustness)은 사전학습 코퍼스와 문화 벤치마크가 비교 가능한 메타데이터로 거의 색인되지 않아 진단하기 어렵다. 벤치마크는 점점 언어, 지역, 로케일별 관행 수준의 문화적으로 맥락화된 현상을 대상으로 하는 반면, 웹 규모 코퍼스는 보통 언어로만 구성된다. 공유 문화-언어-지역 층은 이러한 자원을 비교 가능하게 하여, 대상 문화적 현상이 사전학습 데이터에 반영되는지, 벤치마크로 평가되는지, 또는 둘 다인지에 대한 감사(auditing)를 가능하게 한다. 이를 위해 FineWeb과 FineWeb-2에서 파생된 대규모 주석 데이터셋인 FineWeb-CLaR을 제안한다. FineWeb-CLaR은 코퍼스 감사 및 벤치마크 정렬을 위해 웹 문서를 공유 문화-언어-지역 축에 배치한다. FineWeb-CLaR은 URL에서 유도한 지역 레이블과 문화 주제 출처(provenance)로 FineWeb 및 FineWeb-2의 전체 30.9B개 문서 컬렉션에 어노테이션한다. 우리의 지역 해석기(region resolver)는 문서의 25.61%(7.92B)에 비어 있지 않은 지역을 할당한다. 문화 주제 분석을 위해 로케일별 주제를 유도하고 Liu et al. (2025)의 Cultural Taxonomy 14개 리프에 투영하여 코퍼스 측 비교를 위한 Locale Topic Distributions(LTD)를 생성한다. 또한 277개의 문화 NLP 벤치마크에 동일한 분류 체계, 언어 커버리지, 지역 커버리지로 어노테이션한다. 이 자원들을 함께하면 코퍼스 측 사전학습 근거와 벤치마크 측 평가 커버리지 간의 직접 비교가 가능하다.

arXiv:2606.20676v1cs.CV

배심원 임무: 문화적 모호성 하에서 MLLM-as-a-Judge의 보정 및 방향성 실패

Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity

MLLM-as-a-Judge는 통상적으로 인간 주석과의 일치도로 검증되지만, 인간 풀이 문화적으로 이질적일 때 이 지표는 정의되지 않는다. 우리는 VOIR DIRE를 소개한다. 이는 음식, 패션, 건축 분야에 걸쳐 미국과 중국 본토 맥락을 아우르는 626개의 문화적으로 짝지어진 이미지-프롬프트 아티팩트로 구성된 멀티모달 벤치마크이며, 주석자 풀은 풀 내에서는 신뢰할 만하다(a = 0.86/0.74) 그러나 평가에서 풀 간에는 발산한다(Q1 r = -0.12). 6개 MLLM에서 바이어스는 두 가지 실패로 분해된다: 긍정성 하한 보정 실패(압축된 척도 사용)와 방향성 실패(한 문화적 규범으로의 기본 설정). 이 코퍼스에서 논쟁적 항목들이 두 풀을 분리하도록 샘플링되었을 때, 하한은 기계적으로 더 관대한 중국식 해석을 검증한다. 페르소나 프롬프팅은 보정을 부분적으로 회복하지만 방향성 잔차는 남아 있으며, 이는 기울기가 척도 압축으로 환원될 수 없음을 보여준다. 참조 풀 문맥 내 시연(in-context demonstrations)은 하한 단 사용을 복원하기보다 방향성 잔차를 심화하고 고점을 부풀린다. 모델 출처는 시연 하에서 대략 불변인 작은 가산적 기울기(~0.10 MAE)를 추가한다. 우리는 각 참조 풀에 대한 정렬을 별도로 보고하고, 풀 간 발산을 판사 속성으로 취급할 것을 권고한다.