PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04429v1cs.CL

evalci: 언어 모델 평가의 통계적으로 엄밀한 비교를 위한 파이썬 라이브러리

evalci: A Python Library for Statistically Rigorous Comparison of Language Model Evaluations

언어 모델 평가에서 지배적인 관행은 모델별로 단일 정확도 수치를 보고하고 높은 쪽을 더 낫다고 선언하는 것인데, 이때 그 격차가 샘플링 노이즈일 가능성을 검정하지 않는다. 수천 개 항목 규모의 벤치마크에서, 그리고 모델이 실행마다 보고된 모델 간 격차보다 더 크게 달라질 수 있는 온도 샘플링 조건에서, 이 관행은 헤드라인 주장에 대한 신뢰도를 일상적으로 과장한다. 이를 바로잡을 통계적 도구들—신뢰 구간, 대응 유의성 검정, 검정력 분석, 군집 표준오차, 다중 비교 보정—은 잘 확립되어 있지만, 평가가 실제로 취하는 형태인 항목별 결과 테이블에 맞게 패키징된 표준적이고 pip 설치 가능한 도구는 존재하지 않는다. 우리는 항목별 결과 테이블을 단 하나의 함수 호출로 출판 가능한 주장—예: "모델 A가 모델 B를 이김, Δ=3.1점, 95% CI [1.2, 5.0], 대응 순열 p=0.002, n=1,319"—으로 변환하는 순수 파이썬 라이브러리(numpy/scipy/pandas만 사용) evalci를 제시한다. 이 라이브러리는 lm-evaluation-harness 및 HELM 출력을 위한 어댑터를 포함하며, 모든 루틴은 자기 자신에 대해서만 검증하는 것이 아니라 독립적인 참조 구현(statsmodels 또는 브루트포스 정확 열거)에 대해 검증된다. 사례 연구로서, 우리는 아홉 언어 모델의 MMLU 정확도에 대한 공개 비교를 재분석하여, 해당 순위가 내포하는 36개의 쌍별 비교를 보정한 후 인접한 리더보드 순위 격차 8개 중 3개가 통계적으로 유의하지 않음을 발견한다. evalci는 https://pypi.org/project/evalci/ 에서 이용 가능하다(소스: https://github.com/Shreyaskc/evalci, DOI: https://doi.org/10.5281/zenodo.21201815).

arXiv:2607.02046v1cs.LG

Fast and Accurate Anomaly Detection in Time Series

Haar 이산 웨이블릿 변환(Discrete Wavelet Transform)과 통계적 $t$-test를 결합한 비지도 시계열 이상 탐지(anomaly detection) 알고리즘 DWTt-test를 제안하며, 슬라이딩 윈도우 기반의 다중 해상도 분해를 통해 레이블 없이도 이상 점수를 산출한다. 343개 데이터셋에 걸친 대규모 실험에서 기존 비지도 및 자기지도(self-supervised) 벤치마크를 능가하며 $\mathcal{O}(N)$ 선형 시간 복잡도로 실시간 배포에도 적합함을 보인다.