조건부 대표 모니터링 및 분류를 위한 문맥 적응형 임계값 설정
Context-Adaptive Thresholding for Conditionally Representative Monitoring and Classification
한국어 초록
일반적으로 분류기(classifier)와 모니터링 절차는 오분류율과 같은 목적 함수를 최적화(optimization)하여 레이블이 지정된 데이터로부터 학습(training)됩니다. 이는 중요한 외생 변수가 주어졌을 때 결과(레이블)의 조건부 분포가 모집단의 조건부 법칙과 달라져 비대표적인(unrepresentative) 조건부 분포를 초래할 수 있습니다. 본 연구에서는 오경보율(false alarm rate)을 유지하면서 민감도(sensitivity)를 분배하기 위해 공변량 $Z$(문맥)에 맞춰 임계값을 적응시킴으로써, 임의의 주어진 임계값 형태 분류기 및 모니터링 규칙을 수정하여 대표성 있는 조건부 레이블 예측을 달성하는 방법을 제시합니다. 경보 이벤트가 알려지지 않은 경우, 이 접근법은 임계값 설정 규칙 관점에서 해당 이벤트를 (근사적으로) 추론(inference)할 수도 있게 합니다. 이 접근법은 계산 비용이 저렴한 비모수적 추정 절차를 통해 구현되며, 그 특성은 경험적 과정 이론(empirical process theory)을 포함한 점근적 분포 이론 및 비점근적 오차 한계 관점에서 연구됩니다. 이러한 결과는 균일 신뢰대(uniform confidence bands), 함수형 가설 검정 및 변화 탐지 절차의 구성을 가능하게 합니다. 해석 가능한 머신러닝에서 자주 사용되는 잘 알려진 FICOS 신용 평가 예시에서, 임계값 적응은 일반적인 분류 평가 지표 측면에서 트랜스포머(transformer)를 포함한 최신(SOTA) 방법들과 견줄 수 있는 쉽게 해석 가능한 결정 규칙으로 이어집니다.
원문 초록
Commonly, classifiers and monitoring procedures are trained from labeled data by optimizing an objective such as the misclassification rate. This may lead to unrepresentative conditional distributions of the outcome (the labels) given important external variables, different from the conditional laws in the population. We show how to modify any given threshold-type classifier resp. monitoring rule to achieve representative conditional label prediction by using adapting the threshold to a covariate $Z$ (the context) to distribute sensitivity while maintaining the false alarm rate. In case that the alarm event is unknown, this approach also allows to (approximately) infer the event in terms of a thresholding rule. The approach is implemented by a computationally cheap nonparametric estimation procedure, and its properties are studied in terms of nonasymptotic error bounds and asymptotic distribution theory including empirical process theory. These results allow to construct uniform confidence bands, functional hypothesis tests and change-detection procedures. For the well known FICOS credit scoring example, often used in interpretable machine learning, threshold adaptation leads to an easily interpretable decision rule which can compete with state of the art methods including transformers, in terms of common classification metrics.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.26652v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
사후 처리 공정성 제약이 도움이 될 때와 해가 될 때: 8개 교차 도메인 평가로부터의 근거
When Post-Processing Fairness Constraints Help and When They Harm: Evidence from Eight Cross-Domain Evaluations
프로덕션 ML에서 공정성 감사는 보통 배포 시점에 한 번, 단일 도메인에 대해서만 수행된다. 실제로는 둘 다 한계가 있다. 재학습이나 사용자층 변화 이후 공정성이 달라질 수 있고, 한 데이터셋에서 검증된 개입은 조직이 배포하는 이질적 도메인 전반에서 거의 검증되지 않는다. 우리는 FAPE(Fairness Auditing for Production Environments)를 제시한다. 이는 Fairlearn의 ThresholdOptimizer라는 단일 사후 처리 개입을 8가지 도메인 평가—형사 사법, 소득 예측, 법학 입학, 신용 대출, 농업 대출, 다중 도메인 벤치마크 코퍼스, 의료, 교육—에서 평가하는 4단계 프레임워크이다. 각 평가는 인구통계적 균등(demographic parity)과 균등 오즈(equalized odds) 차이, 그리고 계산 가능한 경우 차등 영향 비율(disparate impact ratio)과 정확도 비용으로 채점된다. 개입 효과는 기준선 불균형의 크기를 따른다. 모델-도메인 쌍 전반에서 제약은 불균형이 큰 14건 중 9건에서 불균형을 개선했고, 거의 공정한 4건 중 3건에서는 악화시켰다. 불균형이 큰 예외 5건 각각은 최소 집단 크기 또는 홀드아웃 데이터에 맞춘 임계값이라는 두 측정 점검 중 하나에서 결과가 뒤집힌다. 배포 시 시작한 CUSUM 모니터를 시뮬레이션된 분포 변화에 대해 검증한 결과, 0.1 parity 관례를 한 번도 충족하지 못한 제약 모델과 충족했다가 이후 퇴행한 모델을 구분한다. 따라서 배포 시점의 단일 감사는 신뢰할 수 있는 지표가 아니며, 이는 기준선 불균형 스크리닝과 지속적 모니터링을 뒷받침한다.
임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사
Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage
응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.
LWCal: 노이즈 보정 레이블을 갖는 표 형식 분류기를 위한 손실 가중 보정
LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels
사후 확률 보정은 보통 낙관적인 가정 아래 평가된다: 홀드아웃 보정 레이블이 깨끗하다는 것이다. 그러나 많은 AI 배포 환경에서는 레이블이 약한 annotator, 과거 결정, 휴리스틱, 또는 distant supervision에서 오므로, 학습을 손상시키는 것과 같은 레이블 노이즈가 보정도 손상시킨다. 우리는 표 형식 분류기에서 이 간과된 실패 모드를 연구하고, 베이스 모델의 홀드아웃 확률과 모순되는 노이즈 레이블을 가진 보정 예시의 가중치를 낮추는 CPU 전용 사후 보정기 LWCal을 제안한다. LWCal은 깨끗한 검증 레이블, 노이즈 비율 추정, 베이스 분류기의 재학습이 필요 없다. 두 번째 변형인 Gated-LWCal은 보수적인 불일치 게이트를 추가하여 보정 분할이 극도로 불일치해 보일 때 원시 점수 쪽으로 후퇴한다. 아홉 개의 로컬 이진 표 형식 태스크, 여섯 개의 무작위 시드, 대칭 및 비대칭 레이블 손상, 세 가지 트리 기반 베이스 학습기에서 LWCal은 평균 보정 오차가 가장 낮고 Gated-LWCal은 평균 proper score 트레이드오프가 가장 좋다. 432개의 노이즈 셀에 대한 주요 random-forest 연구에서 Gated-LWCal은 원시 분류기 대비 기대 보정 오차(ECE)를 0.188에서 0.122로, 음의 로그 가능도(NLL)를 0.438에서 0.396으로 줄인다. Gated-LWCal 대 원시, Platt, isotonic, beta 보정에 대한 paired bootstrap 구간은 ECE, Brier score, NLL에서 0을 배제한다. 아티팩트에는 모든 스크립트, 결과 표, 그림, 및 컴파일된 논문이 포함되어 있다.
최소 노름 일변수 2층 ReLU 분류: 정확한 해와 스킵 연결을 통한 전역 최적성
Minimal-Norm Univariate Two-Layer ReLU Classification: Exact Solutions and Global Optimality with Skip Connections
우리는 일변수 2층 ReLU 네트워크를 이용한 이진 분류에서 최소 노름 보간(minimal-norm interpolation)과 $\ell_2$ 정규화 로지스틱 손실 최소화를 연구한다. 함수 공간에서 최적 분류기에 대한 완전한 기하학적 특성을 제시하며, 은닉층 바이어스가 매개변수 노름에 포함되는지 여부에 따라 해가 어떻게 달라지는지를 규명한다. 바이어스에 페널티를 부과하지 않는 경우, 최소 노름 보간 함수는 모든 레이블 전환 지점에 밀착하고 적절한 볼록성을 갖는 꺾임점(kink)을 지니는 연속 구간별 아핀 함수들과 정확히 일치한다. 바이어스에 페널티를 부과하는 경우, 최소해는 함수 공간에서 유일하며, 레이블이 같은 각 중간 구간마다 정확히 하나의 꺾임점을 갖고, 따라서 가장 희소한 양의 마진 분류기가 된다. 나아가 자유 아핀 스킵 연결(affine skip connection)을 추가해도 이러한 함수 공간의 해는 변하지 않지만 매개변수 공간의 지형(landscape)은 근본적으로 개선됨을 보인다. 즉, 제약 문제의 모든 KKT 점이 전역 최적해가 되는 반면, 스킵 연결이 없으면 차선(suboptimal) KKT 점이 나타날 수 있다. 로지스틱 손실에 대한 $\ell_2$ 정규화가 충분히 약한 경우에 대해서도 유사한 전역 최적성 및 기하학적 결과를 확립한다. 바이어스에 페널티를 부과하지 않는 경우에는 추가적인 희소성 유사 제약을 규명하였으며, 이는 대부분의 최소 노름 보간 함수가 마진 정규화된 로지스틱 손실 최소해의 작은 정규화 극한으로 나타날 수 없음을 의미한다. 데이터셋 복잡도와 네트워크 너비를 달리한 수치 실험은 예측된 지형 및 희소성 현상을 뒷받침한다.
범용 프랙털 자연어 의사결정 맵: 이종 도메인 전반의 실시간 엣지 트리아지
Universal Fractal Natural Language Decision Map: Real-Time Edge Triage Across Heterogeneous Domains
대규모 언어 모델(LLM)을 런타임 운영 트리아지에 배치하면 지나친 지연(>100–500 ms), 높은 VRAM 요구(>4–8 GB), 과도한 에너지 소모가 발생한다. Mandelbrot Fractal Neural Synthesis(Dagli et al., 2026)를 확장하여, 본 논문은 werr 머신 네이티브 엣지 반사(reflex) 런타임과 프로덕션 answerr 플랫폼(https://answerr.me)을 통해 구현한 Universal Fractal Natural Language Decision Map을 제시한다. 저장된 가중치 텐서 없이(VRAM 0 Bytes) 전적으로 동작하는 이 엔진은 Mandelbrot 집합의 카오틱 경계를 따라 24바이트 좌표 시드를 동적으로 변조하고 4분면 탈출 동역학을 평가하여 결정론적 의사결정—noul(Boolean), choice(범주형), score(서열형)—을 합성한다. 생물학적 System-One 반사 아크에서 영감을 받아, 엔진은 다음을 도입한다: (i) 도메인 투영기 Phi_D를 갖춘 Auto-Seed Router로 선형 베이스라인 대비 +28.8% 정확도 향상; (ii) 토큰 엔트로피와 음성학적 스펙트럼 밀도에 기반한 정보 이론적 음향 감쇠 필터(Information-Theoretic Acoustic Damping Filter)로 프롬프트 인젝션에 격리(실증 우회 0.0%; 95% Wilson CI: [0.0%, 30.8%])하면서 탈출 반복을 45.8% 가지치기(처리량 2.5배 가속, 지연 3.31 ms); (iii) O(1) 지수 이동 평균(EMA, alpha=0.03)과 분면 위상 회전을 사용하는 Organic Dynamic Calibration 프레임워크로 위치 바이어스 제거. 베어 메탈 인프라(api.answerr.me:4431)에서 1,150건 이상 검증된 의사결정(3,200건 이상 질문)에 대해 벤치마크하고 독립 JevBench 스위트에서 세계 1위(81.65%)를 기록한 이 프레임워크는 92.6% 매크로 정확도(95% CI: [90.8%, 94.1%])와 7.08 ms 중앙값 CPU 지연을 달성한다. OpenAI 호환 API(/v1/chat/completions)를 제공하며 마이크로컨트롤러와 32바이트 EVM 스마트 계약에서의 실현 가능성을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.