연관 규칙과 공정 구간 분할을 통한 모기지 대출의 차별적 패턴 감사
Auditing Discriminatory Patterns in Mortgage Lending Through Association Rules and Fair Binning
한국어 초록
미국의 모기지 대출은 지속적인 인종 및 성별 격차를 보인다. 본 연구는 표준 데이터 전처리 단계, 특히 속성 구간 분할(attribute binning)이 다운스트림 패턴 마이닝에서 이러한 격차를 증폭시키는지 조사한다. HMDA 2023 데이터셋(시카고 대도시권)에서 정제된 103,481건의 모기지 신청 데이터를 사용하여 3단계 파이프라인을 구축하였다: (1) 표준 등빈도 구간 분할과 Asudeh et al. [1]의 엡실론 편향 공정 구간 분할(epsilon-biased fair binning) 알고리즘을 모두 구현하는 PySpark 데이터 정제 및 구간 분할 파이프라인, (2) 두 구간 분할 방식 하에서의 거절 패턴을 비교하는 FP-Growth 연관 규칙 마이닝, (3) 클러스터별 불균등 영향(disparate impact) 감사를 수행하는 K-Means 클러스터링. 표준 구간 분할은 소득 이산화에서 9.63%의 인종 편향을 나타내며, 이는 선행 연구에서 보고된 8~10%와 일치한다. 7개 인종 그룹에 대한 공정 구간 분할은 엡실론=0.03에서 실행 불가능하며, 엡실론=0.08에서만 29.4%의 공정성 비용(Price of Fairness)으로 성공한다. FP-Growth 분석 결과 높은 부채-소득 비율(debt-to-income ratio)이 주요 거절 예측 인자(신뢰도 67.2%, 리프트 2.81)로 나타났으며, 인종 편향은 명시적인 고지지도(high-support) 규칙으로 나타나지 않는다. 그러나 K-Means 클러스터링 후 불균등 영향 감사를 수행한 결과 45개 클러스터-그룹 쌍 중 10개가 플래그되었으며, 재정적으로 유사한 그룹 내에서도 흑인 신청자가 백인 신청자보다 유의미하게 높은 거절률에 직면하는 것으로 나타났다.
원문 초록
Mortgage lending in the United States exhibits persistent racial and gender disparities. We investigate whether standard data preprocessing steps, specifically attribute binning, amplify these disparities in downstream pattern mining. Using 103,481 cleaned mortgage applications from the HMDA 2023 dataset (Chicago metropolitan area), we build a three-stage pipeline: (1) a PySpark data cleaning and binning pipeline that implements both standard equal-frequency binning and the epsilon-biased fair binning algorithm from Asudeh et al. [1], (2) FP-Growth association rule mining that compares denial patterns under both binning regimes, and (3) K-Means clustering with a per-cluster disparate impact audit. Our standard binning shows 9.63% racial bias in income discretization, consistent with the 8-10% reported in prior work. Fair binning with seven race groups is infeasible at epsilon=0.03 and only succeeds at epsilon=0.08 with a Price of Fairness of 29.4%. FP-Growth reveals that high debt-to-income ratio is the dominant denial predictor (67.2% confidence, 2.81 lift), while racial bias does not appear as explicit high-support rules. However, K-Means clustering followed by a disparate impact audit flags 10 out of 45 cluster-group pairs, showing that Black applicants face significantly higher denial rates than White applicants even among financially similar groups.
요약
모기지 대출 데이터의 인종 및 성별 불평등을 식별하기 위해 표준 구간 분할과 공정 구간 분할(fair binning)을 비교하는 파이프라인을 구축하고 연관 규칙 마이닝 및 K-Means 클러스터링을 통해 분석했다. 그 결과 표준 구간 분할은 인종 편향을 증폭시키며, 재정적 상황이 유사한 그룹 내에서도 흑인 신청자가 백인 신청자보다 높은 대출 거절율을 겪는 것으로 확인되었다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12435v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연합 사회적 공정 k-평균 군집화를 위한 머신 언러닝
Machine Unlearning for Federated Socially Fair k-Means Clustering
연합 군집화(federated clustering)는 여러 병원에 걸친 환자 층화(patient stratification) 및 분산된 금융 데이터셋 전반의 고객 세분화와 같은 응용 분야를 지원할 수 있습니다. 책임감 있는 인공지능(Responsible AI)은 인구통계학적 집단의 공정한 대표성을 보장하고, GDPR의 잊힐 권리(right to erasure)와 같은 권리에서 비롯된 데이터 삭제 지원을 요구합니다. 이러한 목표들은 상호작용합니다. 즉, 레코드를 삭제하면 집단 간의 균형이 바뀌고 남아 있는 모집단의 군집화 결과가 변경될 수 있습니다. 본 연구에서는 가장 가까운 중심점까지의 최대 집단 평균 제곱 거리를 최소화하는 것을 목표로 하는 연합 사회적 공정 $k$-평균($k$-means)에 대한 정확한 머신 언러닝(exact machine unlearning)을 연구합니다. 본 접근법은 각 집단별로 독립된 로컬 요약(summary)을 유지하므로, 글로벌 공정성 가중치가 변경되더라도 영향을 받지 않은 기관의 요약은 유효하게 유지됩니다. 두 집단의 경우, 이상적인 샘플링 하에서 클라이언트 집단 비율과 무관한 초기화(initialization) 근사 보장을 증명하며, 동일 시드 재생(same-seed replay)이 재학습을 정확히 재현함을 보입니다. 재사용의 이점은 전체 클라이언트가 탈퇴할 때 가장 두드러집니다. 3개의 데이터셋에 걸쳐 재생 방식은 초기화 전용 모델(model)에 대해 재학습보다 $35.8\times$ 더 빠르며, 최악 집단 비용을 개선하는 1회 및 2회의 공정 정제 라운드 적용 시에도 각각 $2.4\times$ 및 $1.7\times$ 더 빠른 속도를 유지합니다. 개별 레코드 삭제의 경우 성능 향상은 약 $1.06\times$로 미미하며, 캐시된 할당을 검증하는 비용이 절감되는 비용보다 더 클 수 있습니다. 이러한 결과는 정확한 언러닝이 계산을 유익하게 재사용할 수 있는 영역을 보여줍니다. 코드 및 재현성 자료는 https://github.com/arareddy/mufsc 에서 확인할 수 있습니다.
양보다 질: 특징 엔지니어링을 통한 불법 비트코인 흐름의 반지도 학습 탐지
Quality over Quantity: Semi-Supervised Detection of Illicit Bitcoin Flows via Feature Engineering
불법 암호화폐 거래 탐지는 극심한 클래스 불균형, 적대적 난독화, 신뢰할 수 있는 라벨의 부족으로 어렵다. 반지도 학습(SSL)은 비라벨 데이터를 활용해 유망한 해결책을 제공하지만, 우리는 그 성공이 데이터 양만으로 보장되지 않으며 데이터 품질에 달려 있음을 보인다. 우리는 Shared Send Mixers(SSM) 거래에서 불법 비트코인 흐름을 탐지하기 위한 SSL 프레임워크를 제안하며, 이는 1억 6,300만 건의 거래로 구성된 포괄적 역사적 데이터셋 위에 구축되었다. 핵심 결론은 SSL의 성공이 데이터 양이 아니라 품질에 달려 있다는 것이다: KeyLinker 주소 클러스터링 및 Shared Send Untangling(SSU) 복잡도 지표와 같은 고충실도 특징은 비라벨 데이터에서 F1 점수 0.84를 달성한다. 마지막으로, One-Time Change(OTC)와 같은 흔한 휴리스틱은 풍부하지만 노이즈를 유입시키는 반면, KeyLinker와 같은 고충실도 특징에 대한 전략적 의존이 필수적임을 실증적으로 보인다. 본 연구는 블록체인 포렌식에서 더 나은 성능으로 가는 길이 더 큰 데이터셋만이 아니라, 데이터 품질을 위한 더 스마트한 특징 엔지니어링에 있음을 확립한다.
bag-of-waves를 이용한 해석 가능한 EEG 바이오마커: 저데이터 환경을 위한 공간·시간 파형 사전
Interpretable EEG biomarkers with bag-of-waves: Spatial and temporal waveform dictionaries for low-data regimes
EEG(전기뇌파)는 신경학적 질환 진단에 널리 사용되지만, 그 분석은 보통 사전 정의된 스펙트럼 특징이나 심층 신경망에 의존한다. 사전 정의된 특징은 정보적 가치가 있는 것을 미리 고정하기 때문에 강한 바이어스를 수반하며, 심층 신경망과 파운데이션 모델은 해석하기 어렵고 대량의 데이터와 연산 자원이 필요하다. 우리는 bag-of-waves를 제안한다. 이는 레이블 없이 shift-invariant k-means를 사용하여 반복되는 EEG 파형 템플릿(atom이라고 함)의 작은 사전을 학습하는 해석 가능한 프레임워크이다. 연속 EEG 신호는 atom 토큰의 시퀀스로 변환되며, 그 토큰의 빈도는 간단한 하류 분류기 또는 클러스터링 단계에 입력된다. 이 표현을 두 가지 방식으로 확장한다: 시간적 구조를 포착하기 위해 atom 간 전이(n-gram이라고 부름)를 추가하고, 다채널 경우를 위해 단일 채널 atom에서 지역 및 채널 간 공간 atom으로 확장한다. 세 가지 상호 보완적인 데이터셋에서 방법을 검증한다. 각 데이터셋은 서로 다른 측면을 탐구한다: 동물 16마리만으로 수행한 단일 채널 마우스 유전형 클러스터링(저데이터 및 시간적 사례), 휴식 상태 치매 분류(공간적 사례), 그리고 임상 EEG 이벤트의 6분류를 위한 TUEV 벤치마크(강력한 심층 및 파운데이션 기준선과의 고데이터 비교). 세 데이터셋 모두에서 bag-of-waves는 최첨단 심층 및 파운데이션 모델과 경쟁력 있는 성능을 달성한다. 그러나 매개변수 수의 극히 일부만으로 동작하며 완전한 해석 가능성을 제공한다. 모든 atom이 검사 가능한 파형에 대응하기 때문에, 이 방법은 신경생리학자가 직접 검증할 수 있는 알려진 임상 형태학을 명시적으로 복원한다. 주요 장점은 더 무거운 모델이 적합하지 않은 저데이터 환경에서도 잘 작동한다는 점이다.
REGARD: 대규모 언어 모델의 지역별 정서 차이
REGARD: Regional Affective Differences in Large Language Models
서로 다른 언어적·지역적 생태계에서 학습되고 정렬(alignment)된 대규모 언어 모델(LLM)은 동일한 정치적, 문화적, 지정학적 대상을 서로 다른 방식으로 프레이밍할 수 있다. 이러한 차이는 종종 감성(sentiment), 호감도(favorability), 또는 입장(stance)을 통해 평가되며, 모델의 태도를 단일한 긍정-부정 축으로 축소한다. 우리는 REGARD를 소개한다. 이는 목표 지향 Valence-Arousal-Dominance(VAD) 프로파일링을 사용하여 소련 이후(post-Soviet) 대상에 대한 LLM 간 정서적 프레이밍 차이를 유발하는 요인을 연구한다. 19개 모델에 500개의 지역별 대상을 질의하고, GPT-4o-mini와 Qwen3.6-35B-A3B라는 두 독립 LLM 심판으로 응답을 채점하며, 300개 항목의 인간 주석 부분집합에서 측정값을 검증한다. 정서 및 응답 행동 프로파일에 기반한 19개 모델 전체의 사후 Ward-linkage 클러스터링은 모델 출처, 계열(family), 매개변수(parameter) 수를 가로지르는 세 가지 행동 클러스터를 산출한다. 일반적 답변(generic-answer) 비율은 낮은 각성(arousal)과 강하게 연관되어 있다(r = -0.81). 클러스터 배치와도 연관된다. 평가적 프롬프트를 템플릿화된 응답으로 회피하는 모델은 출처와 관계없이 낮은 각성에서 함께 클러스터링된다. 이러한 결과는 VAD 프로파일링이 감성 기반의 기존 평가에서는 대체로 드러나지 않는 정서적 프레이밍의 한 차원인 정서적 강도(emotional intensity)를 포착함을 보여준다.
Repurposing recidivism models for forecasting police officer use of force
Solving non-uniqueness in agglomerative hierarchical clustering using multidendrograms
토론
이 논문과 연결된 포럼 글이 아직 없습니다.