Bank Loan Prediction Using Machine Learning Techniques
원문 초록
Banks are important for the development of economies in any financial ecosystem through consumer and business loans. Lending, however, presents risks; thus, banks have to determine the applicant's financial position to reduce the probabilities of default. A number of banks have currently, therefore, adopted data analytics and state-of-the-art technology to arrive at better decisions in the process. The probability of payback is prescribed by a predictive modeling technique in which machine learning algorithms are applied. In this research project, we will apply several machine learning methods to further improve the accuracy and efficiency of loan approval processes. Our work focuses on the prediction of bank loan approval; we have worked on a dataset of 148,670 instances and 37 attributes using machine learning methods. The target property segregates the loan applications into "Approved" and "Denied" groups. various machine learning techniques have been used, namely, Decision Tree Categorization, AdaBoosting, Random Forest Classifier, SVM, and GaussianNB. Following that, the models were trained and evaluated. Among these, the best-performing algorithm was AdaBoosting, which achieved an incredible accuracy of 99.99%. The results therefore show how ensemble learning works effectively to improve the prediction skills of loan approval decisions. The presented work points to the possibility of achieving extremely accurate and efficient loan prediction models that provide useful insights for applying machine learning to financial domains.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
사고 다양성의 정량화: 가중 LLM 앙상블 향상 효과에 대한 예측 법칙
Quantifying Diversity of Thought: A Predictive Law of Weighted LLM Ensemble Lift
본 논문에서는 대규모 언어 모델(LLM) 앙상블에서 사고의 다양성(diversity of thought)이 제공하는 성능 향상(uplift)을 계산하기 위한 실험적으로 검증된 형식 법칙을 제시합니다. 우리는 제1원리(first principles)로부터 LLM 앙상블 성능 향상 효과(lift)를 구제 질량(rescue mass)과 손상 질량(damage mass)으로 정확히 분해하고, 이를 바탕으로 성능 향상을 계산하는 간결한 휴리스틱을 도출합니다. 이를 통해 앙상블 성능을 예측하는 지표들을 추출하는데, 이는 정확도 조정 정답 상관관계인 $φ_{\mathrm{adj}}$와 함께 모델 쌍의 정확도 격차 및 집단적 정확도(collective accuracy)입니다. 우리는 두 개의 대학원 수준 과학 벤치마크와 네트워크가 격리된 샌드박스에서 다중 턴(multi-turn) 도구 사용을 통해 디지털 포렌식 조사를 수행하는 새로운 에이전트 기반 사이버 보안 벤치마크(기권을 포함한 23,520회의 채점 시험)에서 10개의 공개 가중치 모델로 생성한 767,520회의 추론을 바탕으로 이 법칙을 테스트하였으며, 모든 투표 데이터는 공개되어 있습니다. 40:60 투표 분할 비율로 SuperGPQA에서 한 번 캘리브레이션된 휴리스틱은 캘리브레이션 세트에서 스피어만 $ρ=0.84$로 성능 향상을 예측하며, 계수를 고정한 상태에서도 캘리브레이션에 사용되지 않은 두 데이터셋으로 전이(transfer)됩니다(GPQA Diamond에서 $ρ=0.51$, 포렌식 태스크에서 $0.84$). 반면 측정된 스왑 질량(swap mass)은 전체에 걸쳐 $R^2\ge 0.96$으로 실제 실현된 성능 향상을 추적합니다. 원시(raw) $φ$는 예측력이 거의 없는 반면(전체에 걸쳐 $R^2\le 0.09$), 정확도 조정 $φ_{\mathrm{adj}}$는 현저히 우수하며(SuperGPQA에서 $R^2=0.67$), 이러한 지표들을 결합한 휴리스틱은 세 데이터셋 전반에서 가장 안정적인 풀링(pooling) 이전 예측 인자입니다.
인공 숙의 군중의 지혜
The Wisdom of Artificial Deliberative Crowds
많은 비전문가 추정치의 집계는 종종 개별 전문가 판단을 능가하며, 이 현상은 군중의 지혜(wisdom of crowds)로 알려져 있다. 이는 보통 추정치의 독립성에 기인한다고 여겨지지만, 숙의(deliberation)를 통해 더 강한 효과가 나타난다. 소규모 숙의 집단의 합의 추정치를 평균내는 것은 고전적인 군중의 지혜를 능가하며, 숙의 이후 개별 판단 자체도 더 정확해진다. 이러한 개선이 대규모 언어 모델(LLM)이 서로 숙의할 때에도 이전되는지는 알려져 있지 않다. 여기서 우리는 이전에 인간 참가자 대상으로 사용된 3단계 숙의 패러다임을 세 가지 서로 다른 계열의 대규모 언어 모델에 맞게 조정하고, 현실적 이해관계가 점점 커지는 네 가지 영역에서 이를 검증한다: 시각적 수치 추정(Study 1), 기계학습 논문 동료 심사(Study 2), 인공지능 에이전트의 숨겨진 악의적 행동 탐지(Study 3), 실제 예측 시장과의 스포츠 예측(Study 4). 영역 전반에 걸쳐 숙의는 독립적 응답의 수동적 집계를 넘어 집단적 오류를 줄였고, 숙의 이후 개별 판단은 이러한 집단적 이득을 유지했다. 주목할 점은, 이 이점에는 모델 다양성이 필요했다는 것이다. 단일 모델의 클론들로 구성된 집단은 숙의로부터 이득을 얻지 못했다. 이러한 결과는 기계 숙의를 범용 집계 메커니즘으로 확립하며, 다양성을 핵심 요소로 제시한다.
미국 고고도 맑은 공기 난기류(CAT) 예측 모델링: 기계학습 접근법
Predictive Modeling of High-Altitude Clear Air Turbulence in the United States: A Machine Learning Approach
고고도 맑은 공기 난기류(CAT)는 예측하기 어렵고 탐지에 어려움이 있어 항공 안전에 상당한 위험을 초래한다. 본 연구는 미국 영공 내 200–350 hPa 압력면에서 CAT 예측을 개선하기 위해 기계학습 모델을 활용하며, 조종사 보고(PIREPs), ERA5 재분석 데이터, BADA 데이터베이스의 항공기 공력학 파라미터를 사용한다. 그래디언트 부스팅 알고리즘, 특히 XGBoost가 AUC 0.904로 최고 성능을 달성하여 비선형 대기 역학을 포착하는 능력이 뛰어남을 보여준다. 주요 결과는 예측에서 지리 좌표(특징 중요도 17.5%)와 TI3 같은 난기류 지수의 지배적 역할을 강조하며, 지역 지형과 대류권 상부 불안정성의 역할을 부각한다. 항력(drag force)과 날개 하중(wing loading) 같은 공력학적 특징의 통합은 중등도에서 심각한 체감 난기류 강도 탐지를 개선했으며(탐지 확률(POD)이 0.845에서 0.866으로 향상), 기존 항공기 독립적 방법에 추가적 가치를 제공한다. 계절 분석은 CAT 사고가 겨울철에 정점을 이루며 제트기류 활동과 상관됨을 밝혔다. 결과는 글로벌 연구와 일치하지만, 지리적 범위와 항공기 유형 다양성 등의 한계가 있다. 본 연구는 운용 CAT 예보를 위한 기계학습의 잠재력을 강조하며, 기후 변화에 따른 난기류 추세를 다루기 위한 글로벌 데이터 통합과 실시간 원격 측정(real-time telemetry)에 중점을 둔 향후 연구를 권고한다.
데이터 기반 통신 마케팅 최적화: 머신러닝 기반 이탈 예측 및 고객 세분화 프레임워크
Data-Driven Telecom Marketing Optimization: A Machine Learning-Based Churn Prediction and Customer Segmentation Framework
고객 이탈은 통신사가 직면한 주요 과제로, 매출과 장기적인 고객 관계를 직접적으로 잠식한다. 기존 고객 유지 프로그램은 개인화되지 않은 일반적인 인센티브에 의존하며, 고객이 떠나기 전에 고위험 고객을 식별하는 정밀도가 부족하다. 본 논문은 머신러닝 기반 이탈 예측, 이탈 위험과 고객 가치를 결합한 고객 세분화, 그리고 세그먼트별로 맞춤화된 마케팅 및 투자 수익률(ROI) 전략을 통합한 데이터 기반 마케팅 최적화 프레임워크를 제시한다. 7,043명의 고객과 21개의 피처로 구성된 IBM Telco Customer Churn 데이터셋을 활용하여, XGBoost, LightGBM, CatBoost 세 가지 그래디언트 부스팅 앙상블 모델을 계층화된 5-폴드 교차 검증, 클래스 가중치 부여, F1 점수 기반 결정 임계값 최적화를 적용한 랜덤 탐색으로 학습 및 튜닝하였으며, 이를 통해 73.4% 대 26.6%의 클래스 불균형 문제에 대응하였다. CatBoost가 배포 모델로 선정되어 보류 테스트 세트에서 정확도 77.68%, F1 점수 0.6366, PR AUC 0.6553, ROC AUC 0.8403을 달성하였다. 고객은 K-Means 클러스터링으로 분할되었으며, 엘보우 방법으로 검증하고 주성분 분석(PCA)으로 시각화하여 고가치, 중가치, 저가치 세그먼트로 구분한 뒤, 이탈 위험 레이블과 교차 집계하여 네 가지 실행 가능한 클러스터를 정의하였다. 각 클러스터별 고객 유지, 업셀, 참여 전략이 설계되었으며, 이론적 ROI 및 고객 생애 가치(CLV) 프레임워크를 통해 제안된 개입의 재무적 영향을 정량화하였다. 파이프라인은 마케팅 팀이 데이터를 업로드하고 세그먼트별로 필터링하며 SHAP을 통해 이탈 요인을 시각화하고 자동화된 세그먼트 보고서를 다운로드할 수 있는 대화형 Streamlit 웹 애플리케이션으로 운영화되었다. 실험 결과, 예측적 이탈 모델링과 가치 인식 세분화를 결합하면 이탈 예측 단독 방식보다 더 실행 가능하고 수익성 높은 마케팅 의사결정이 가능함을 확인하였다.
위성 기반 예측 변수를 활용한 포르투갈 연안 Pseudo-nitzschia 유해 조류 대증식 예측
Predicting Pseudo-nitzschia harmful algal blooms along the Portuguese Coast using satellite-derived predictors
Pseudo-nitzschia 규조류는 포르투갈 대서양 연안의 연안 생태계와 패류 채취에 반복적인 위험을 초래한다. 본 연구에서는 현실적인 예측 조건 하에서 위성 기반 예측 변수만을 사용하여 유해 조류 대증식(HAB) 발생을 예측하는 시공간 머신러닝 프레임워크를 개발하고 평가한다. 5,882개의 관측치를 활용하여 패류 생산 구역(L1-L9) 전반의 환경적·생물학적 변동성을 특성화하고 시스템 전반의 맥락을 파악하였다. 예측 모델은 Pseudo-nitzschia 및 도모산(domoic acid) 사건의 주요 발생지인 L1-L2 구역을 대상으로 개발되었으며, 10년치 데이터셋(2013-2023; 1,440개 관측치; 해수면 온도, 용승 지수, 엽록소-a, 플랑크톤 기능 유형을 포함한 1,000개 이상의 위성 기반 예측 변수)을 사용하였다. 표집 지점은 하천을 고려한 공간 군집화 기법을 통해 생태학적으로 의미 있는 하위 지역으로 분할되었다. 전체 연도와 공간 군집을 동시에 제외하는 엄격한 시공간 교차 검증 전략을 통해 데이터 누출을 방지하고 실제 예측 조건을 충실히 모사하였다. HAB 발생은 모델 클래스 및 특징 구성 전반에 걸쳐 중간 수준의 예측 가능성을 보였다. 앙상블 트리 기반 방법이 가장 강한 판별력을 달성하였다: Random Forest는 환경 예측 변수로 0.74 ± 0.05를, Extra Trees는 생물학적 변수 추가 시 0.77 ± 0.06을 기록하였다. 특징 중요도 분석 결과, 계절적 구조, 공간적 맥락, 지연된 환경 조건이 모델 결정을 지배하는 반면, 생물학적 지표는 물리적으로 유리한 시기 내에서 대증식 가능도를 정교하게 조정하는 것으로 나타났다. 본 프레임워크는 동부 경계 용승 연안을 따라 위성 지원 HAB 조기 경보 시스템에 운용 가능한 수준의 예측 능력을 보임을 입증한다.
Fusion-Free Multimodal Classification with Heterogeneous Deep Ensembles
토론
이 논문과 연결된 포럼 글이 아직 없습니다.