PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2105.07610v5stat.ML공식 코드 · Papers with Code

교차 클러스터 가중 포레스트

Cross-Cluster Weighted Forests

생물학적 응용을 위한 신뢰할 수 있는 머신러닝 알고리즘을 구축하려면 서로 다른 출처, 배치, 분포, 또는 연구로 인한 데이터 이질성에 적응해야 한다. 우리는 'Cross-Cluster Weighted Forest'(CCWF)를 제안한다. 이는 특징 분포의 이질성을 명시적으로 활용하는 앙상블 접근법으로, 데이터가 자연스럽게 클러스터링될 수 있는 경우 표준 Random Forest보다 더 정확하고 더 일반화 가능한 예측기를 생성한다. CCWF는 RF 아키텍처를 외부 비지도 층, 지도 하위 과제, 그리고 앙상블로 일반화한다. 구체적으로는 학습 데이터의 비지도 클러스터링, 각 클러스터에 Random Forest를 적합시키는 것, 그리고 클러스터 간 일반화 가능성을 보상하는 스택드 회귀 가중치를 통해 포레스트를 결합하는 것을 포함한다. 우리는 해석적으로 다룰 수 있는 포레스트 모델에 대한 이론적 분석을 제공하며, 클러스터 기반 앙상블이 전체 데이터에 단일 포레스트를 학습하는 것보다 점근적으로 더 정확함을 보인다. 이 이득은 바이어스 감소에 의해 주도된다. 시뮬레이션에서 CCWF는 데이터 생성 체제와 결과 모델 전반에 걸쳐 견고함을 보인다. 또한 데이터 분할 및 앙상블 가중 전략이 우리 방법의 이점에 미치는 영향을 탐구한다. 마지막으로, 우리는 접근법을 자연스럽게 클러스터로 나눌 수 있는 암 분자 프로파일링 및 유전자 발현 데이터셋에 적용한다. 시뮬레이션과 실제 데이터 예시 모두에서, 우리의 접근법이 고전적인 Random Forest를 30-40%의 여유로 능가함을 보여주며, 이는 우리의 이론적 결과와 일치한다. 전반적으로, CCWF가 여러 도메인 또는 하위 집단에 걸친 데이터에 대해 통계적으로 타당한 예측 알고리즘을 제공함을 보인다. 이러한 구조는 생물학적 응용에서 흔하다.

arXiv:2303.18031v2cs.CV공식 코드 · Papers with Code

단순한 도메인 일반화 방법은 오픈 도메인 일반화를 위한 강력한 베이스라인

Simple Domain Generalization Methods are Strong Baselines for Open Domain Generalization

실제 애플리케이션에서 머신러닝 모델은 추론 단계에서 알 수 없는 클래스가 등장하는 오픈셋 인식(OSR)과 학습 및 추론 단계 간 데이터 분포가 달라지는 도메인 이동(domain shift)을 모두 처리해야 합니다. 도메인 일반화(DG)는 모델 학습 시 추론 단계의 타겟 도메인에 접근할 수 없는 도메인 이동 상황을 처리하는 것을 목표로 합니다. 오픈 도메인 일반화(ODG)는 DG와 OSR을 모두 고려합니다. 도메인 증강 메타러닝(DAML)은 ODG를 목표로 하는 방법이지만, 학습 과정이 복잡합니다. 이에 반해 다양한 DG 방법이 제안되었으나, ODG 상황에서는 평가되지 않았습니다. 본 연구에서는 기존 DG 방법을 ODG 환경에서 포괄적으로 평가하였으며, 두 가지 단순한 DG 방법인 상관관계 정렬(CORAL)과 최대 평균 차이(MMD)가 여러 경우에서 DAML과 경쟁력이 있음을 보여줍니다. 또한, DAML에서 사용된 앙상블 학습(ensemble learning) 및 디리클레 믹스업(Dirichlet mixup) 데이터 증강(data augmentation)과 같은 기법을 도입하여 CORAL과 MMD의 단순한 확장 버전을 제안합니다. 실험 평가 결과, 확장된 CORAL과 MMD는 더 낮은 계산 비용으로 DAML과 대등한 성능을 발휘할 수 있음을 확인했습니다. 이는 단순한 DG 방법과 그 단순한 확장들이 ODG를 위한 강력한 베이스라인이 될 수 있음을 시사합니다

arXiv:2505.00571v3stat.ML공식 코드 · Papers with Code

베이지안 회귀, 트리 앙상블 및 Shapley 값을 통합한 역학 데이터의 비선형성을 넘어선 발견과 추론

Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values

머신러닝(ML)은 가설 없는(hypothesis-free) 위험 및 보호 요인 발견을 위해 역학 및 의료 연구에서 인기를 얻고 있습니다. ML은 비선형성과 상호작용을 발견하는 데 강점이 있지만, 신뢰할 수 있는 추론(inference)의 부재로 인해 이러한 강점이 저해됩니다. Shapley 값은 특징의 효과에 대한 국소적 측정치를 제공하지만, 이러한 효과에 대한 타당한 불확실성 정량화가 일반적으로 부족하여 통계적 추론을 불가능하게 만듭니다. 우리는 이러한 한계를 해결하기 위해 전용 베이지안 희소 회귀 모델(model)과 개선된 트리 기반 규칙 생성기, 그리고 Shapley 값 귀속을 결합한 RuleSHAP 프레임워크를 제안합니다. RuleSHAP는 비선형 및 상호작용 효과의 탐지를 제공하며, 개별 수준에서의 불확실성 정량화를 핵심 기여로 포함합니다. 우리는 이 프레임워크 내에서 한계 Shapley 값을 계산하기 위한 효율적인 공식을 유도합니다. 우리는 고콜레스테롤혈증과 고혈압에 대한 여러 효과를 탐지하고 추론하기 위해 역학 코호트 데이터에 RuleSHAP를 적용했으며, 여기에는 연령, 성별, 인종, BMI 및 포도당 수준과 같은 특징 간의 비선형 상호작용 효과가 포함됩니다. 결론적으로, 우리는 시뮬레이션 데이터를 통해 프레임워크의 타당성을 입증합니다.

arXiv:2410.24145v3stat.ML공식 코드 · Papers with Code

원형 데이터에 대한 투영 랜덤 포레스트와 준비 예측

Projected random forests and conformal prediction of circular data

우리는 원형 반응 변수를 갖는 회귀 문제에 준비 예측 기법을 적용하여, 데이터 교환 가능성 가정 하에 임의의 원형 예측 모델에 대해 적응형 호 길이와 유한 표본 커버리지 보장을 갖는 예측 집합을 생성합니다. 선형 반응 변수를 위해 설계된 기존 예측 모델의 높은 성능을 활용하여, 임의의 선형 반응 회귀 모델을 원형 반응 변수에 적합한 모델로 변환하는 일반적인 투영 절차를 분석합니다. 이 투영 절차에서 랜덤 포레스트를 기본 모델로 사용할 경우, 예측 집합 구성 시 별도의 보정 샘플이 필요 없도록 랜덤 포레스트의 OOB(Out-of-Bag) 메커니즘을 활용합니다. 합성 및 실제 데이터셋에서 결과적으로 도출된 투영 랜덤 포레스트 모델은, 기존의 두 가지 대안 모델이 생성한 분할 준비 예측 집합보다 더 짧은 중앙값 호 길이를 가지는 더 효율적인 OOB 준비 예측 집합을 생성합니다.