정형 데이터 심층 회귀 다시 보기: 목적 함수와 전역 조기 종료의 한계
Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping
한국어 초록
최근 정형 데이터(tabular data)를 위한 딥러닝 모델이 많은 연구적 관심을 받고 있지만, 회귀 작업에서의 목적 함수(objective function) 선택은 여전히 충분히 연구되지 않은 자유도로 남아 있습니다. 여러 연구에서 표준 평균 제곱 오차(MSE)의 대안을 제시하고 있으나, 데이터셋, 백본 및 평가 프로토콜의 차이로 인해 실제적인 이점을 비교하기 어렵습니다. 본 연구에서는 광범위한 기존 정형 데이터셋 모음과 여러 신경망 백본 전반에 걸쳐 회귀 목적 함수를 체계적으로 재평가함으로써 이러한 격차를 해소합니다. 비교 결과, 제안된 많은 목적 함수가 적절히 튜닝된 MSE 기준선(baseline) 대비 제한적이거나 일관되지 않은 향상만을 제공하는 반면, 분위수 손실(quantile loss)은 테스트된 백본 전반에서 MSE 대비 일관된 종합적 성능 향상을 보이는 것으로 나타났습니다. 이어 우리는 이 강력한 목적 함수에서도 여전히 존재하는 한계를 밝혀냈습니다. 타깃 노이즈 수준이 서로 다른 영역들은 서로 다른 학습(training) 에포크에서 최적의 예측 성능에 도달할 수 있다는 점입니다. 결과적으로, 목적 함수가 이분산적(heteroskedastic) 타깃 분포를 표현할 수 있더라도 단일 전역 조기 종료(early stopping) 체크포인트는 불확실성 영역 간의 절충을 강제할 수 있습니다. 이러한 한계에 착안하여, 우리는 잠재적 해결책으로 입력 의존적 레이블 스무딩(label smoothing)을 사용하는 분위수 손실의 이분산성 인식 확장을 도입하였으며, 여러 백본에서 분위수 손실보다 향상된 성능을 거두었습니다. 전반적으로 본 연구 결과는 정형 딥러닝을 위한 회귀 목적 함수의 현대적인 실증적 그림을 제공하며, 불확실성 영역 간 최적 종료 시점의 차이가 전역 조기 종료의 효과를 어떻게 제한할 수 있는지를 강조합니다. 코드는 https://github.com/yandex-research/tabular-regression 에서 이용할 수 있습니다.
원문 초록
While deep learning models for tabular data have recently received significant research attention, the choice of objective functions for regression tasks remains an understudied degree of freedom. Several lines of research offer alternatives to the standard Mean Squared Error (MSE), but differences in datasets, backbones, and evaluation protocols make their practical benefits difficult to compare. In this work, we address this gap by performing a systematic re-evaluation of regression objectives across a broad collection of established tabular datasets and multiple neural backbones. Our comparison reveals that many proposed objectives provide limited or inconsistent gains over a properly tuned MSE baseline, while quantile loss yields consistent aggregate improvements over MSE across the tested backbones. We then identify a limitation that remains even with this strong objective: regions with different levels of target noise can reach their best predictive performance at different training epochs. Consequently, a single global early-stopping checkpoint can impose a compromise between uncertainty regions, even when the objective can represent heteroskedastic target distributions. Motivated by this limitation, we introduce a heteroskedasticity-aware extension of quantile loss that uses input-dependent label smoothing as a potential remedy and improves over quantile loss on several backbones. Overall, our results provide a modern empirical picture of regression objectives for tabular deep learning and highlight how differences in optimal stopping times across uncertainty regions can limit the effectiveness of global early stopping. The code is available at https://github.com/yandex-research/tabular-regression.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
박판 구형 셸 캡의 강건한 노크다운 팩터 예측 및 신뢰도 기반 설계를 위한 하이브리드 가우스 과정-Extreme Gradient Boosting 머신러닝 프레임워크
A Hybrid Gaussian Process-Extreme Gradient Boosting Machine Learning Framework for Robust Knockdown Factor Prediction and Reliability-Based Design of Thin Spherical Shell Caps
실험을 통해 선형화된 고유좌굴(eigen-buckling) 해석으로 예측된 임계 하중보다 실제 임계 하중이 크게 감소하는 것으로 나타남에 따라, 탄성 좌굴은 깊은 구형 셸 캡(spherical shell cap) 설계에서 여전히 중요한 과제로 남아 있습니다. 이러한 불일치는 초기 기하학적 결함 때문인 것으로 여겨지며, 종종 무차원 매개변수(parameter)인 노크다운 팩터(knockdown factor, KDF)를 통해 보정됩니다. 그러나 기존의 KDF(NASA SP-8007, Eurocode 3)는 방대한 실험 데이터의 하한값을 나타내므로 지나치게 보수적입니다. 본 연구는 구형 셸 좌굴에 대한 실험 데이터로 학습된 머신러닝(ML) 회귀 모델(model)을 통해 구형 셸 캡에 대한 KDF의 보수성을 줄이는 것을 목표로 합니다. 본 논문에서는 가우스 과정 회귀(Gaussian Process Regression, GPR)와 Extreme Gradient Boosting(XGBoost)을 결합한 하이브리드 모델을 제안하며, 인공신경망(Artificial Neural Network, ANN), 서포트 벡터 회귀기(Support Vector Regressor, SVR), 랜덤 포레스트 회귀기(Random Forest Regressor, RFR), 히스토그램 기반 그래디언트(gradient) 부스팅(Histogram-based Gradient Boosting, HGBoost) 등 기존 ML 알고리즘 대비 향상된 성능을 입증합니다. 이러한 각 모델은 6개의 입력 특징(feature)과 단일 출력인 KDF를 사용합니다. 감도 분석을 통해 KDF에 영향을 미치는 가장 핵심적인 특징을 규명합니다. 마지막으로, 본 연구는 안전성을 일관되게 유지하면서도 덜 보수적인 KDF를 도출하기 위해 예측 ML 모델에 의존하는 신뢰도 기반 설계 프레임워크를 제시하며 마무리됩니다.
분할 한계선: 명시적 좌심실 마스크가 학습 기반 박출률 회귀 성능을 개선하지 못하는 이유
The segmentation ceiling: why explicit left-ventricular masks do not improve learned ejection-fraction regression
심장초음파를 통한 좌심실 박출률(EF)의 정확한 추정은 심혈관 치료의 핵심이며, 심층 학습(deep learning)은 심장초음파 비디오로부터 자동화된 EF 예측을 가능하게 합니다. 임상적으로 EF가 좌심실(LV) 용적에서 도출되기 때문에, 명시적인 좌심실 분할(segmentation)이 예측 성능을 향상시킬 것이라는 직관이 널리 받아들여져 왔습니다. 본 연구에서는 이를 검증 가능하게 하는 정량적 기준인 '분할 한계선(segmentation ceiling)'을 제안합니다. 이완기말 및 수축기말 용적의 정규화된 차이로 정의되는 EF로부터, 프레임별 분할 영역 오차가 EF 오차로 전파되는 과정을 닫힌 형식(closed form)으로 유도하고, 이를 통해 마스크가 직접 회귀보다 성능을 개선하기 위해 도달해야 하는 정확도를 도출합니다. EchoNet-Dynamic, UniFormer-S 백본, 그리고 실증적으로 측정된 환자 내 오차 상관관계를 사용했을 때, 이 기준은 손익분기점을 프레임별 영역 오차 약 10% 부근으로 설정하는 반면, 대표적인 분할 모델은 한계선을 상회하는 약 14% 수준에서 작동합니다. 이에 부합하게 분할 또는 영역 정보를 주입하는 네 가지 전략(예측 마스크 채널, 이완기말/수축기말 클립 샘플링, 빈(bin)별 및 진폭 영역 일관성 목적 함수)은 원본 비디오 기준선(baseline)을 능가하지 못하며, 실제 정답(ground-truth) 마스크는 레이블 누출을 통해서만 도움이 됩니다. 따라서 입력 표현이 한계 요인이 아님을 보이고 일반화(generalization)를 실질적인 개선 수단으로 식별합니다. 강력한 증강과 결합된 가중치(weight) 평균화는 동일한 조밀 클립 프로토콜에서 R(2+1)D 기준선(0.811)에 필적하는 0.806의 테스트 R^2(MAE 4.08)을 달성하는 동시에 검증(validation)-테스트 간 격차를 줄입니다. 마지막으로, 이분산 베타-NLL(heteroscedastic beta-NLL) 공식화는 몬테카를로 드롭아웃(Monte-Carlo dropout)과 달리 임상적으로 더 까다로운 낮은 EF 사례에서 더 크게 나타나는 유용하고 잘 보정된 예측별 불확실성을 제공합니다. 분할 한계선은 마스크 유도 기반 EF 추정이 언제 가치가 있는지에 대한 구체적인 설계 기준과 함께 단순하고 불확실성을 고려하는 EF 회귀 레시피를 제공합니다.
DISSOLVR: 수계 및 유기 용해도 예측을 위한 해석 가능하고 빠른 프레임워크
DISSOLVR: An Interpretable and Fast Framework for Aqueous and Organic Solubility Prediction
고충실도(high-fidelity) 용해도 예측은 다양한 화학적 환경 전반에서 분자 구조와 열역학적 거동을 정확하게 결합해 모델링해야 하는 의약품 개발 및 환경 분배(environmental partitioning) 분야의 기초가 됩니다. 그러나 최근의 발전은 예측력을 위해 물리적 해석 가능성을 희생하는 경우가 많은 심층 학습(deep learning) 아키텍처가 주도해 왔습니다. 본 연구에서는 최고 수준의 성능을 달성하는 데 이러한 불투명한 아키텍처가 필수적이지 않음을 보여줌으로써 이와 같은 경향에 도전합니다. 이를 해결하기 위해 분자 용해도 예측을 위한 투명한 프레임워크인 DISSOLVR을 소개합니다. 아울러 포괄적인 문헌 검토와 다양한 방법론에 대한 벤치마킹 연구를 수행합니다. 분자를 물리적 기반의 기술자(descriptor)에 매핑하여 얻은 구조적 불변성을 통해, DISSOLVR이 실험적 불확실성의 우연적 한계(aleatoric limit)에 근접하고 OOD(분포 외) 일반화를 달성함을 입증합니다. 이어서 기호 기반 모델 아티팩트와 화학적 기반 설명 사이의 격차를 좁히는 LLM 보조 사후 설명 파이프라인을 제시합니다. 마지막으로 전문 화학자 22명이 참여한 설문 조사 비교 벤치마크를 통해 전문가 평가자가 심층적인 인사이트를 제공함을 밝힙니다.
잔차 기반 적응형 GMsFEM을 위한 가우시안 프로세스 대리 지표
Gaussian-process surrogate indicators for residual-based adaptive GMsFEM
고대비(high-contrast) 타원형 문제에 대한 잔차 기반 적응형 GMsFEM은 모든 coarse 이웃에서 국소 가중 $H^{-1}$ 지표를 반복적으로 평가하므로, 반복 쿼리(repeated-query) 설정에서 지표 평가가 반복되는 비용이 된다. D\"orfler marking에 사용되는 지표 점수에 대해 비침투적(non-intrusive) 가우시안 프로세스(GP) 대리 모형을 도입한다. 운영 예측량은 GP 사후 평균이며, 명시된 규약 하에서 커널 릿지 회귀(KRR) 추정량과 대수적으로 동등하다; 다중스케일 해법, 국소 스펙트럼 구성, 또는 기저 enrichment를 바꾸지 않고 압축된 국소 해와 스펙트럼 특징을 사용한다. 비균일 perturbed-marking 결과는 점별 점수 오차가 대리 모형이 선택한 이웃이 포착하는 정확한 지표 질량(indicator mass)에 미치는 영향을 정량화하고, 조건부 bounded-discrepancy KRR 경로는 이러한 점수 경계에 대한 충분한 가정을 밝힌다. 통제된 held-out in-distribution 테스트에서, 대리 모형이 안내하는 방법은 고전적 $H^{-1}$-잔차 오프라인 적응성과 비교 가능한 오차 대 자유도(DoF) 추세를 보이며, 오프라인 데이터 생성 및 GP 학습을 제외하면 온라인 지표 구성 요소 평가가 2.0–2.1배 빠르다.
공간 및 네트워크 객체를 활용한 덧셈 비모수적 회귀
Additive Nonparametric Regression with Spatial and Network Objects
본 논문은 구조적 MRI(s-MRI)의 대뇌 피질 지표와 휴지기 fMRI(rs-fMRI)의 뇌 연결성 데이터를 활용하여 과제 기반 fMRI(t-fMRI)로부터 과제 수행 기반 뇌 활성화 맵을 예측하는 청소년 뇌 인지 발달(ABCD) 연구의 영상 애플리케이션에서 동기를 얻었습니다. 계층적 베이지안 모델링은 다양한 영상 데이터를 통합하고 예측 불확실성을 정량화하는 데 매우 적합합니다. 그러나 다양한 영상 양식(modality) 간의 구조와 상호 연결성을 포착하는 결합 사전분포(joint prior) 설계의 난점과 더불어, 계산 복잡성 및 이론적 보장의 부재로 인해 이 분야의 발전은 제한적이었습니다. 이러한 과제를 해결하기 위해, 본 논문은 t-fMRI와 s-MRI 영상을 함수형 데이터(functional data)로 다루며, 함수형 반응변수에 대한 네트워크 및 함수형 예측변수의 덧셈 비선형 효과를 통합하는 새로운 회귀 프레임워크를 소개합니다. 구체적으로, 반응변수와의 복잡한 함수적 의존성을 포착하기 위해 함수형 예측변수와 관련된 계수에 가우시안 과정(GP) 사전분포를 적용합니다. 나아가, 반응 함수에 대한 네트워크 예측변수의 비선형적 노드 효과를 요약하기 위해 GP 사전분포를 할당합니다. 이 방법은 함수형 반응변수에 대한 예측 정확도의 이론적 결과로 뒷받침되며, 시뮬레이션 연구와 ABCD 연구의 다중 모달 신경영상 데이터 분석을 통해 실증적으로 검증됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.