PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13909v1cs.LG

정형 데이터 심층 회귀 다시 보기: 목적 함수와 전역 조기 종료의 한계

Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping

최근 정형 데이터(tabular data)를 위한 딥러닝 모델이 많은 연구적 관심을 받고 있지만, 회귀 작업에서의 목적 함수(objective function) 선택은 여전히 충분히 연구되지 않은 자유도로 남아 있습니다. 여러 연구에서 표준 평균 제곱 오차(MSE)의 대안을 제시하고 있으나, 데이터셋, 백본 및 평가 프로토콜의 차이로 인해 실제적인 이점을 비교하기 어렵습니다. 본 연구에서는 광범위한 기존 정형 데이터셋 모음과 여러 신경망 백본 전반에 걸쳐 회귀 목적 함수를 체계적으로 재평가함으로써 이러한 격차를 해소합니다. 비교 결과, 제안된 많은 목적 함수가 적절히 튜닝된 MSE 기준선(baseline) 대비 제한적이거나 일관되지 않은 향상만을 제공하는 반면, 분위수 손실(quantile loss)은 테스트된 백본 전반에서 MSE 대비 일관된 종합적 성능 향상을 보이는 것으로 나타났습니다. 이어 우리는 이 강력한 목적 함수에서도 여전히 존재하는 한계를 밝혀냈습니다. 타깃 노이즈 수준이 서로 다른 영역들은 서로 다른 학습(training) 에포크에서 최적의 예측 성능에 도달할 수 있다는 점입니다. 결과적으로, 목적 함수가 이분산적(heteroskedastic) 타깃 분포를 표현할 수 있더라도 단일 전역 조기 종료(early stopping) 체크포인트는 불확실성 영역 간의 절충을 강제할 수 있습니다. 이러한 한계에 착안하여, 우리는 잠재적 해결책으로 입력 의존적 레이블 스무딩(label smoothing)을 사용하는 분위수 손실의 이분산성 인식 확장을 도입하였으며, 여러 백본에서 분위수 손실보다 향상된 성능을 거두었습니다. 전반적으로 본 연구 결과는 정형 딥러닝을 위한 회귀 목적 함수의 현대적인 실증적 그림을 제공하며, 불확실성 영역 간 최적 종료 시점의 차이가 전역 조기 종료의 효과를 어떻게 제한할 수 있는지를 강조합니다. 코드는 https://github.com/yandex-research/tabular-regression 에서 이용할 수 있습니다.

arXiv:2607.09710v1cs.LG

다양체 제약 테이블형 심층 신경망

Manifold Constrained Tabular Deep Neural Networks

테이블형 분류(tabular classification)는 매끄러운 전역 패턴보다 국소적이고 조건 기반의 규칙에 의해 지배되는 경우가 많다. 그러나 테이블형 심층 신경망(DNN)은 일반적으로 매끄러운 변화와 의미적 지역성을 선호하는 유클리드 표현을 기반으로 구축된다. 이러한 잠재적인 기하학적 불일치로 인해 테이블형 DNN이 테이블형 분류의 기저에 있는 이산적·규칙 분할 구조를 효율적으로 표현하기 어려울 수 있다. 이 문제를 해결하기 위해, 우리는 쌍곡 공간(hyperbolic space)에서 계층적 의사결정 모델링을 가능하게 하는 다양체 제약 DNN인 HDE-Net을 제안한다. 먼저 이질적인 특징(feature)들을 통합된 잠재 의사결정 노드(Latent Decision Nodes, LDN)로 추상화하고 이를 푸앵카레 볼(Poincaré ball)에 임베딩하여 트리 구조 추론과 유사한 연속적 표현을 형성한다. 수치형 특징에 대해서는 범위 기반 국소 규칙을 미분 가능한 방식으로 근사하는 소프트 결정 라우팅(Soft Decision Routing) 메커니즘을 도입하여, 해당 LDN의 의미론을 범주형 특징의 것과 더 가깝게 만든다. 엔트로피 인식 용량 할당 알고리즘은 표현력과 복잡도의 균형을 맞추기 위해 수치형 특징별 LDN 수를 추가적으로 조정한다. TALENT-tiny-core 분류(classification) 벤치마크(30개 데이터셋)에서 HDE-Net은 \textit{최고 평균 순위}를 달성하며, 산업용 GBDT와 최신 테이블형 DNN 모두를 높은 효율성을 유지하면서 능가한다.