PyTorchKR Papers

최신 논문

총 47편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.05786v4cs.LG

트리 부스팅을 위한 하이퍼파라미터 선택

Selecting Hyperparameters for Tree-Boosting

트리 부스팅은 표 형식(tabular) 데이터에 널리 사용되는 기계학습 기법이다. 그러나 표본 외(out-of-sample) 정확도는 여러 하이퍼파라미터에 크게 의존한다. 본 논문에서는 $59$개의 회귀 및 이진 분류 데이터셋을 사용하여, 무작위 그리드 탐색(random grid search), 트리 구조 파르센 추정기(tree-structured Parzen estimator, TPE), 가우스 과정 기반 베이지안 최적화(Gaussian-process-based Bayesian optimization, GP-BO), Hyperband, 순차 모델 기반 알고리즘 구성(sequential model-based algorithm configuration, SMAC) 방법, 결정적 전체 그리드 탐색(deterministic full grid search)을 포함한 트리 부스팅을 위한 여러 인기 하이퍼파라미터 최적화(optimization) 방법을 실증적으로 비교한다. SMAC 방법은 평균적으로 고려된 다른 모든 방법을 명확히 능가하며, 고정된 튜닝 예산 하에서 다양한 표 형식 데이터셋 전반에 걸쳐 안정적인 성능을 제공한다. 이는 광범위한 수동 시행착오 튜닝을 감당할 수 없는 사용자에게 중요한 의미를 갖는다. 또한 (i) 정확한 튜닝을 위해서는 일반적으로 $100$회를 넘는 상대적으로 많은 시행(trial)이 필요하다, (ii) 하이퍼파라미터의 기본값을 사용하거나 작은 그리드에 대한 전체 탐색을 수행하는 것은 종종 매우 부정확한 모델을 초래한다, (iii) 고려된 모든 하이퍼파라미터가 트리 부스팅의 정확도에 실질적인 영향을 미칠 수 있으며, 즉 다른 것들보다 더 중요한 소수의 하이퍼파라미터 집합은 존재하지 않는다, (iv) 회귀 작업에서 부스팅 반복 횟수를 탐색 공간에 포함하는 것보다 조기 종료를 사용하여 선택하는 것이 더 정확한 결과를 낳는다.

arXiv:2606.30410v2cs.LG

IID를 넘어서: 표 형식 파운데이션 모델은 실제로 얼마나 일반적인가?

Beyond IID: How General Are Tabular Foundation Models, Really?

Foundation models for predictive machine learning on tabular data have recently gained significant traction in academia and industry. Research communities across disciplines are increasingly evaluating tabular foundation models on diverse datasets and tasks. However, these task- and discipline-specific evaluations remain largely inaccessible to model researchers because benchmark software and evaluation protocols are fragmented. As a result, model researchers rely on standard benchmarks, which are mostly defined for tasks where tabular foundation models already excel. The most challenging scenarios are excluded, limiting meaningful progress in the field by focusing on marginal improvements on IID data rather than on broader, more demanding challenges. To overcome this, we introduce BeyondArena, the first unified holistic benchmark for tabular data that supports diverse task types (IID, temporal, grouped), across sample size and feature dimensionality scales, with diverse feature types (with text, with high cardinality) from a broad range of disciplines. To enable unified benchmarking beyond standard benchmarks, we introduce DataFoundry, a Python framework and metadata schema for curating tabular datasets for predictive machine learning. Our results across 11 models and 142 curated datasets show that current open-source tabular foundation models are competitive or excel on datasets up to 100k rows, while traditional tree-based and deep learning models still dominate on grouped or large data. BeyondArena guides model research for the most demanding challenges in tabular data, enabling progress towards truly foundational tabular models.

arXiv:2610.13644v1cs.LG

SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크

SelectArena: A Modern Benchmark for Feature Selection on Real-world Tabular Data

정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.

arXiv:2610.10740v1cs.LG

테이블 데이터 기반 대화형 작업 모호성 해소: 정보 누출을 고려한 정식화, 벤치마크 스위트 및 학습

Conversational Task Disambiguation over Tabular Data: Leakage-Aware Formulation, Benchmark Suite, and Training

테이블 데이터 기반 대화형 작업 모호성 해소는 테이블이나 데이터베이스에서 솔루션을 생성하기 전에, 대화를 활용하여 사용자의 의도된 작업에 대한 누락된 정보를 해결합니다. 기존의 평가 및 학습은 정보 누출을 고려한 기반이 부족합니다. 작업 성공 여부에는 에이전트의 모호성 해소 능력과 솔루션 생성 능력이 혼재되어 있으며, 사용자 시뮬레이터가 실제 사용자가 제공할 범위를 넘어 공개하는 정보인 오라클 누출(oracle leakage)이 반영될 수도 있습니다. 또한 기존 데이터셋은 모호성과 접근 경계에 대한 공통 표현이 부족합니다. 본 논문에서는 모호성과 그 해결 방식을 공식화하고, 에이전트를 질문 정책(asking policy)과 솔루션 정책(solution policy)으로, 환경을 오라클과 검증기(verifier)로 분해하는 '모호한 검증 가능 작업(ambiguous verifiable task)' 개념을 제안합니다. 이 프레임워크는 솔루션 생성과 별개로 작업 모호성 해소를 평가하기 위한 베이스라인과 지표, 오라클 누출에 대한 형식적 정의, 별도의 판별 모델이 필요 없는(judge-free) 누출 진단 방법, 그리고 질문 정책을 위한 학습 목표를 제공합니다. 저자들은 에이전트, 오라클, 검증기가 접근할 수 있는 대상을 명시하는 공통 표현 아래 6개의 모호한 데이터셋을 통합한 벤치마크 스위트 AmbiTab을 통해 text-to-SQL에서 이 프레임워크를 구현합니다. 명확화 전략과 오라클 누출을 평가하고, 강화학습(RL)을 통해 질문 정책을 학습합니다. 학습된 질문 정책은 6개 데이터셋 모두에서 모호성 해소 지표를 향상시키고 5개 데이터셋에서 작업 성공률을 높였으며, 제안된 누출 진단 방법을 통해 학습이 오라클 누출에 미치는 영향을 측정합니다.

arXiv:2610.02344v1cs.LG

구동 대 감쇠: 결합 임베딩 예측 아키텍처의 학습 역학에 대하여

Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures

결합 임베딩 예측 아키텍처(Joint-Embedding Predictive Architecture, JEPA)는 표현 붕괴(representation collapse)가 발생하기 쉬우며, 일반적으로 경험적 휴리스틱을 통해 이를 완화합니다. 본 연구에서는 이러한 휴리스틱들을 통합하는 초기 학습 안정성 이론을 개발합니다. 자명한 고정점 주변에서 결합된 JEPA 그래디언트 흐름을 선형화하면 두 가지 상충하는 효과인 구동력($γ$)과 감쇠 효과($σ$)가 드러납니다. 근사적 스펙트럼 디커플링 조건에서 모드별 안정성 비율 $μ_i = γ_i / σ_i$는 독립적인 데이터 측 및 예측기(predictor) 측 항으로 인수분해되며, 불안정한 모드의 수는 나타날 수 있는 표현의 랭크(rank)를 추적합니다. 이 프레임워크는 상전이 경계(phase boundary)를 예측하며, 저자들은 800개 이상의 Tabular-JEPA 구성을 통해 이를 실증적으로 확인합니다. 또한 이 프레임워크는 예측기 스케일링, 마스킹 비율, EMA를 $μ$를 이동시키는 별개의 메커니즘으로 통합합니다. 이러한 분석을 바탕으로, 초기화 시 어텐션이 항등(identity) 방향으로 편향된 트랜스포머 예측기인 ResidualPred를 도입합니다. ResidualPred는 정형 데이터(tabular) 벤치마크뿐만 아니라 CIFAR-10, CIFAR-100, STL-10, ImageNet에서의 I-JEPA 사전학습 모두에서 유효 랭크와 다운스트림 정확도를 향상시킵니다. 본 프레임워크는 경험적인 붕괴 방지 휴리스틱을 명시적인 역학적 관점으로 연결하여 이론 기반의 안정화 기법을 제시합니다. 코드는 https://github.com/jose-melo/drive-vs-decay 에서 확인할 수 있습니다.

arXiv:2609.27679v1cs.LG

정형 파운데이션 모델은 문맥 내에서 무엇을 계산하는가? 어텐션 게이트 업데이트를 통한 현장 표현 정제

What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates

모든 테이블이 새로운 지도학습 태스크를 정의할 때, 정형 파운데이션 모델(tabular foundation model)은 재사용 가능한 어떤 계산을 학습해야 하는가? 본 연구에서는 현장 표현 정제(in-situ representation refinement)를 개발한다. 이는 서포트 레이블(support label)이 에피소드의 표현 업데이트를 유도하고, 이러한 업데이트가 모델 파라미터를 변경하지 않고도 레이블이 없는 쿼리로 전이되도록 한다. 정규화된 LOO(leave-one-out) 목적식은 서포트 보정과 이에 대한 쿼리 확장을 도출한다. 주요 항은 어텐션(attention) 기반의 읽기와 상태 의존적 스케일링을 분리하며, 이는 선택된 저랭크 특징 상호작용 및 유형화된 메모리를 갖춘 어텐션 게이트 기반의 FFN 없는 문맥 스택인 RefineICL의 동기가 된다. RefineICL-L24는 AMLB29에서 0.93836 OVR-AUC와 0.87173 정확도에 도달한다. 벤치마크 기반의 연장 학습 버전은 38개 데이터셋의 TabArena 스냅샷에서 1644.8 Elo를 달성하여 동일한 평가 하에서 TabPFN-3보다 31.4 Elo 높은 수치를 기록한다. 또한 두 가지 TabZilla 뷰 모두에서 TabPFN-v3 대비 보고된 4가지 지표를 모두 향상시킨다. 동일 조건의 10만 회 업데이트 깊이 그리드에서, 확장된 FFN은 일관된 검증(validation) 이점을 제공하지 못하며 L8에서 최대 추론(inference) 메모리를 60.2% 더 많이 사용한다. 내부 개입 실험에 따르면 서포트 표현은 단순한 정적 레이블 소스 이상임을 보여준다. 즉, 쿼리 출력을 보존한 채 중간 서포트 업데이트 하나를 제거하면 테스트된 72개 에피소드 전체에서 최종 쿼리 교차 엔트로피(cross-entropy)가 증가한다. 종합적으로 이러한 유도 과정과 개입 실험은 어텐션 게이트 업데이트가 문맥 내에서 어떻게 태스크 특화 예측기를 구성할 수 있는지를 설명한다.

arXiv:2609.26839v1cs.LG

LWCal: 노이즈 보정 레이블을 갖는 표 형식 분류기를 위한 손실 가중 보정

LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels

사후 확률 보정은 보통 낙관적인 가정 아래 평가된다: 홀드아웃 보정 레이블이 깨끗하다는 것이다. 그러나 많은 AI 배포 환경에서는 레이블이 약한 annotator, 과거 결정, 휴리스틱, 또는 distant supervision에서 오므로, 학습을 손상시키는 것과 같은 레이블 노이즈가 보정도 손상시킨다. 우리는 표 형식 분류기에서 이 간과된 실패 모드를 연구하고, 베이스 모델의 홀드아웃 확률과 모순되는 노이즈 레이블을 가진 보정 예시의 가중치를 낮추는 CPU 전용 사후 보정기 LWCal을 제안한다. LWCal은 깨끗한 검증 레이블, 노이즈 비율 추정, 베이스 분류기의 재학습이 필요 없다. 두 번째 변형인 Gated-LWCal은 보수적인 불일치 게이트를 추가하여 보정 분할이 극도로 불일치해 보일 때 원시 점수 쪽으로 후퇴한다. 아홉 개의 로컬 이진 표 형식 태스크, 여섯 개의 무작위 시드, 대칭 및 비대칭 레이블 손상, 세 가지 트리 기반 베이스 학습기에서 LWCal은 평균 보정 오차가 가장 낮고 Gated-LWCal은 평균 proper score 트레이드오프가 가장 좋다. 432개의 노이즈 셀에 대한 주요 random-forest 연구에서 Gated-LWCal은 원시 분류기 대비 기대 보정 오차(ECE)를 0.188에서 0.122로, 음의 로그 가능도(NLL)를 0.438에서 0.396으로 줄인다. Gated-LWCal 대 원시, Platt, isotonic, beta 보정에 대한 paired bootstrap 구간은 ECE, Brier score, NLL에서 0을 배제한다. 아티팩트에는 모든 스크립트, 결과 표, 그림, 및 컴파일된 논문이 포함되어 있다.

arXiv:2607.09196v3cs.LG

테이블탑 RPG 게임 디자인에서 몬스터 레벨 예측을 위한 머신러닝 적용

Application of machine learning to monster level prediction in tabletop RPG game design

균형 잡힌 적대 캐릭터를 설계하는 것은 테이블탑 롤플레잉 게임(TTRPG) 개발에서 핵심적이면서도 노동 집약적인 작업이다. Pathfinder와 같은 시스템에서 각 몬스터는 그 힘을 요약한 순서형 레벨로 표현되는 수많은 수치 속성으로 기술된다. 본 연구에서는 몬스터의 속성으로부터 이 레벨을 예측하는 태스크를 테이블형 순서형 회귀(tabular ordinal regression)로 정의하여, 머신러닝이 디자이너를 지원할 수 있는지 조사한다. 우리는 공개된 Pathfinder Second Edition 데이터에서 도출한, 본 연구가 아는 한 TTRPG 몬스터 레벨 예측을 위해 특별히 구축된 최초의 데이터셋을 소개한다. 이를 활용하여 반올림 방식을 적용한 고전적 회귀 모델, 전용 테이블형 순서형 회귀 알고리즘, 순서 인식 손실을 사용하는 신경망을 비교한다. 실제 디자인 워크플로를 반영하기 위해, 여러 보완적 지표와 함께 시간 순서 및 확장 윈도우 프로토콜 하에서 모든 모델을 평가한다. 결과적으로 트리 기반 앙상블이 선형 모델 및 신경망 방식보다 우수한 성능을 보이며, 거의 완벽한 순서형 랭킹과 높은 예측 정확도를 달성하였다. 특징 중요도 및 오류 분포와 같은 설명 가능한 AI(Explainable AI) 분석은 모델이 인간의 직관과 일치하며 게임 규칙에 기반한 패턴을 따름을 보여준다. 이러한 결과들은 머신러닝이 디자이너의 판단을 신뢰성 있게 근사하고 몬스터 밸런싱 및 더 넓은 TTRPG 시스템 설계를 위한 효과적인 컴퓨터 지원 도구로 기능할 수 있음을 보여준다.

arXiv:2607.11510v2cs.LG

DAG-FM: 이질적인 인과 메커니즘 하에서의 인과 발견을 위한 파운데이션 모델

DAG-FM: A Foundation Model for Causal Discovery under Heterogeneous Causal Mechanisms

관측형 테이블 데이터로부터의 인과 발견은 근본적으로 어려운 문제로, 주로 내재된 인과 메커니즘의 이질성과 방향성 비순환 그래프(DAG)의 고차원 조합적 탐색 공간 때문이다. 본 논문에서는 인과 발견을 분할상환하는 새로운 파운데이션 모델 아키텍처인 DAG-FM을 제안한다. 직접적인 행렬 예측과 달리, DAG-FM은 두 개의 특화된 트랜스포머 기반 서브모듈인 리프 노드 예측기와 부모 노드 예측기를 사용하여 인과 발견 과정을 두 개의 자기회귀(auto-regressive) 단계로 분해한다. 복잡한 행-열 상호작용을 효과적으로 모델링하기 위해, 특징별 표현을 출력하는 견고한 테이블형 상호작용 블록을 채택한다. 핵심적으로, 실제 시나리오에서 다양하고 알려지지 않은 함수적 인과 모델(FCM, Functional Causal Model) 가정을 처리하기 위해 Mixture-of-Leaf-Experts(MoLE)를 도입하여, 모델이 식별 가능한 메커니즘 계열에 동적으로 라우팅하고 적응할 수 있도록 한다. 반복적 추론 알고리즘을 통해 DAG-FM은 인과 순서를 원활하게 추출하고 유효한 방향성 비순환 그래프를 구성한다. 광범위한 실험을 통해 DAG-FM이 합성 벤치마크와 복잡한 실제 데이터셋 모두에서 최첨단 성능을 달성하며, 정확도와 확장성 모두에서 전통적인 고전 알고리즘과 최근의 파운데이션 모델을 크게 능가함을 입증한다.

arXiv:2604.23904v3stat.ME

인과 추론을 위한 생성적 합성 데이터: 함정, 해결책, 그리고 기회

Generative Synthetic Data for Causal Inference: Pitfalls, Remedies, and Opportunities

표 형식 합성 데이터는 종종 분포 유사성, 프라이버시 거리, 또는 합성 데이터로 학습하고 실제 데이터로 테스트하는(train-on-synthetic-test-on-real) 예측 성능으로 평가되지만, 이러한 기준은 인과 추론에 대한 타당성을 보장하지 않는다. 우리는 생성적 적대 신경망(GAN) 및 대규모 언어 모델(LLM) 기반 모델을 포함한 완전 생성적 표 형식 합성기가 예측 유용성은 유지하면서도 평균 처치 효과(ATE) 추정을 왜곡할 수 있음을 보인다. 이 실패는 구조적인 것이다: ATE 보존에는 현실적인 공변량 분포와 정확한 처치 효과 대비가 모두 필요한 반면, 예측 손실은 처치 효과 오류에 대해 중첩(overlap) 가중 항을 통해서만 패널티를 부과한다. 따라서 불균형이나 제한된 중첩 하에서 생성기는 개입과 관련된 대비를 과소학습하면서 지배적인 관측 결과를 재현할 수 있다. 우리는 민감도 및 손실 분해 결과를 통해 이러한 불일치를 형식화한다. 이 인과 분석과 직관에 기초하여, 우리는 공변량을 생성하면서 처치 및 결과 메커니즘을 별도로 모델링하는 인과 추론을 위한 하이브리드 합성 데이터 프레임워크를 제안한다. 우리는 세 가지 설정에서 이 프레임워크를 평가한다: 완전 생성적 합성 대 하이브리드 합성 하에서의 ATE 보존, 실용적 양성(positivity) 문제에 대한 증강(augmentation), 그리고 실제 데이터 분석 전 OR, IPW, AIPW, TMLE을 비교하기 위한 진단 시뮬레이션 엔진. 또한 중첩, 공변량 차원, 시드 샘플 크기, 처치 효과 복잡성을 변화시키는 설정—로지스틱 결과 모델 오지정(misspecification) 검증을 포함하여—전반에 걸쳐 하이브리드 구성을 스트레스 테스트한다. 통제된 시뮬레이션 실험 전반에 걸쳐, 하이브리드 합성은 완전 생성적 기준선 대비 인과 충실도를 개선한다; ACTG 적용은 예측 충실도가 개선되었고 유한 표본 추정량 벤치마킹의 잠재력을 보여준다. 인과 충실도를 평가할 수 있는 설정에서 LLM 기반 하이브리드 합성은 종종 CTGAN보다 더 충실하다.

arXiv:2604.09091v2cs.LG

완전 연결 신경망으로 고차원 가우시안 노이즈로부터 실세계 분포 합성

Synthesizing real-world distributions from high-dimensional Gaussian Noise with Fully Connected Neural Network

머신러닝 응용 및 연구에서 합성 데이터의 사용은 데이터 증강을 통한 성능 향상과 원본 샘플의 프라이버시 보호 등 많은 이점을 제공한다. 본 연구는 고차원 무작위 가우시안 분포를 변환하여 목표 실세계 데이터셋을 근사하는 완전 연결 신경망 기반의 효율적인 합성 데이터 생성 방법을 제안한다. 제안된 방법은 표 형식 데이터를 위해 설계된 데이터 전처리와 분포 모델링, PCA 차원 축소를 결합하여 데이터 프라이버시를 더욱 향상시킨다. 또한 본 연구는 Wasserstein 거리와 특징 공분산을 결합한 두 가지 전용 무작위화 손실 함수, 그리고 무작위화 쌍별 오류 감소 손실 함수를 정의한다. 25개의 다양한 표 형식 실세계 데이터셋에서 수행된 실험은 제안 방법이 최신 생성 방법 대비 유사성 및 프라이버시 점수를 달성하고, 현대 심층 학습 솔루션보다 수 orders of magnitude 빠르게 기준 MMD 점수를 달성함을 확인한다. 실험에서는 분포 유사성, 프라이버시 보호, 분류 작업에서의 합성 데이터 유용성을 분석하였다.

arXiv:2607.13413v1cs.LG

통계적 이점이 비용을 정당화하는가? 구조화 데이터 분류에서 KAN과 MLP의 실증 비교

Is the Statistical Advantage Worth the Cost? An Empirical Comparison of KANs and MLPs for Structured Data Classification

본 연구는 구조화된 표 형식 데이터 분류 작업에서 Kolmogorov-Arnold Networks(KAN)와 Multi-Layer Perceptrons(MLP) 간의 실증적 벤치마크 비교를 제시한다. 함수 근사 아키텍처의 대안으로 KAN에 대한 관심이 커지고 있다는 점에 영감을 받아, 이진, 다중 클래스, 다중 레이블, 순서형 문제에 걸친 12개의 공개 데이터셋에서 즉시(out-of-the-box) 성능을 평가했다. 두 모델 모두 표준화된 전처리, 아키텍처, 고정 하이퍼파라미터 설정 하에서 학습했으며, 성능은 테스트 정확도와 F1-Score, 대응 가설 검정, 효과 크기 분석으로 평가했다. 결과는 KAN이 이진 및 다중 클래스 영역에서 통계적으로 MLP보다 우수한 성능을 보이며, 모든 데이터셋에서 유의미한 전체적 우위를 달성함을 보여준다. 그러나 관찰된 중간 효과 크기(d = -0.46)는 중요한 비용-편익 고려를 제기한다. KAN은 적응형 스플라인 기반 매핑을 통해 우수한 일반화를 제공하지만, 이 우위는 MLP 기준선 대비 매개변수 및 계산 복잡도가 상당히 더 높다는 대가를 수반한다. 이러한 결과는 KAN이 높은 정밀도가 요구되는 응용에 선호되는 선택이며, MLP는 자원이 제한된 환경에서 견고하고 효율적인 옵션으로 남아 있음을 시사한다. 향후 연구는 이러한 아키텍처 선택 기준을 더욱 정교화하기 위해 추가 데이터 모달리티로 이 분석을 확장해야 한다.

arXiv:2605.31272v2cs.LG

표형 데이터를 위한 문맥 내 학습의 알고리즘적 구제

Algorithmic Recourse of In-Context Learning for Tabular Data

예측 모델이 신용 승인과 같은 고위험 환경에 점점 더 배포됨에 따라, 영향을 받은 개인에게 구제(recourse)를 제공하는 사후(post-hoc) 방법에 대한 수요가 증가하고 있다. 이러한 모델 중 다수는 특징이 실세계 속성에 대응하는 표형(tabular) 데이터에서 동작한다. 최근 문맥 내 학습(ICL)은 추론 시점에 레이블이 있는 예시에 조건화함으로써, 명시적 학습 없이 대규모 언어 모델(LLM)이 표형 예측을 수행할 수 있게 했다. 그러나 ICL 하에서의 표형 의사결정을 위한 알고리즘적 구제는 아직 대부분 탐구되지 않았다. 본 연구에서는 ICL 하에서 표형 데이터에 대한 알고리즘적 구제에 대한 최초의 연구를 제시한다. 우리는 이론적 분석을 수행하여 구제가 잘 정의되고 유계(bounded)임을 보이며, 컨텍스트 크기가 증가함에 따라 구제가 고전적(classical) 해법으로 수렴하는 방식을 특성화한다. 실제로 우리는 블랙박스 ICL 모델에 대해 실행 가능하고 희소(sparse)한 구제를 효율적으로 생성하는 새로운 0차(zeroth-order) 구제 프레임워크인 문맥 내 학습을 위한 적응형 부분공간 구제(Adaptive Subspace Recourse for In-Context Learning, ASR-ICL)를 제안한다. 제안된 프레임워크는 다중 클래스 표형 작업으로 자연스럽게 확장된다. 다수의 실세계 데이터셋과 모델에 걸친 실험은 ASR-ICL이 더 적은 쿼리로 기존 방법과 비슷한 구제 품질을 달성함을 보여주며, 예측된 수렴 거동을 실증적으로 확인하여 우리의 이론적 분석을 뒷받침한다.

arXiv:2605.18147v2cs.LG

신용 리스크 예측을 위한 파운데이션 모델: 게임 체인저인가?

Foundation Models for Credit Risk Prediction: A Game Changer?

예측 모델은 신용 리스크 관리에서 핵심적인 역할을 하며, 부도 확률과 손실의 정확한 추정을 통해 중요한 의사결정을 안내한다. 많은 연구가 새로운 모델링 기법을 도입해 왔으며, 최신 기술(state-of-the-art)을 정리한 대규모 벤치마크 연구가 이를 보완해 왔다. 오늘날 SHAP 설명기(explainer)와 결합된 그래디언트 부스팅(gradient-boosting) 모델과 같은 준표준이 등장했지만, 리스크 모델의 지속적인 개선은 여전히 최우선 과제로 남아 있다. 한편, 특히 대규모 언어 모델(LLM)을 비롯한 AI의 급속한 발전은 예측 모델링 패러다임을 뒤흔들고 있다. 다양한 도메인의 광범위한 데이터셋으로 사전학습(pre-training)된 파운데이션 모델은 사전 지식(prior knowledge)을 활용하여 뛰어난 성능을 보여 왔다. 자연어 처리(NLP)와 컴퓨터 비전(CV)에서는 널리 쓰이지만, 표 형태(tabular) 데이터용 파운데이션 모델은 최근에야 등장했다. 우리는 도메인 외(out-of-domain) 데이터에 대한 사전학습이 중소기업(SME) 대출이나 특화된 기업 포트폴리오와 같은 소규모 데이터 환경에서 특히 유용하며, 저부도(low default) 포트폴리오와 클래스 불균형(class imbalance)을 포함한 오랜 과제 해결에 도움이 될 수 있다고 추정한다. 본 논문은 최근 제안된 표 형태 파운데이션 모델을 확립된 기법과 고급 머신러닝 기법을 포함한 광범위한 경쟁 모델과 비교 벤치마크하며, 두 핵심 과제인 PD(부도 확률) 및 LGD(부도 시 손실) 모델링을 대상으로 한다. 평가는 다양한 데이터셋, 성능 지표, 실험 조건을 포괄한다. 표 형태 파운데이션 모델이 일반적으로 데이터셋과 과제 전반에서 최고의 성능을 보인다. 더욱이 데이터셋 크기가 줄어들수록 예측 성능이 크게 향상된다. 이러한 결과는 모델이 하이퍼파라미터 튜닝 없이 즉시(out-of-the-box) 테스트되었음에도 주목할 만하며, 이는 사용 편의성을 보장하고 계산 비용을 완화한다.

arXiv:2607.12916v1cs.LG

유연하고 기하학적으로 최적인 임베딩과 더 빠른 수렴을 위한 대조적 붕괴 손실

Contrastive-Collapsed Loss for Flexible and Geometrically Optimal Embeddings and Faster Convergence

본 연구에서는 정규화되고 잘 구조화된 표현을 학습하기 위한 손실 함수인 CoCo를 제안한다. 제안된 손실은 클래스 내 붕괴와 클래스 간 대조를 촉진하면서, 신경망이 클래스 간 큰 각도 분리를 갖는 기하학적으로 최적인 임베딩을 근사할 수 있도록 충분한 유연성을 유지한다. 우리는 내적 회귀(dot regression) 및 교차 엔트로피와 같은 관련 목적 함수에 비추어 CoCo를 위치시키는 이론적 분석을 제공하며, 새로 제안된 손실이 최적 구성에 더 가까운 초기화, 더 정보가 풍부한 기울기, 그리고 클래스별 표현 붕괴를 위한 더 강한 유인을 제공함을 보인다. OpenML-CC18 벤치마크의 다양한 표 형식(tabular) 데이터셋에 대한 광범위한 실험 결과, CoCo는 커널 SVM, Random Forest, 내적 회귀, 교차 엔트로피 기반 신경망을 포함한 최신 방법들과 경쟁력 있는 성능을 달성한다. 또한 이론적 논거와 실증 분석 모두 제안 방법이 더 촘촘한 클래스 클러스터링과 더 빠른 수렴을 촉진함을 보여준다. 이러한 결과는 경쟁력 있는 예측 성능을 유지하면서 판별적 표현을 학습하기 위한 효과적인 목적 함수로서 CoCo 손실의 가치를 강조한다.

arXiv:2607.09710v1cs.LG

다양체 제약 테이블형 심층 신경망

Manifold Constrained Tabular Deep Neural Networks

테이블형 분류(tabular classification)는 매끄러운 전역 패턴보다 국소적이고 조건 기반의 규칙에 의해 지배되는 경우가 많다. 그러나 테이블형 심층 신경망(DNN)은 일반적으로 매끄러운 변화와 의미적 지역성을 선호하는 유클리드 표현을 기반으로 구축된다. 이러한 잠재적인 기하학적 불일치로 인해 테이블형 DNN이 테이블형 분류의 기저에 있는 이산적·규칙 분할 구조를 효율적으로 표현하기 어려울 수 있다. 이 문제를 해결하기 위해, 우리는 쌍곡 공간(hyperbolic space)에서 계층적 의사결정 모델링을 가능하게 하는 다양체 제약 DNN인 HDE-Net을 제안한다. 먼저 이질적인 특징(feature)들을 통합된 잠재 의사결정 노드(Latent Decision Nodes, LDN)로 추상화하고 이를 푸앵카레 볼(Poincaré ball)에 임베딩하여 트리 구조 추론과 유사한 연속적 표현을 형성한다. 수치형 특징에 대해서는 범위 기반 국소 규칙을 미분 가능한 방식으로 근사하는 소프트 결정 라우팅(Soft Decision Routing) 메커니즘을 도입하여, 해당 LDN의 의미론을 범주형 특징의 것과 더 가깝게 만든다. 엔트로피 인식 용량 할당 알고리즘은 표현력과 복잡도의 균형을 맞추기 위해 수치형 특징별 LDN 수를 추가적으로 조정한다. TALENT-tiny-core 분류(classification) 벤치마크(30개 데이터셋)에서 HDE-Net은 \textit{최고 평균 순위}를 달성하며, 산업용 GBDT와 최신 테이블형 DNN 모두를 높은 효율성을 유지하면서 능가한다.

arXiv:2607.10896v1cs.AI

지오폴리머 혼합 설계의 서로게이트 기반 역설계를 위한 증분 트랜스포머

Incremental Transformer for Surrogate-Based Inverse Design of Geopolymer Mixtures

관측값이 이질적이고 혼합형이며 설계 변수 간 물리적 관계에 의해 제약될 때, 엔지니어링 인포매틱스에서의 소규모 데이터 역설계는 어려운 과제이다. 본 연구는 물리 제약 역설계를 위한 증분 트랜스포머(INCRT) 기반의 토폴로지 인식 서로게이트 프레임워크를 제안하며, 이를 지오폴리머 혼합 설계에 적용한다. 이 방법은 내재적 차원성 분석, 혼합 변수 설계 공간 표현, 테이블형 서로게이트 예측, INCRT 기반 매니폴드 합리화, 및 제약 역최적화를 통합한다. 압축 강도와 탄소 배출량을 목표로 하는 플라이애시 및 슬래그 기반 지오폴리머 콘크리트 혼합물의 공개 벤치마크를 사용하여, 고차원 설계 공간이 강한 중복성을 지니며 더 적은 수의 유효 혼합 체제를 중심으로 구성됨을 보인다. 압축 강도는 비선형 테이블형 서로게이트를 필요로 하는 반면, 탄소 배출량은 주로 조성에 의해 결정되며 정규화된 선형 모델로 잘 복원된다. 따라서 INCRT는 테이블형 예측기를 대체하는 것이 아니라, 역설계를 위한 프로토타입 체제와 매니폴드 지지 점수를 제공하는 합리화 층(layer)으로서 작동한다. 세 가지 전략이 비교된다: 비제약 서로게이트 최적화, 물리 제약 최적화, 및 토폴로지 인식 물리 제약 최적화. 비제약 최적화는 목표 강도를 달성할 수 있지만 물리적으로 유효하지 않거나 매니폴드를 벗어난 후보를 생성할 수 있으며, 물리 제약만으로는 데이터 지지를 항상 보장하지 않는다. 토폴로지 인식 전략은 목표 준수, 탄소 감소, 물리적 허용성, 및 학습된 실현 가능 매니폴드와의 근접성을 균형 있게 만족하는 후보를 도출한다. 이 프레임워크는 실험적 검증(validation)을 대체하는 것이 아니라, 소규모의 혼합형 물리 제약 엔지니어링 데이터셋에서 신뢰할 수 있는 후보 혼합물의 스크리닝을 지원하는 것을 목표로 한다.

arXiv:2607.09000v1cs.CR

RaMark: 생성된 테이블 형식 데이터를 위한 방사성 워터마킹

RaMark: Radioactive Watermarking for Generated Tabular Data

생성 모델링의 최근 발전으로 생성된 테이블 형식 데이터는 프라이버시에 민감한 데이터 공유를 위한 실용적인 솔루션이 되었으며, 워터마킹은 소유권 검증을 가능하게 한다. 그러나 기존 워터마킹 방법들은 재학습 공격에 근본적으로 취약하다. 재학습 공격에서 공격자는 워터마킹된 데이터셋으로 생성 모델을 재학습하여 워터마크가 포함되지 않은 고품질 데이터를 재생성한다. 우리는 생성 모델 재학습 이후에도 워터마크가 탐지 가능하게 유지되는 특성인 방사성(radioactivity)을 도입하여 이 문제를 해결하고, 데이터 분포의 내재적 구성 요소로 사인파 의존성을 삽입하는 방사성 워터마킹 방법인 RaMark를 제안한다. 워터마크를 기저 분포와 결합함으로써, RaMark는 데이터 유용성을 보존하는 모든 생성 모델이 워터마크 또한 보존해야 하도록 보장한다. 우리는 높은 확률로 워터마크 제거가 유용성을 저하시키고 데이터 분포를 변화시킴을 이론적으로 증명한다. 두 실제 테이블 형식 데이터셋에 대한 광범위한 실험에서, $10^5$개의 독립적인 데이터 소유자를 포함하는 대규모 소유권 검증 설정 하에, RaMark가 7가지 최신 방법들보다 실질적으로 강력한 방사성을 달성하며 재학습 공격과 데이터 수정 공격 모두에서 지속적으로 이들을 능가함을 보인다.

arXiv:2607.07756v1cs.LG

인코더 선택의 중요성: 테이블형-이미지 연구

The Importance of Encoder Choice:A Tabular-Image Study

멀티모달 학습은 일반적으로 각 모달리티별 전용 인코더를 필요로 한다. 테이블형 모달리티가 포함될 경우, 기존 연구들은 대부분 \emph{일반 MLP}를 인코더로 사용해 왔다. 그러나 MLP가 강력한 인코더였다면 테이블형 도메인은 "심층 학습의 마지막 미정복 성채"로 불리지 않았을 것이다. 본 연구는 이미지-테이블형 설정에서 최신 테이블형 모델들을 인코더로 처음으로 평가한다. 이 과정에서 한 가지 장애물이 부각된다. 테이블형 도메인에서 최고 성능 방법 중 하나인 문맥 내 학습(In-Context Learning) 모델은 인스턴스를 처리하기 위해 레이블을 필요로 하므로, 학습 인스턴스와 테스트 인스턴스를 동일한 방식으로 임베딩하는 것이 자명하지 않다. 우리는 이 계열의 여러 모델에 걸쳐 이 문제를 해결하였다. 본 연구를 통해 멀티모달 학습에서 인코더 요인의 중요성을 강조하고자 한다.

arXiv:2603.10254v3cs.LG

인과 구조 통합을 통한 TabPFN의 합성 데이터 생성 개선

Improving TabPFN's Synthetic Data Generation by Integrating Causal Structure

TabPFN의 자기회귀적 합성 데이터 생성 시 특징 순서가 인과 구조와 충돌하면 허위 상관관계가 발생하는 문제를 지적하고, DAG 인식 조건화(DAG-aware conditioning)와 PDAG 기반 전략을 통해 파라미터 업데이트 없이 추론 시점에 인과 구조를 주입하는 방법을 제안한다. CSuite 벤치마크 등 다양한 실험에서 DAG 인식 조건화가 합성 데이터 품질과 평균 처치 효과(ATE) 보존을 개선함을 보였다.