PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28208v1cs.LG

Support-Compiled Feature Folding: 표 형식 파운데이션 모델 전반에서 더 적은 메모리로 더 많은 근거 확보

Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models

표 형식(tabular) 파운데이션 모델은 특징(feature) 측면의 스케일링 딜레마에 직면해 있다. 전체 너비의 쌍별(pairwise) 혼합은 열(column) 수에 대해 2차적으로 증가하는 반면, 특징 선택은 근거를 버림으로써 메모리를 절약한다. 본 논문에서는 고정된(frozen) 백본을 변경하지 않고 이 딜레마를 해결하는, 학습이 필요 없는 추론(inference) 프레임워크인 Support-Compiled Feature Folding(SCFF)을 제안한다. SCFF는 서포트(support) 기준으로 순위를 매긴 특징을 네이티브 특징 인코더의 유한한(bounded) 리프(leaf)들로 라우팅하고, 잔여 근거를 서포트 기준으로 점검(support-check)한 뒤, 인코딩된 메시지들을 병합하여 단 한 번의 컨텍스트 기반 예측을 수행한다. 이를 통해 예측을 앙상블하거나 새로운 파라미터를 학습하지 않고도, 2차적인 특징 상호작용 연산을 유한한 국소 작업 집합(working set)을 갖는 너비에 대한 선형 연산으로 변환한다. 고정된 AMLB-29, TabZilla, TabArena 스냅샷의 전수 18개 데이터셋 와이드 테이블(wide-table) 슬라이스에서, SCFF는 평가한 6개 백본 모두에서 데이터셋 매크로 정확도와 NLL을 향상시킨다. 네 가지 동일 너비(matched-width) 비교 모두에서 고정된 폴드(locked folds)에 대한 95% 데이터셋 부트스트랩 구간이 유리하게 유지되며, 상대 오류 감소율은 최대 26.1%에 달한다. 쌍을 이룬 GPU 메모리 절감량의 중앙값은 2.09배에서 2.36배이며, 별도로 관측된 최대 피크 메모리의 비율은 34.3배에 이른다. 측정된 피크 메모리 상한이 주어진 조건에서 SCFF는 절약한 예산을 활용해 서포트 기준으로 선택된 더 많은 근거를 보존하며, TabICLv2와 TabPFN-3의 사전에 정의된(predeclared) 와이드 Core 층(strata)에서 실현 가능한 가장 넓은 단일 리프 대비 정확도를 각각 4.06포인트, 3.72포인트 향상시킨다.