표 형식 기반 모델(TFM)의 전이학습에서 컨텍스트 크기 제약과 분포 이동으로 인한 부정적 전이(negative transfer) 문제를 해결하기 위해, 예산 제약 최적 수송(optimal transport) 기반 앵커 선택과 로컬 지식 증류(distillation)를 결합한 TL-ANDI 프레임워크를 제안한다. TL-ANDI는 소스 데이터에서 타겟 공변량 커버리지와 사후분포 호환성을 동시에 고려해 대표 샘플을 선별하고 잔차 보정을 적용함으로써, 회귀 및 분류 태스크 모두에서 부정적 전이 없는 안전한 전이학습을 이론적·실증적으로 보장한다.
Acquiring comprehensive cross-domain biomedical profiles is often costly and time-consuming, resulting in severe data scarcity in medical research. To address this challenge, we propose MedKGTab, a knowledge-injected framework specifically engineered for cross-domain feature expansion in tabular medical data. MedKGTab seeks to infer uncollected biomedical features from available ones by exploiting their inherent statistical dependencies and established medical correlations. By employing a row-column dual-attention mechanism, MedKGTab operates directly on raw structured tabular data, inherently capturing exact numerical distributions without the structural loss caused by tokenization. Crucially, MedKGTab integrates data-driven statistical priors with the SPOKE biomedical knowledge graph, achieving an optimal synergy between the data and knowledge channels. Within this synergy, the representations derived from the data channel are modulated by the injected biomedical knowledge, ensuring the final generated data are grounded in empirical medical research. Experimental results demonstrate that MedKGTab achieves high data fidelity and realistic data representation in cross-domain feature expansion. It outperforms both SOTA medical large models (e.g., Baichuan M3-plus) and specialized tabular models designed for medical data generation. Furthermore, MedKGTab consistently delivers superior performance across various data generation scenarios, whether inferring missing features within the same dataset or generalizing across different medical cohorts.
Counterfactual explanations (CE) explain model decisions by identifying input modifications that lead to different predictions. Most existing methods operate at the instance level. Distributional Counterfactual Explanations (DCE) extend this setting by optimizing an optimal transport objective that balances proximity to a factual input distribution and alignment to a target output distribution, with statistical certification via chance constrained bounds. However, DCE relies on gradient based optimization, while many real-world tabular pipelines are dominated by non-differentiable models. We propose DISCOVER, a model-agnostic solver for distributional counterfactual explanations. DISCOVER preserves the original DCE objective and certification while replacing gradient descent with a budgeted propose-and-select search paradigm. It exploits a sample-wise decomposition of the transport objective to compute per-row impact scores and enforce a top-k intervention budget, focusing edits on the most influential samples. To guide candidate generation without predictor gradients, DISCOVER introduces an OT-guided cone sampling primitive driven by input-side transport geometry. Experiments on multiple tabular datasets demonstrate strong joint alignment of input and output distributions, extending distributional counterfactual reasoning to modern black box learning pipelines. A code repository is available at: https://github.com/VALHALLA9/Discover.
공개 표 형식(tabular) 벤치마크와 실제 기업 데이터 간의 통계적 특성 차이를 분석한 연구로, EGI-Bench(557개 기업 과제)와 OS-Tabular 등 276개 공개 벤치마크를 비교한 결과 기업 데이터는 문자열 피처 비중이 높고, 피처 반복성이 강하며, 클래스 불균형과 공변량 드리프트가 심한 것으로 나타났다. TabPFN, TabICL 등 공개 벤치마크에서 우수한 성능을 보이는 최신 모델들이 기업 데이터에서는 비튜닝 Random Forest에도 뒤처지는 반면, 문자열을 기본 지원하는 ConTextTab은 기업 데이터에서 강세를 보여, 기업급 특성을 반영한 새로운 벤치마크 구축이 필요함을 강조한다.
FlexTab은 표 형식 데이터의 문맥 내 학습(ICL)을 위해 단일 태스크 무관 인코더와 태스크별 디코더를 결합한 유연한 인코더-디코더 아키텍처로, 기존 모델의 타겟 의존적 표현 문제를 해결하여 target-agnostic 행 임베딩을 생성한다. 분류, 회귀, 이상 탐지, 클러스터링, 엔티티 매칭 등 여섯 가지 태스크에서 최첨단 또는 경쟁력 있는 성능을 달성하며, 단일 공유 인코더가 다양한 표 형식 예측 문제의 범용 백본으로 기능할 수 있음을 입증한다.
지식 그래프(knowledge graph)에서 도출한 구조적 어텐션 사전(attention prior)과 파라미터 효율적 저랭크 업데이트를 결합해 소규모 TabPFN·TabICL 스타일 테이블형 파운데이션 모델을 파인튜닝하는 KnowsTFM을 제안한다. 특수 도메인(생의학 등) 환경에서는 도메인 구조 지식 주입이 유의미한 성능 향상을 가져오지만, 일반 도메인에서는 효과가 미미하며 지속적 파인튜닝 시 사전학습 지식 붕괴(collapse) 위험이 존재함을 실증적으로 보인다.
표 형식 기반 모델(tabular foundation models)의 데이터 생성 사전 분포(data-generating prior)를 아키텍처 및 학습 프로토콜과 독립적으로 비교하기 위해, 저자들은 TabPFNv1, TabICL, TICL, TabForestPFN 및 실제 데이터 기반 사전 분포를 통합 인터페이스로 구현하고 동일한 nanoTabPFN 아키텍처와 고정된 학습 프로토콜 하에 평가하는 통합 파이프라인을 제안한다. 실험 결과, 사전 분포마다 다운스트림 동작 프로파일이 상이하며, 데이터 수준의 통계적 유사성만으로는 다운스트림 예측 성능을 완전히 설명하기 어렵다는 점이 확인되었다.
비지도 표 형식 이상 탐지(unsupervised tabular anomaly detection)는 정확하고 이질적인 데이터셋에 걸쳐 강건하며 계산 효율적인 방법을 필요로 한다. 고전적 통계 탐지기는 대체로 효율적이지만, 고정된 데이터 뷰와 단일한 이상 개념에 의존하는 경우가 많다. 딥러닝 기반 이상 탐지기는 더 유연한 스코어링 함수를 학습할 수 있으나, 속도가 현저히 느리고 신뢰할 수 있는 지도 신호가 없는 비지도 환경에서는 튜닝이 어렵다. 우리는 효율적인 비지도 표 형식 이상 탐지를 위한 무작위화 전역-지역 밀도 추정기인 RGLD를 제안한다. RGLD는 넓은 의미의 저밀도 영역에 있는 샘플을 식별하는 전역 랜덤 특징(random-feature) 밀도 브랜치와, 인근 관측치에 의해 약하게 지지되는 샘플을 탐지하는 지역 이웃 브랜치를 결합한다. 두 브랜치 모두 특징 배깅(feature-bagging)된 무작위화 뷰에서 동작하여, RGLD가 단일 표현에서는 숨겨질 수 있는 이상 증거를 포착할 수 있도록 한다. 우리는 완전 비지도 환경에서 47개 데이터셋에 대해 23개의 통계 및 딥러닝 기반 이상 탐지 베이스라인과 비교 실험을 수행하였다. RGLD는 데이터셋 수준 AUROC 성능에서 가장 우수한 결과를 달성하여 데이터셋 승리 수 기준 1위를 기록하였으며, AUPRC 승리 수 기준으로는 2위를 기록하였다. RGLD는 또한 평가된 모든 딥러닝 탐지기보다 빠르며 50배에서 580배의 속도 향상을 달성하고, 실행 시간 면에서 통계적 방법과도 경쟁력을 유지함으로써 정확도-효율성 간 유리한 트레이드오프를 제공한다.
실세계 회귀 태스크에서 데이터 기반 모델링은 제한된 학습 샘플, 높은 수집 비용, 노이즈가 섞인 관측값으로 인해 어려움을 겪는 경우가 많다. 비전 및 언어 분야에서 데이터 증강이 가져온 영향에서 영감을 받아, 우리는 테이블형 회귀를 위한 새로운 반사실적 잔차 데이터 증강(Counterfactual Residual Data Augmentation, CRDA) 기법을 제안한다. 핵심 아이디어는, 회귀 모델이 데이터의 체계적인 성분을 모델링하고 나면 남은 노이즈가 신중하게 선택된 특징의 소규모 변동 하에서도 안정적으로 유지되는 불변 잔차로 볼 수 있다는 것이다. 우리는 이 잔차 불변성을 활용하여 추가적인 실제 데이터 없이도 데이터셋을 효과적으로 확장하는, 새롭지만 현실적인 학습 샘플을 생성한다. 제안 방법은 모델 비의존적(model-agnostic)이며 다양한 유형의 회귀 모델에 손쉽게 적용 가능하다. 다양한 벤치마크 저장소의 데이터셋을 대상으로 한 실험에서 CRDA는 평균적으로 MLP Regressor의 MSE를 22.9%, XGBoost Regressor의 MSE를 6.4% 감소시켰다. 기존 최신 데이터 생성기 및 데이터 증강 기법과 비교했을 때, CRDA는 MSE 감소 측면에서 일관되게 우수한 성능을 보였다. 학습 데이터에 원칙에 입각한 반사실적 변동을 추가함으로써, 제안 방법은 노이즈가 많고 샘플 수가 적은 회귀 환경에 대한 간단하고 효율적인 해결책을 제공한다.
When Is an LLM Worth It for Hyperparameter Optimization? A Budget-Matched Study on Tabular Data Finds the Warm-Start Is a Default Configuration, Not the Model
대규모 언어 모델(LLM)은 사전 지식으로 탐색을 "웜 스타트(warm-start)"하는 하이퍼파라미터 최적화(HPO) 조언자로 제안되어 왔으며, 매우 적은 수의 평가에서도 강력한 구성을 제안한다. 우리는 8개의 PMLB 표(tabular) 벤치마크에서 예산 일치(budget-matched), 다중 시드(multi-seed) 프로토콜 아래 그 주장을 검증하며, 공유된 하나의 탐색 공간에서 LLM 조언자(LLM-OptFlow)를 네 가지 고전적 기준선(무작위 탐색, Optuna-TPE, 가우스 과정 베이지안 최적화, successive halving)과 비교한다. 8×5=40개 (태스크, 시드) 단위에 대해 쌍체 검정(paired test)과 부트스트랩 95% 신뢰구간(CI)을 산출한다.
결과는 주의를 환기시킨다. 조언자의 강력한 첫 번째 제안점은 LLM 출력이 아니다: 기존 LLM-HPO 시스템과 마찬가지로 루프는 고정된 기본 설정으로 시딩되어, 어떤 모델 호출 전에 평가되며, 이것만으로도 평균 best-CV 88.7%에 도달한다. 이는 시험한 일곱 조언자 모델 전체에서 0.01 pp 이내로 동일하다. LLM 자체의 제안은 그 시드 대비 교차 검증(cross-validation) 정확도를 +0.40 pp만 높이고, 홀드아웃(held-out) 테스트에서는 아무 이득도 없다(LLM-Default = -0.01 pp, p = 0.92). 동일한 시드를 고전적 탐색에 부여하면 겉보기 우위는 무너진다: 시드가 주어진 무작위 탐색 대비 2회 평가에서 +0.20 pp 앞서지만, 5회에서는 동률이고, 12회에서는 뒤진다(-0.37 pp). 시드 없이는 고전적 탐색이 12회 평가에서 조언자와 동률이 되고, 40회 평가에서 이긴다(+0.6~+0.8 pp, p <= 1e-4). LLM 고유의 두 가지 행동만 남는다: 단일 태스크(vehicle)에서의 탐험(exploration) 실패, 그리고 정확도를 바꾸지 않으면서 낭비된 연산의 ~33%를 제거하는 규칙 기반 신뢰도 필터. 권고는 겸손하다: 표 HPO에서는 합리적인 기본 설정으로 고전적 탐색을 시드하라; LLM 조언자는 측정 가능한 일반화 이득을 더하지 않으며, 소수의 평가 이내에 따라잡힌다. 우리는 하네스와 모든 통계를 재현하는 스크립트를 공개한다.
표(tabular) 파운데이션 모델(TFM)은 표준 분류와 회귀(regression)에서 빠른 진전을 이루었지만, 시간-사건(time-to-event) 생존 예측 과제는 대부분 다루어지지 않은 채 남아 있다. 표준 회귀 과제와 달리, 생존 예측 모델은 검열(censored) 데이터를 고려해야 한다. 표준 TFM은 검열 데이터를 네이티브하게 처리할 수 없어 편향되고 부정확한 예측을 초래하며, 이로 인해 실제 응용에 부적합하다. 이 근본적 한계를 극복하기 위해, 우리는 생존 예측 과제를 위한 사전-데이터 적합 네트워크(PFN), \texttt{SurvPFN}을 제안한다. 우리는 검열 데이터를 고려하는 분포 회귀(distributional regression)를 통해 생존을 학습하도록 수백만 개의 합성 생존 예측 과제에서 \texttt{SurvPFN}을 사전학습(pre-training)한다. \texttt{SurvPFN}은 (1) Weibull 사건 시간과 비정보적(non-informative) 검열 메커니즘으로 데이터를 생성하고, (2) 검열된 사건 지표를 통합하며, (3) 검열 음의 로그-가능도(censored negative log-likelihood)를 최소화하는 방식으로 동작한다. 실제 생존 과제 모음인 SurvSet에서 \texttt{SurvPFN}은 데이터셋별 적합, 생존 특화 아키텍처, 또는 특징 공학(feature engineering) 없이도 고전적 및 딥러닝 생존 베이스라인과 매우 경쟁력 있는 성능을 보인다. 우리는 생존을 검열 손실을 갖는 연속 시간 분포 회귀 문제로 취급할 수 있음을 보여주며, 이를 통해 시간-사건 예측에서 PFN의 힘을 활용할 수 있음을 입증한다.
여러 출처의 충돌하는 값에서 올바른 값을 결정하는 데이터 융합(data fusion) 문제에 대규모 언어 모델(LLM)을 활용하는 방법을 탐구하며, 단일 진실·다중 진실 시나리오 모두에서 도메인 의존·독립, 제로샷·원샷 프롬프팅 전략을 세 가지 벤치마크 데이터셋으로 평가한 결과 LLM 기반 접근법이 DART, LTM 등 기존 비지도 진실 발견 방법을 전 데이터셋에서 능가하는 성능을 보였다.
Tabular foundation models are commonly assumed to present limited privacy concerns as they are often pre-trained on large collections of synthetic data. However, these models leverage in-context learning, where sensitive records may be provided directly at inference time as labelled context examples. In this paper, we demonstrate that predictions generated via the attention mechanism leak sufficient information to enable effective Membership Inference Attacks (MIAs). To highlight this vulnerability, we propose AMIA (Attention-based Membership Inference Attack), a shadow-model-free attack that exploits the concentration of transformer attention patterns. Our results show that attention mechanisms reveal strong membership signals, which exceed classical confidence-based attacks, achieving an average gain of 7.7\%, specially in low false-positive regimes. To mitigate this risk, we introduce an inference-time defence inspired by $k$-anonymity principles. This approach reduces the uniqueness of context-key representations without introducing random noise or retraining the model. By targeting only high-risk queries identified through AMIA scores, the defence substantially reduces membership leakage of this attack by an average of 50\% and 25\% against confidence-based attacks, while preserving predictive utility with only 3.9\% performance degradation. Beyond showing that context examples are vulnerable, we further demonstrate that fine-tuning introduces an additional source of privacy risk. In particular, samples whose prediction confidence increases after fine-tuning become more susceptible to MIAs, indicating that fine-tuning can amplify memorisation and expose sensitive training information through confidence shifts.
정확하고 정보가 풍부한 컬럼 설명(예: 컬럼명 "cust_mem"에 대한 "고객의 멤버십 상태") 생성은 NL2SQL, 테이블 질의응답(table question answering), 엔티티 연결(entity linking) 등 표 형식 데이터에 대한 다양한 하위 자연어 처리(NLP) 작업에 필수적이다. 이 문제는 기업, 도메인 과학, 정부 데이터 포털 등에서 발생한다. 중요성에도 불구하고, 대부분의 실제 데이터셋은 축약된 컬럼명이나 도메인 특화 전문 용어로 인해 문서화가 누락되거나 알기 어려운 경우가 많다. 기존 접근법은 대부분 단일 프롬프트 대규모 언어 모델(LLM)에 의존하며, (i) 약어 처리의 불일치 또는 오류, (ii) 환각(hallucination) 또는 불완전한 설명, (iii) 하위 작업 성능을 저해하는 중복성 또는 모호함의 세 가지 핵심 문제에 어려움을 겪는다. 우리는 LLM을 활용한 자동 컬럼 설명 생성을 위한 작업 인식(task-aware) 프레임워크 TACO를 제안한다. TACO는 3단계 파이프라인을 도입한다: (1) 컬럼명을 표준화하는 약어 확장(abbreviation expansion), (2) 동의어 및 검색 지향 키워드가 풍부한 초기 의미적 설명을 생성하는 설명 생성(description generation), (3) 시뮬레이션된 하위 작업을 활용해 이러한 출력을 정제하는 설명 수정(description revision). 또한, 사람 개입(human-in-the-loop) 확장을 탐구하고 엔티티 연결 및 스키마 보강(schema enrichment)을 위한 새로운 평가 데이터셋을 공개한다. 공개 및 독점 데이터셋에 대한 광범위한 실험 결과, TACO는 기존 방법을 지속적으로 능가하며 하위 작업 성능을 최대 32% 향상시킨다.
동적 환경에 배포된 머신러닝 시스템은 비정상적(nonstationary) 데이터 분포 하에서 빈번하게 작동하며, 이 경우 제어된 분포 이동이 예측 성능을 점진적으로 저하시킬 수 있다. 그러나 널리 사용되는 많은 표 형식 벤치마크 데이터셋은 명시적인 시간적 구조를 갖추지 못하여 드리프트 적응 방법의 재현 가능한 평가를 제한한다. 본 연구는 클러스터 유도 분포 이동 시뮬레이션 프레임워크를 제안하는데, 이는 특징 공간 파티션 전반에 걸친 구조적 교란을 통해 정적 표 형식 데이터셋을 제어된 진화형 데이터 스트림으로 변환한다. 이 프레임워크를 활용하여 여섯 가지 적응 전략을 체계적으로 평가한다: 정적 학습, 슬라이딩 윈도우 재학습, 전역 ADWIN 재학습, 클러스터 로컬 ADWIN 재학습, 랜덤 서브스페이스 드리프트 탐지, 특징 분할 드리프트 탐지. 실험은 선형 모델, k-최근접 이웃(k-Nearest Neighbours), 트리 앙상블, 부스팅 방법, 적응형 온라인 학습기를 포함한 다양한 예측 모델 계열을 사용하여 분류 및 회귀 과제를 모두 포함하는 다섯 개의 벤치마크 데이터셋에서 수행된다.
관계형 심층 학습(RDL)은 멀티 테이블 데이터베이스를 시점 이종 그래프로 모델링하여 end-to-end 표현 학습을 수행한다. RDL은 빠르게 발전하고 있지만, 기존 접근법은 상당한 일반화 장애에 직면한다. 이들은 스키마 특화 방식으로 새 데이터베이스마다 처음부터 학습해야 하거나, 특징 인코딩과 그래프 메시지 패싱을 얽어놓은 단일(monolithic) 아키텍처에 의존한다. 이러한 한계를 분석하여, 우리는 기반 관계형 모델 구축을 위한 네 가지 핵심 기둥을 정립한다: 의미적 세분성, 구조적 위상, 시간적 인과성, 그리고 통합 최적화. 이 기둥들을 다루기 위해, 우리는 행 인코딩과 그래프 메시지 패싱을 분리하는 모듈식 접근을 제안한다. 우리는 Universal Row Encoder를 도입한다. 이는 트랜스포머 기반 모듈로 원시 셀 데이터와 스키마 메타데이터—열 의미, 테이블 이름, 전역 분포 통계를 포함—를 통합하여 테이블 너비 불변 행 임베딩을 생성한다. 전역 통계를 행 내 셀프 어텐션 메커니즘에 명시적으로 공급함으로써, 인코더는 본질적으로 보지 못한 특징을 문맥화하고 희소 데이터를 처리한다. 어떤 하류 그래프 아키텍처에도 유연한 "backend"로 작동하면서, 우리의 사전학습 인코더는 확립된 RelBench 벤치마크에서 교차 데이터베이스 지식 전이를 향상시키면서 학습 수렴과 메모리 사용량을 개선한다.
수리 소요 시간의 정확한 예측은 자원 배분, 고객 만족, 운영 성능에 미치는 영향으로 인해 제품 유지보수에서 중요한 과제이다. 본 연구는 제품의 과거 데이터를 바탕으로 차량 수리점이 수리 시간을 정확하게 분류할 수 있도록 돕는 심층 학습 프레임워크를 개발하는 것을 목표로 한다. 본 연구는 자동차 수리 및 유지보수 데이터셋을 사용하고, 표 형식 데이터를 위해 설계된 멀티헤드 어텐션 네트워크를 활용하여 종단간 예측 프레임워크를 구축한다. 개발된 프레임워크는 임베딩과 어텐션 메커니즘을 통해 변환된 범주형 정보와 수치적 과거 데이터를 결합하여 다양한 데이터 특징의 통합 및 학습을 용이하게 한다. 대규모 데이터셋의 클래스 불균형 문제를 극복하기 위해 가중 손실 함수를 도입한다. 또한 변화하는 운영 환경에서 예측 정확도를 유지하기 위해 지속적인 점진적 모델 업데이트를 위한 온라인 학습 전략을 사용한다. 실험 결과, 멀티헤드 어텐션 메커니즘은 피드포워드 신경망 및 랜덤 포레스트 모델에 비해 차량 식별자와 수리 유형 간의 의미 있는 상호작용을 추출함을 보여준다. 또한 과거 유지보수 데이터와 온라인 학습 전략을 결합하면 변화하는 패턴에 대한 실시간 조정을 가능하게 하고 새 데이터에 대한 모델의 예측 성능을 향상시킨다. 모델은 2013년부터 2020년까지의 실제 수리 데이터에 대해 검증되며 78%의 정확도를 달성하고, 어텐션 가중치 분석이 특징 상호작용을 보여준다.
농업 및 환경 응용과 관련된 토양 특성은 전통적으로 물리적·화학적 처리를 수반하는 정교한 실험실 방법으로 측정된다. 이러한 전통적 방법은 매우 정확하지만 비용이 많이 들고 시간이 오래 걸린다. 반면, 광학 분광법과 머신러닝을 결합하면 여러 토양 특성을 빠르고 비용 효율적으로 예측할 수 있다. 그러나 분광 모델링은 토양 특성과 개별 시료에 따라 예측 정확도가 달라지므로 종종 신뢰할 수 없는 것으로 여겨진다. 비용과 신뢰성 사이의 이러한 절충을 맞추기 위해, 본 연구는 확률적 모델링과 불확실성 기반 거부(uncertainty-guided rejection)를 결합한 AI 기반 측정 프레임워크인 reject-to-remeasure를 제안한다. 이 프레임워크에서 토양 시료는 먼저 분광법으로 분석한 뒤, 예측 불확실성이 사전에 정의된 품질 제약을 초과하면 해당 예측을 거부한다. 거부된 시료는 이후 전통적인 실험실 절차로 재측정된다. Québec 지역의 가시광-근적외선(visible-near-infrared) 분광 토양 라이브러리에서, 최신 파운데이션 모델(foundation model)(TabPFNv2.5 및 TabICLv2)을 사용한 reject-to-remeasure가 사용자 정의 정확도 요구사항을 충족하고 측정 비용을 줄이면서 광학 분광법을 일상적인 실험실 워크플로에 통합하는 것을 가능하게 함을 보여준다.
의료 표준 데이터는 임상 연구에서 널리 존재하지만, 구조화된 임상 변수가 표준 형태로 일상적으로 이용 가능함에도 불구하고, 신뢰할 수 있는 레이블은 종종 비용이 많이 드는 전문가 판정이 필요하기 때문에 표준 데이터에 대한 심층 학습은 여전히 미탐색 상태입니다. 자기지도 학습은 이러한 레이블이 없는 표준 데이터를 활용할 수 있으며, 최근 비닝 기반 프리텍스트(binning-based pretexts)는 유망한 귀납적 바이어스를 제공하지만, 기존 목적 함수들은 단일 전역 분위수 이산화를 고정하고 특징 무관(feature-agnostic) 감독을 적용합니다. 우리는 특징별 coarse-to-fine 커리큘럼을 통해 이산화를 학습과 결합하는 표준 자기지도 학습을 위한 학습 적응형 이산화 프리텍스트인 Adaptive Binning을 제안합니다. 신경망의 스펙트럼 바이어스와 커리큘럼 학습의 원칙에 동기를 부여받아, 본 방법은 플래토(plateau) 감지 시 특징별 이산화를 점진적으로 정교화하고, 표현 인식 분할을 선택하여 값 공간 집중도와 표현 공간 응집성을 공동으로 향상시킵니다. 이질성 인식 목적 함수는 범주형 재구성과 수치형 특징에 대한 순서형 감독을 통합하며, 통합 평가 프로토콜 하의 공개 의료 표준 데이터셋에 대한 실험은 데이터셋별 이산화 튜닝 없이도 선형 프로빙과 미세조정에서 일관된 향상을 보여줍니다. 또한, 우리는 이 미탐색 영역에서 재현 가능한 진전을 지원하기 위해 표준화된 프로토콜을 갖춘 의료 표준 자기지도 학습 벤치마크를 소개합니다. 우리의 코드는 https://github.com/labhai/Adaptive-Binning에서 확인할 수 있습니다.
대규모 언어 모델(LLM)은 구조화된 임상 데이터에 점점 더 많이 적용되고 있지만, 이러한 작업에서 자신의 지식 한계를 인식할 수 있는지 여부는 아직 탐구되지 않았습니다. 우리는 구조화된 작업에 대한 인식론적 불확실성을 줄이는 것을 목표로 교차 모델 귀속 분석(attribution divergence)의 관점에서 이 질문을 연구하며, 예측 작업에서 Qwen 2.5 7B와 XGBoost를 귀속 분석을 통해 비교합니다. 네 가지 발견을 보고합니다. 첫째, LLM의 언어화된 신뢰도는 인식론적으로 공허하며, 정확도가 49%인지 75.3%인지에 관계없이 거의 일정한 값(0.856-0.937)을 출력하고, 예측 품질보다는 프롬프트 형식을 따릅니다. 둘째, LLM은 역 난이도 효과(inverse difficulty effect)를 보입니다. XGBoost가 99% 정확할 때 LLM의 정확도는 64.8%로 떨어지지만, XGBoost가 적당히 불확실할 때는 XGBoost와 유사한 성능(73.8% vs 73.1%)을 보입니다. 셋째, 퓨샷(few-shot) 예제와 SHAP에서 파생된 특징(feature) 증거는 직교적이고 초가산적인 개입입니다. 이들은 학습 없이 귀속 불일치 점수(ADS)를 1.54에서 0.38로 줄이고 정확도를 49%에서 75.3%로 향상시킵니다. 넷째, 귀속 분석(attribution divergence) 신호를 사용하여 LLM 신뢰도를 결정하는 교차 모델 보정기(calibrator)는 예상 보정 오차(ECE)를 0.254에서 0.080로 줄이며, 모델 내부에 접근하거나 반복적인 추론(inference)을 요구하지 않으면서 정보가 없는 언어화된 신뢰도를 환자별 신뢰도 추정치로 대체합니다. 우리는 이러한 발견을 구조화된 데이터에서의 LLM에 대한 콜드 스타트 문제(cold start problem)로 프레임화하고, 진정한 인식론적 자기 인식을 향한 경로를 개략적으로 설명합니다.