PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13818v1cs.LG

TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습

TabMF: Learning Dataset Representations with Tabular Foundation Models

지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.

arXiv:2608.14089v3cs.AI

체제 조건부 검증: 안전성 분류기 적응 및 모니터링을 위한 정확도 추정

Regime-Conditional Verification: Correctness Estimation for Adapting and Monitoring Safety Classifiers

대규모 언어 모델(LLM)과 함께 배포되는 안전성(safety) 분류기는 흔히 두 가지 이유로 실패합니다. 분류기의 결정이 배포자가 원하는 정책이 아닌 학습(training) 중에 학습된 정책을 반영한다는 점과, 배포 환경의 트래픽이 변화함에 따라 성능이 저하된다는 점입니다. 본 연구에서는 기존 안전성 분류기를 재학습하지 않고도 적응시키는 경량 래퍼인 체제 조건부 검증(Regime-Conditional Verification, RCV)을 제안합니다. RCV는 분류기의 내부 표현으로부터 각 예측이 배포자의 정책과 일치하지 않을 확률을 추정하고, 틀릴 가능성이 높은 예측을 선별적으로 수정합니다. 또한 동일한 정확도 추정치는 분포 변화(distribution shift)를 감지하기 위한 라벨 없는 신호를 제공하여, 정확도 추정 층(layer)을 업데이트하고 라벨 예산 내에서 수정이 실패할 때에만 분류기 미세조정(fine-tuning)을 수행하는 유지관리 루프를 가능하게 합니다. 세 가지 기존 안전성 분류기와 두 가지 벤치마크 데이터셋(dataset)에 걸친 실험에서, RCV는 기반 분류기를 수정하지 않고도 모든 분류기-데이터셋 조합에서 배포자 정책에 대한 준수율을 향상시켰으며, 이전에 놓쳤던 유해 콘텐츠를 최대 0.81까지 포착했습니다. RCV 학습에서 제외된 위해 범주로 구성된 10개의 공격 캠페인을 활용한 배포 연구에서, RCV는 전용 주입 패널의 모든 캠페인을 감지했습니다. 또한 유지관리 조사에서 대부분의 드리프트 사례는 분류기를 업데이트하지 않고도 해결되었으며, 미세조정은 잔여 사례에 대해서만 선별적으로 적용되었습니다.