PyTorchKR Papers

최신 논문

총 47편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18677v1cs.LG

스트림 학습에서 표 형식 파운데이션 모델을 위한 제한된 컨텍스트 관리

Bounded Context Management for Tabular Foundation Models on Stream Learning

표 형식 스트림 학습에서 테이블 파운데이션 모델(TFM)은 모델 상태 갱신 대신 제한된 라벨 컨텍스트를 문맥 내(in-context)로 관리해야 하며, 핵심 과제는 어떤 과거 예시를 유지할지 결정하는 것이다. 미래 정보 관점에서 최근성·불확실성·중복성을 반영한 CURE는 엔트로피 게이트 입장과 중복 인식 퇴출로 구현되었고, 7개 스트림에서 고전적 스트림 학습기 대비 최대 27.0% 상대 성능 향상과 여러 TFM 백본에서 정책 변형 중 1위를 달성했다.

arXiv:2606.18420v1cs.LG

측정 노이즈는 생체의학 예측에서 비선형 모델이 선형 모델보다 갖는 이점을 제한한다

Measurement noise limits the advantage of nonlinear models over linear models in biomedical prediction

생체의학 테이블 예측에서 측정 노이즈는 k차 상호작용을 특징 신뢰도의 k제곱만큼 감쇠시키고 선형 항은 한 번만 감쇠시켜, 기저 생물학이 비선형적이어도 딥 네트워크·부스팅 트리 등 유연한 모델이 선형 회귀와 대등해지거나 뒤처질 수 있음을 초과 위험 항등식으로 보여준다. UK Biobank 140개 작업에서도 이 노이즈 서명이 확인되며, 노이즈로 지워진 비선형성은 더 큰 코호트나 복잡한 모델이 아니라 측정 품질 개선으로만 회복할 수 있다.

arXiv:2606.17886v1cs.LG

Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias

단조성(Monotonicity)은 신경망의 오랜 아키텍처적 귀납적 바이어스로, 출력이 특정 입력에 단조적으로 반응하는 것으로 알려진 표 형식(tabular), 과학적, 경제적 환경에 의해 동기가 부여되어 왔다. 기존 접근법은 MLP 또는 흐름 기반(flow-based)이며 엣지별 함수적 투명성이 결여되어 있다. 단조성을 갖는 유일한 콜모고로프-아놀드 네트워크(KAN) 변형인 MonoKAN은 제한된 매개변수 부분집합에만 제약을 적용하며 투영 방식의 학습 절차를 필요로 한다. 본 연구는 B-스플라인 계수의 지수적 재매개변수화(exponential reparameterization), 양의 엣지 가중치, 단조 기저 활성화 함수를 통해 모든 매개변수 값에 대해 강한 단조성을 보장하는 KAN인 MKAN으로 이 격차를 해소한다. 학습은 표준 비제약 경사하강법으로 귀결된다. 핵심 이론적 기여는 표현 비용 정리(representation-cost theorem)로, 구형 의미적 이웃 분할(ball-shaped semantic-neighborhood partition)을 유도하는 임의의 $C^K, K > 0$ 특징 추출기는 $k$가 원래의 비단조 좌표 수일 때 $N' = N^* + k \le 2N^*$에서 동등한 이웃 구조의 단조 실현(monotone realization)을 허용함을 보인다. 이 경계는 아키텍처에 무관하며 단조 인코더를 위한 원칙적인 크기 결정 규칙을 제공한다. 실험적으로 MKAN은 SMM/ICML-2024 벤치마크에서 최신 단조 신경망들과 경쟁력 있는 성능을 달성하면서, 강한 비제약 단조성과 KAN의 엣지별 함수적 투명성을 결합한 유일한 방법이다. $2N^*$ 예측은 네 개의 실제 데이터셋에 대한 자기지도(self-supervised) 특징 크기 탐색에서 검증되었으며, 제어된 단조 생성 데이터셋에서 MKAN은 KAN, MLP, 선형 기준선 대비 스피어만 정렬(Spearman alignment)이 실질적으로 더 높은 수준으로 실제 요인(ground-truth factors)을 복원한다.

arXiv:2606.12486v1cs.LG

대형 Scania 트럭 Component X에 대한 예지 보전의 실증 연구

An Empirical Study on Predictive Maintenance for Component X in Heavy-Duty Scania Trucks

대형 트럭의 예지 보전(PdM)을 위해 마모 상태를 단조 비감소 시계열로 가정하고 최신 관측치를 표 형식 데이터로 변환하여 분류하는 방법론을 제안한다. 이 방법은 Scania Component X 데이터셋에서 기존 최신 기술(SOTA) 대비 비용을 절감하면서 AutoML을 통해 모델링 과정을 단순화하는 결과를 보였다.

arXiv:2606.11961v1cs.LG

범주형 사전분포 고착: 구조화된 데이터에서 문맥 내 학습이 실패하는 이유

Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data

대규모 언어 모델(LLM)은 매개변수 갱신 없이 새로운 분포에 적응하기 위해 문맥 내 학습(ICL)에 의존하며, 구조화된 데이터를 위한 조건부 생성기로 점점 더 많이 사용되고 있다. 우리는 분포 불일치 상황에서 구조화된 생성에 대한 ICL의 한계를 조사하고, 고카디널리티 표 형식 데이터를 통제된 테스트 사례로 사용하여, 사전학습으로부터 상속된 토큰 분포에 대한 모델의 사전분포를 ICL이 갱신하지 못하는 구조적 실패 양상을 밝혀내며 이를 범주형 사전분포 고착(categorical prior lock-in)이라 부른다. 70억 매개변수 규모의 공개 가중치 모델 두 개에 걸쳐, ICL은 추가 예시로 수치적 충실도는 개선하지만 범주형 분포에서는 급격한 상한을 보이며 희귀 클래스를 전혀 재현하지 못한다. 매개변수 효율적 미세조정(LoRA)은 이러한 한계를 극복하지만 측정 가능한 암기 위험을 유입하고, 경우에 따라 구조화된 출력 생성을 불안정화하여 적응성과 프라이버시 사이의 근본적 트레이드오프를 부각한다.

arXiv:2606.11844v1cs.LG

TaskFusion: 이질적 테이블 데이터를 위한 지속적 이상 탐지

TaskFusion: Continual Anomaly Detection for Heterogeneous Tabular Data

테이블 데이터에서의 지속적 이상 탐지는 어렵고, 특히 이질적 특징 스키마, 분포 변화, 심각한 클래스 불균형이 존재하는 설정에서는 대부분 미탐구 상태로 남아 있습니다. 많은 실제 애플리케이션에서 데이터는 다양한 도메인에서 순차적으로 도착하며, 이는 고정된 입력 공간에 의존하는 기존 지속적 학습 방법의 효과를 떨어뜨립니다. 우리는 이러한 도전을 극복하고 다른 작업에서 지속적으로 학습할 수 있는 지속적 학습(CL) 방법을 제안합니다. 우리의 방법은 세 가지 주요 부분으로 구성됩니다: AGF 모델, Taskfusion 증강, 그리고 아웃라이어 노출입니다. AGF 모델은 작업별 특징을 공유 공간에 매핑한 다음, 분포를 정렬하여 표현 드리프트를 줄이고, 정렬된 공간에서 이상치 결정 경계를 학습합니다. 안정성을 향상시키기 위해 우리는 Taskfusion 증강을 도입했는데, 이는 작업 내 경계 인지 보간을 결합하여 모델의 이상치 경계를 정교화하고, 작업 간 혼합을 통해 데이터셋 간 이상치 구조를 전이합니다. 클래스 불균형과 메모리 제약을 처리하기 위해, 우리는 압축된 합성 재생 샘플을 저장하기 위해 테이블 데이터셋 증류를 사용하며, 이는 강건한 이상 탐지를 위해 증강된 데이터와 함께 아웃라이어 노출 목적 함수에서 공동으로 사용됩니다. 우리는 여러 도메인에 걸친 21개의 이질적 데이터셋에서 이 접근 방식을 평가했습니다. 결과는 우리의 접근 방식이 재앙적 망각을 줄이고 이질적 데이터셋 전반에 걸쳐 안정적인 탐지를 유지하면서, 순차적 미세조정 및 다른 CL 기준 모델에 비해 지속적 이상 탐지 성능을 크게 향상시킴을 보여줍니다.

arXiv:2606.11682v1cs.CV

테이블-이미지 멀티모달 학습을 위한 매개변수 효율적인 어댑터 튜닝

Parameter-Efficient Adapter Tuning for Tabular-Image Multimodal Learning

테이블-이미지 멀티모달 학습은 구조화된 테이블 속성과 시각적 데이터를 결합하여 예측 모델링을 개선하는 것을 목표로 합니다. 사전학습된 인코더는 강력한 모달리티별 표현을 제공하지만, 전체 미세조정은 계산 비용이 많이 들 수 있고 인코더를 고정 상태로 유지하는 것은 작업 특화 적응을 제한할 수 있습니다. 우리는 효율적인 멀티모달 적응을 위한 모달리티별 어댑터 기반 미세조정 프레임워크인 Tabular-Image Adapter (TI-Adapter)를 제안합니다. TI-Adapter는 사전학습된 테이블 인코더를 고정하고 추출된 테이블 임베딩 이후에 어댑터를 학습하며, 전체 미세조정 대신 임베딩 레벨 및 병목 레벨 어댑터를 사용하여 이미지 분기를 적응시킵니다. 20개의 테이블-이미지 데이터셋에 대한 실험에서 TI-Adapter는 훨씬 더 적은 학습 가능한 매개변수를 사용하면서도 전체 미세조정보다 경쟁력 있거나 더 우수한 예측 성능을 달성함을 보여줍니다. 제거 연구는 성능과 실용적 효율성의 균형을 맞추는 데 있어 어댑터 배치의 중요성을 추가로 입증합니다.