PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27679v1cs.LG

정형 파운데이션 모델은 문맥 내에서 무엇을 계산하는가? 어텐션 게이트 업데이트를 통한 현장 표현 정제

What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates

모든 테이블이 새로운 지도학습 태스크를 정의할 때, 정형 파운데이션 모델(tabular foundation model)은 재사용 가능한 어떤 계산을 학습해야 하는가? 본 연구에서는 현장 표현 정제(in-situ representation refinement)를 개발한다. 이는 서포트 레이블(support label)이 에피소드의 표현 업데이트를 유도하고, 이러한 업데이트가 모델 파라미터를 변경하지 않고도 레이블이 없는 쿼리로 전이되도록 한다. 정규화된 LOO(leave-one-out) 목적식은 서포트 보정과 이에 대한 쿼리 확장을 도출한다. 주요 항은 어텐션(attention) 기반의 읽기와 상태 의존적 스케일링을 분리하며, 이는 선택된 저랭크 특징 상호작용 및 유형화된 메모리를 갖춘 어텐션 게이트 기반의 FFN 없는 문맥 스택인 RefineICL의 동기가 된다. RefineICL-L24는 AMLB29에서 0.93836 OVR-AUC와 0.87173 정확도에 도달한다. 벤치마크 기반의 연장 학습 버전은 38개 데이터셋의 TabArena 스냅샷에서 1644.8 Elo를 달성하여 동일한 평가 하에서 TabPFN-3보다 31.4 Elo 높은 수치를 기록한다. 또한 두 가지 TabZilla 뷰 모두에서 TabPFN-v3 대비 보고된 4가지 지표를 모두 향상시킨다. 동일 조건의 10만 회 업데이트 깊이 그리드에서, 확장된 FFN은 일관된 검증(validation) 이점을 제공하지 못하며 L8에서 최대 추론(inference) 메모리를 60.2% 더 많이 사용한다. 내부 개입 실험에 따르면 서포트 표현은 단순한 정적 레이블 소스 이상임을 보여준다. 즉, 쿼리 출력을 보존한 채 중간 서포트 업데이트 하나를 제거하면 테스트된 72개 에피소드 전체에서 최종 쿼리 교차 엔트로피(cross-entropy)가 증가한다. 종합적으로 이러한 유도 과정과 개입 실험은 어텐션 게이트 업데이트가 문맥 내에서 어떻게 태스크 특화 예측기를 구성할 수 있는지를 설명한다.

arXiv:2607.11096v1cs.CV

차분 기반 게이팅: U-Net 디코더를 위한 적응적 특징 융합

Difference-Driven Gating: Adaptive Feature Fusion for U-Net Decoder

U-Net 스타일 모델은 다양한 응용 분야에서 널리 사용되어 왔다. 이 모델들의 핵심 단계는 탑다운(top-down) 디코더를 사용하여 저수준 특징을 재구성하는 것이다. 이 재구성에는 고수준 의미 정보와 저수준 세부 정보의 정밀한 융합이 요구된다. 기존의 어텐션 기반 융합 방법들은 일반적으로 탑다운 디코더 특징(전역)만으로부터 어텐션 가중치를 도출하거나, 탑다운 디코더 특징과 바텀업(bottom-up) 인코더 특징 간의 상관관계(지역)로부터 어텐션 가중치를 도출한 뒤, 이 가중치를 사용하여 인코더 특징을 조절한다. 본 연구에서는 두 특징 스트림 간의 차분으로부터 어텐션 가중치를 도출하는 새로운 패러다임을 탐구한다. 이를 위해 두 가지 차분 기반 게이팅 방법을 제안한다: 전역 특징과 지역 특징 간의 절댓값 차분을 직접 사용하여 적응적 게이팅 맵을 생성하는 특징 차분 게이팅(FDG, Feature-difference Gating)과, 정보 엔트로피를 통해 각 스트림의 표현 확실성을 측정하고 부호화된 엔트로피 차분으로부터 어텐션 가중치를 도출하는 엔트로피 차분 게이팅(EDG, Entropy-difference Gating)이다. 두 방법 모두 전역 특징과 지역 특징을 동시에 조절하는 결합된 게이팅 맵을 생성한다. 의료 이미지 분할, 원격 감지 이미지 구름 제거, 음성 분리를 포함한 다양한 태스크에 대한 실험 결과, 두 방법 모두 기존의 어텐션 기반 융합 방법을 능가하였으며, EDG가 더 우수한 성능을 보였다. 이 결과는 U-Net 스타일 구조에서의 다중 스케일 특징 융합을 위한 새로운 패러다임을 제시한다.