Model Reframing by Feature Context Change
원문 초록
The feature space (including both input and output variables) characterises a data mining problem. In predictive (supervised) problems, the quality and availability of features determines the predictability of the dependent variable, and the performance of data mining models in terms of misclassification or regression error. Good features, however, are usually difficult to obtain. It is usual that many instances come with missing values, either because the actual value for a given attribute was not available or because it was too expensive. This is usually interpreted as a utility or cost-sensitive learning dilemma, in this case between misclassification (or regression error) costs and attribute tests costs. Both misclassification cost (MC) and test cost (TC) can be integrated into a single measure, known as joint cost (JC). We introduce methods and plots (such as the so-called JROC plots) that can work with any of-the-shelf predictive technique, including ensembles, such that we re-frame the model to use the appropriate subset of attributes (the feature configuration) during deployment time. In other words, models are trained with the available attributes (once and for all) and then deployed by setting missing values on the attributes that are deemed ineffective for reducing the joint cost. As the number of feature configuration combinations grows exponentially with the number of features we introduce quadratic methods that are able to approximate the optimal configuration and model choices, as shown by the experimental results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
어텐션 롤아웃을 이용한 내부 해석 가능성: 트랜스포머에서의 수축 및 전파 프로파일
Interior interpretability with attention rollout: contraction and propagation profiles in Transformers
특징 기여(feature-attribution) 방법은 입력 변수와 모델의 출력 간 관계에 점수를 부여하지만, 그 자체로는 명시적으로 정의된 상호작용 연산자가 중간 레이어에서 어떻게 합성되는지 특성화하지는 않는다. 우리는 내부 모델 구조에 대한 전파 기반 관점인 \emph{interior interpretability}(내부 해석 가능성)을 제안하고, 어텐션 롤아웃을 사용하여 표 형식(tabular) 트랜스포머에 이를 구현한다. 롤아웃을 특징 토큰 간 어텐션 매개 전파를 인코딩하는 행 확률적(row-stochastic) 연산자로 해석한다. 고전적인 Doeblin--Dobrushin 수축 이론을 적용함으로써, Dobrushin 계수가 작은 롤아웃 연산자가 정규화된 열 합으로 결정되는 공통 행을 갖는 rank-one 확률 행렬에 정량적으로 가깝다는 것을 보인다. 이 결과는 해당 롤아웃 전파 프로파일에 구조적 해석을 제공한다. 대사체학적(metabolomic) 나이 예측을 위해 학습된 트랜스포머에서, 측정된 롤아웃 수축은 깊이에 따라 강화된다. 학습된 모델과 무작위 초기화 모델은 서로 다른 전파 프로파일을 보이기도 하지만, 본 실험은 개별 롤아웃 순위 변수의 예측적 관련성을 입증하지는 않는다. PCA 및 SHAP에 대한 GradientExplainer 근사와의 탐색적 비교는, 높은 순위의 변수들 사이에서는 국소적 일치를 보이지만 전체 순위에 걸친 일치는 약함을 드러낸다. 따라서 어텐션 롤아웃은 여기서 완전한 트랜스포머에 대한 인과적 설명이나 충실한 기여(attribution)가 아니라, 어텐션 매개 전파의 진단 도구로 사용된다.
MAGE-Vein: 손가락 정맥 이미지 기반 다중 인스턴스 연령·성별 추정
MAGE-Vein: Multi-Instance Age and Gender Estimation from Finger Vein Images
손가락 정맥 이미지를 이용한 연령 추정은 공개 데이터셋의 심각한 인구통계학적 편향과 성별과 같은 생리학적 교란 요인으로 인해 실용적이지 않다고 널리 여겨져 왔다. 이러한 한계를 극복하기 위해, 우리는 새로운 다중 인스턴스, 다중 과제 학습(multi-task learning) 프레임워크인 MAGE-Vein을 제안한다. 우리의 접근법은 세 손가락의 하이브리드 특징 수준(feature-level) 융합을 통해 견고한 구조적 노화 징후를 추출하여 국소 영상 노이즈를 효과적으로 억제한다. 또한 성별 분류를 동시에 최적화함으로써 네트워크가 성별 특이적 혈관 변이를 효과적으로 제거하도록 유도한다. 인구통계학적으로 균형 잡힌 402명의 피험자 데이터셋에서 평가한 결과, MAGE-Vein은 평균 절대 오차 6.12년과 상관계수 0.880을 달성한다. 우리의 결과는 손가락 정맥 모달리티의 한계에 관한 기존 합의를 뒤집을 뿐만 아니라, 이전 추정 실패가 주로 편향된 공개 데이터셋에서 기인한 인공물이었음을 보여준다. 코드는 https://github.com/gsisaoki/MAGE-Vein 에서 제공된다.
Performance Analysis of Machine Learning Algorithms in Chronic Kidney Disease Prediction
Undertone: 소수의 평점으로 고정된 VLM 미적 판정기를 개인화하기
Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings
이미지 품질 평가는 평균 의견 점수(MOS)를 예측하지만, 이미지 미학에서는 평균이 개인을 가리므로 개인화된 평가는 새 사용자가 평가한 소수의 이미지에서 출발해야 한다. 평점 열 개로 각 사람을 처음부터 적합시키면 실패하며, 사람별로 파인튜닝한 네트워크는 새로운 종류의 이미지로 잘 전이되지 않는다. 본 논문은 Undertone-P를 제안한다. 이는 다른 평가자들로부터, 고정된 시각-언어 모델(VLM) 판정기의 판독값, 즉 확률 가중 평점과 점수 토큰에서의 은닉 상태에 대한 사람별 회귀 가중치의 가우시안 사전분포를 학습한다. 사람들이 군중과 다른 방식은 다른 평가자들이 드러내므로, 소수의 평점은 그 방식들 중 하나를 고르기만 하면 된다. 새 사용자에게는 닫힌 형태의 풀이 한 번이 필요할 뿐이며 네트워크는 학습되지 않는다. Ryu와 Yanaka의 PARA 벤치마크에서 사전분포만으로 스피어만 상관계수 .640에 도달하여, 기존에 발표된 최고의 10개 및 100개 평점 결과(.581 및 .620)를 상회하며, 사람의 평점 10개와 100개를 사용하면 각각 .648과 .676으로 상승한다. 이러한 평점은 취향이 군중과 다른 곳에서 가장 큰 이득을 준다. 평점 100개 기준으로 군중과 가장 덜 일치하는 평가자들에서는 +.067, LAPIS 미술 작품에서는 +.206이며 전체 평균은 +.037이다. 라벨 없이도 판정기의 기대 점수는 PARA의 MOS를 .835로 예측한다(우리가 실행한 발표 모델 중 최고: .694). PARA로 학습된 네트워크는 PARA의 원래 프로토콜에서는 여전히 앞서는데, 이는 더 강력한 종단 간 MOS 모델 때문일 가능성이 있다.
OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭
Distributed Sketching on Data Partitions for OLS Regression
본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.
HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크
HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting
실시간 금융 예측은 오래되었거나 사용할 수 없는 정보를 사용하지 않으면서 시간 프레임 간 비동기적인 봉 완성을 동기화해야 한다. 우리는 HARN(Hierarchical Associative Resonance Network)을 소개한다. 이는 각 이벤트를 설정된 가장 세밀한 시간 프레임에 고정하고, 시간 수준 전반에 걸쳐 지속적 상태와 행렬 값 연상 메모리를 유지하는 이벤트 기반 아키텍처이다. 타임스탬프 마스킹 전이는 완성된 봉의 타임스탬프가 현재 앵커와 일치할 때만 해당 수준을 갱신하여, 비활성 표현을 보존한다. HARN은 인과적 다중 스케일 인코딩, 잔차 기반 게이트 연상 쓰기, 전수 교차 수준 공명, 순서화된 상향식 증거 집계를 통합하여 각 시간 수준에서 예측을 생성한다. 예측은 베이시스 포인트 변화로 표현되며 평가를 위해 가격 스케일로 복원된다. 우리는 주식, 외환, 금에 걸친 네 가지 자산(AAPL, EURUSD, USDCHF, XAUUSD)에서 시간순 70/15/15 분할, 32봉 룩백, 1단계 예측 구간, 세 개의 랜덤 시드를 사용하여 HARN을 평가한다. HARN은 네 자산 모두에서 평가된 단일 시간 프레임 PatchTST 및 TimeXer 기준선보다 낮은 앵커 시간 프레임 테스트 평균 절대 오차(MAE)를 얻는다. HARN의 MAE는 각각 0.508, 0.000306, 0.000263, 2.552이며, PatchTST는 2.074, 0.000759, 0.000638, 9.563, TimeXer는 2.882, 0.010838, 0.014144, 15.297을 기록한다. 이러한 기술적 비교는 입력, 목표 정식화 또는 학습 절차의 차이로부터 아키텍처의 효과를 분리하지 못한다. AAPL과 EURUSD에 대한 단일 실행 구성요소 절제 실험은 작고 비단조적인 차이를 보인다. 이 결과는 비동기 다중 시간 프레임 예측에 대한 HARN의 실현 가능성을 보여주는 한편, 상대적 이점과 구성요소 기여를 규명하기 위한 통제된 비교와 더 폭넓은 절제 실험의 필요성을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.