arXiv:2210.01788

Robust self-healing prediction model for high dimensional data

Anirudha Rayasam, Nagamma Patil

제출 2022-10-04

원문 초록

Owing to the advantages of increased accuracy and the potential to detect unseen patterns, provided by data mining techniques they have been widely incorporated for standard classification problems. They have often been used for high precision disease prediction in the medical field, and several hybrid prediction models capable of achieving high accuracies have been proposed. Though this stands true most of the previous models fail to efficiently address the recurring issue of bad data quality which plagues most high dimensional data, and especially proves troublesome in the highly sensitive medical data. This work proposes a robust self healing (RSH) hybrid prediction model which functions by using the data in its entirety by removing errors and inconsistencies from it rather than discarding any data. Initial processing involves data preparation followed by cleansing or scrubbing through context-dependent attribute correction, which ensures that there is no significant loss of relevant information before the feature selection and prediction phases. An ensemble of heterogeneous classifiers, subjected to local boosting, is utilized to build the prediction model and genetic algorithm based wrapper feature selection technique wrapped on the respective classifiers is employed to select the corresponding optimal set of features, which warrant higher accuracy. The proposed method is compared with some of the existing high performing models and the results are analyzed.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.19364v1cs.AI공통 태그 feature selection, Attribute

대규모 언어 모델의 활성화 공간 제어를 위한 통계적 근거 기반 희소 특징 개입

Statistically Grounded Sparse-Feature Interventions for Activation-Space Control in Large Language Models

활성화 조향(activation steering)은 대규모 언어 모델(LLM)의 행동 제어를 위한 미세조정의 경량 대안을 제공하지만, SAE 기반 조향 방법은 종종 학습된 조향 목표나 단일 기준 특징 선택에 의존한다. 우리는 먼저 6가지 조건의 신뢰성 필터를 적용한 뒤, $F$-test, KSG 상호정보(mutual information), Cohen's $d$라는 세 가지 상보적 통계량에 대한 비가중 Borda 합의를 통해 희소 특징을 순위화하는 투명한 SAE-특징 조향 파이프라인을 제안한다. 그 결과로 얻어진 조향 방향은 SAE 디코더 행들의 Cohen's $d$ 가중 결합으로 구성되며, 근사적 SAE-특징 비상관(decorrelation) 하에서 Fisher-LDA에 의해 동기화된 최적화 없는(optimization-free) 방향을 제공한다. Gemma 계열 모델 3종, 4개 행동 도메인, 356개 층-강도 구성에 걸쳐, 이 방법은 측정 가능한 도메인별 변화를 만들어내면서 원시 속성(attribute) 이동과 품질을 보존하는 생성 사이에 상당한 격차가 있음을 드러낸다. 가장 강한 구성에서 논리적 정확성(logical-correctness) 조향은 Gemma~2 9B에서 주요 점수(primary-score) 델타 $+1.16$에 도달한다. 그러나 더 넓은 범위의 발견은, 실용 가능한 조향이 모델, 도메인, 층, 강도에 따라 매우 국소화되어 있음을 보여준다. 이 결과는 활성화 조향 평가가 원시 행동 변화와 함께 품질 조건부 성공(quality-conditioned success)을 보고해야 함을 시사한다. 코드와 데이터는 https://github.com/Oshayer-Siddique/LLM-Steering-Using-SAE 에서 이용할 수 있다.

arXiv:2607.14396v1cs.AI공통 태그 Prediction, Attribute

CatalogAgent: 생성형 AI 모델의 컨텍스트 엔지니어링을 가능하게 하는 감독 에이전트 중재형 자기학습 시스템

CatalogAgent: A Supervisor-mediated Self-Learning System Enabling Context Engineering for GenAI Models

상품 카탈로그는 전자상거래 사이트의 핵심이지만, 재질, 색상, 형태와 같은 다수의 구조화 속성(SA) 값이 누락되는 경우가 많다. 일반적으로 SA 값은 제목과 설명을 포함한 상품 정보에서 추출된다. 대규모 언어 모델(LLM) 기반 생성기-평가기 프레임워크는 한 LLM이 SA 값을 생성하고 다른 LLM이 이를 평가하는 SA 예측에서 효과가 입증되었지만, 생성기와 평가기가 충돌하는 출력을 내면면 어느 한 구성요소든 실수할 수 있어 어려움이 있다. 우리는 전자상거래 카탈로그 보강을 위해 생성기와 평가기 모델을 지속적으로 개선하는 새로운 에이전트형 시스템인 CatalogAgent를 제안한다. (1) LLM 기반 생성기와 평가기 간의 내부 충돌, 또는 (2) 판매자의 LLM 출력에 대한 외부 피드백으로 불일치가 발생하면, 감독 에이전트(Supervisor Agent)가 개입하여 충돌을 중재하고 최종 결정을 내린다. 이 시스템은 또한 개별 사례의 감독 에이전트 활동을 저장하고 패턴을 학습 내용으로 집계하는 메모리 베이스(Memory Base)와 메모리 요약기(Memory Summarizer)를 포함한다. 이러한 학습 내용은 워커(worker) 생성기 및 평가기 LLM에 다시 제공되어, 인간 개입 없이 자기 개선을 가능하게 한다. 컨텍스트 엔지니어링(context engineering)—워커 LLM의 컨텍스트에 학습 내용과 통찰을 주입함—을 통해 이 시스템은 감독자의 역량을 생성기와 평가기로 성공적으로 이전하여, 각각의 성능을 15.24%와 13.98% 향상시킨다. 우리 실험은 생성형 AI 모델의 정확도를 높이기 위한 감독 에이전트 중재형 자기학습 시스템의 새로운 패러다임을 보여준다.

arXiv:2607.09696v1cs.LG공통 태그 Prediction, feature selection

CTR 모델의 초기 학습 붕괴 완화

Mitigating Early Training Collapse in CTR Models

클릭률(CTR) 예측을 위한 딥 뉴럴 모델은 학습 손실이 지속적으로 개선됨에도 불구하고 첫 번째 학습 에포크 직후 검증 성능이 급격히 저하되는 현상을 자주 보인다. 이러한 불안정성은 효과적인 학습을 제한하고 모델 성능을 저하시킨다. 본 연구에서는 대규모 산업 데이터셋을 활용하여 이 현상을 분석하고 실용적인 완화 전략을 평가한다. 학습률을 낮추는 방법은 점진적인 개선만을 제공하는 반면, 특징 희소성을 제어하는 방법은 상당한 성능 향상을 가져온다. 희소성이 높은 특징을 제거하고 빈도가 낮은 특징 값을 집계하면 학습이 안정화되고, 유효한 학습이 단일 에포크를 넘어 지속되며, 오프라인 평가 지표와 온라인 시스템 성능이 모두 향상된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.