LLM-Forest: Ensemble Learning of LLMs with Graph-Augmented Prompts for Data Imputation
원문 초록
Missing data imputation is a critical challenge in various domains, such as healthcare and finance, where data completeness is vital for accurate analysis. Large language models (LLMs), trained on vast corpora, have shown strong potential in data generation, making them a promising tool for data imputation. However, challenges persist in designing effective prompts for a finetuning-free process and in mitigating the risk of LLM hallucinations. To address these issues, we propose a novel framework, LLM-Forest, which introduces a "forest" of few-shot learning LLM "trees" with confidence-based weighted voting, inspired by ensemble learning (Random Forest). This framework is established on a new concept of bipartite information graphs to identify high-quality relevant neighboring entries with both feature and value granularity. Extensive experiments on 9 real-world datasets demonstrate the effectiveness and efficiency of LLM-Forest.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
NPBoost: 그래디언트 부스팅 고정 효과를 갖는 Neural Process
NPBoost: Neural Processes with Gradient-Boosted Fixed Effects
Neural Process(NP)는 모델 기반 메타러너로, 확률적 과정(stochastic process)을 암묵적으로 학습하고 작은 컨텍스트 집합으로부터 새 과제에 적응한다. NP의 대부분 확장은 신경망 아키텍처 개선에 초점을 맞춘다. 우리는 대신 메타학습과 혼합효과(mixed-effects) 모델이 공유하는 계층적 해석에서 동기를 받은 확장을 개발한다. 구체적으로 Neural Process Boosting(NPBoost)을 제안하며, 구조화된 반응 변동성을 과제 간 공유되는 트리 부스팅 고정 효과와 과제 간 확률적 변동을 포착하는 NP 임의 효과로 분해한다. 부스팅 알고리즘으로 두 구성요소를 공동 학습하도록 하며, 이 과정에서 NP는 잔차적인 과제별 구조를 학습하고 트리 앙상블은 과제 간 공통 패턴을 추정한다. 합성 및 실제 표 형식(tabular) 메타학습 문제 전반에서, 공유 구조에 불연속성이나 부스팅된 트리가 효과적으로 표현할 수 있는 기타 불규칙 패턴이 있을 때 이 분해는 표준 NP보다 성능이 개선된다.
Heckman-Corrected Epistemic Uncertainty: Selection on Unobservables Defeats Importance Weighting
디지털 트윈의 시계열 인식을 위한 모듈형 파운데이션 모델
Modular Foundation Models for Time-Series Perception in Digital Twins
엔지니어링 디지털 트윈과 예지보전 및 건강 관리(PHM) 시스템은 이질적이고 비정상적인 시계열 데이터에서 실행 가능한 정보를 추출하기 위해 강건한 인식 모듈에 의존한다. 그러나 기존 접근법들은 대부분 특정 태스크에 종속적이고, 대량의 데이터를 요구하며, 확장 가능한 모니터링 및 의사결정 파이프라인에 통합하기 어렵다. 더욱이 순수 데이터 기반 모델은 다양한 운용 조건에서 강건성과 전이 가능성이 부족한 경우가 많다. 이러한 문제를 해결하기 위해, 본 논문은 사전학습된 표현 인코더 집합을 기반으로 한 시계열 인식용 모듈형 파운데이션 모델을 제안한다. 이 프레임워크는 이질적인 데이터셋에 대한 자기지도 학습(self-supervised learning)을 활용하여 전이 가능하고 태스크 비종속적인 표현을 학습하며, 이를 다수의 PHM 태스크에 재사용할 수 있다. 주어진 목표 데이터셋에 적합한 인코더를 동적으로 선택하는 게이팅 메커니즘을 도입하여 조건부 연산과 적응적 모델 구성을 가능하게 한다. 선택된 표현들은 공유 잠재 공간에 투영되고, 인코더 간 상호작용을 명시적으로 모델링하는 트랜스포머 기반 셀프-어텐션 모듈을 통해 집계된다. 결과적인 아키텍처는 경량 태스크별 헤드를 통해 결측값 보간(imputation), 장기 예측(long-term forecasting), 퓨샷 학습을 포함한 다수의 다운스트림 태스크를 지원하며, 적응 과정에서 사전학습된 인코더는 동결 상태를 유지한다. 광범위한 ablation 연구를 통해 자기지도 사전학습, 인코더 선택, 표현 정렬, 적응적 집계의 상호 보완적 역할을 입증한다. ETT 벤치마크에서의 실험 결과는 여러 태스크에 걸쳐 경쟁력 있는 성능을 보이며, 수력 발전기 로터 온도의 가상 센싱에 관한 실제 산업 사례 연구는 이 접근법의 실용적 타당성을 강조한다.
AI 생성 텍스트 탐지의 재고찰: 강력한 기준선과 여전히 남아있는 분포 이동 문제
Rethinking AI-Generated Text Detection: A Strong Baseline and the Distribution-Shift Problem That Remains
최근 AI 생성 텍스트 탐지 연구는 새로운 벤치마크를 제안하면서 그에 맞게 특화된 탐지기를 함께 소개하는 경우가 많다. 우리는 이러한 관행을 기준선(baseline) 우선 관점에서 재검토한다. 여러 벤치마크에 걸쳐, 단순히 완전 파인튜닝된 RoBERTa가 해당 벤치마크를 중심으로 설계된 특화 탐지기와 동등하거나 이를 능가함을 보인다. 이는 최근의 복잡한 아키텍처 설계가 분포 내(in-distribution) 탐지 성능의 핵심 요인이 아님을 시사한다. 남은 과제는 분포 이동(distribution shift)이다. 동일한 강력한 기준선도 테스트 시점에 주제 도메인이나 생성 모델이 달라지면 성능이 급격히 저하되며, 단순히 소스 데이터를 늘리는 것으로는 이 격차를 해소할 수 없다. 우리는 핵심 실패 패턴을 규명한다: 분포 이동 하에서 탐지기가 미관측 도메인의 인간 작성 텍스트에 높은 신뢰도로 기계 레이블을 부여할 수 있다는 것이다. 이어서 이 문제를 해결하기 위한 두 가지 경량 도메인 적응 방법을 연구한다: LoRA 어댑터에 1차 MAML을 적용한 $K$-shot 적응 방법과, 적응된 탐지기 위에 구축된 샘플별 신뢰도 가중 앙상블(ensemble)이다. 전반적으로, 우리의 결과는 AI 생성 텍스트 탐지의 발전이 분포 내 성능뿐만 아니라 분포 이동 하의 견고성으로도 측정되어야 함을 시사한다.
Predicting Early Stages Of Alzheimer's Disease And Identifying Key Biomarkers Using Deep Artificial Neural Network And Ensemble Of Machine Learning Methodologies
토론
이 논문과 연결된 포럼 글이 아직 없습니다.