arXiv:1907.12489

FDive: Learning Relevance Models using Pattern-based Similarity Measures

Frederik L. Dennig, Tom Polk, Zudi Lin, Tobias Schreck, Hanspeter Pfister, Michael Behrisch

제출 2019-07-29

원문 초록

The detection of interesting patterns in large high-dimensional datasets is difficult because of their dimensionality and pattern complexity. Therefore, analysts require automated support for the extraction of relevant patterns. In this paper, we present FDive, a visual active learning system that helps to create visually explorable relevance models, assisted by learning a pattern-based similarity. We use a small set of user-provided labels to rank similarity measures, consisting of feature descriptor and distance function combinations, by their ability to distinguish relevant from irrelevant data. Based on the best-ranked similarity measure, the system calculates an interactive Self-Organizing Map-based relevance model, which classifies data according to the cluster affiliation. It also automatically prompts further relevance feedback to improve its accuracy. Uncertain areas, especially near the decision boundaries, are highlighted and can be refined by the user. We evaluate our approach by comparison to state-of-the-art feature selection techniques and demonstrate the usefulness of our approach by a case study classifying electron microscopy images of brain cells. The results show that FDive enhances both the quality and understanding of relevance models and can thus lead to new insights for brain research.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10615v1stat.ML공통 태그 feature selection, Active Learning

JevForest: 예산 제약 특징 획득을 위한 경로 투표

JevForest: Path Voting for Budgeted Feature Acquisition

제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.

arXiv:2606.19411v1cs.LG공통 태그 feature selection, Active Learning

NEPv를 통한 스펙트럼 DPP: 다양성 인식 데이터 선택을 위한 결정식 MAP의 확장 가능한 연속 완화

Spectral DPPs via NEPv: A Scalable Continuous Relaxation of Determinantal MAP for Diversity-Aware Data Selection

방대한 후보군에서 작고 다양하며 고품질의 부분집합을 선택하는 것은 현대 머신러닝에서 반복적으로 등장하는 기본 연산입니다. 여기에는 대규모 모델의 학습 및 미세조정을 위한 데이터 큐레이션과 코어셋 선택, 능동학습 배치 획득, 문맥 내 학습을 위한 프롬프트 및 예제 선택, 검색 다양화, 그리고 실험 설계가 포함됩니다. 결정식 점 과정(Determinantal Point Processes, \DPP s)은 이 작업을 위해 원칙에 기반하고 잘 보정된 다양성의 개념을 제공하지만, 크기가 $k$인 부분집합 $S$를 선택하여 $\logdet(L_S)$를 최대화하는 \emph{MAP} 목적함수는 NP-난해(NP-hard)하며, 표준적인 탐욕적 알고리즘과 샘플링 알고리즘은 기본 집합의 크기 $n$에 대해 초선형적으로 증가합니다. 이러한 비용은 다양성이 가장 중요한 데이터 중심 환경, 즉 $n$이 수백만에서 수십억 개의 후보 예제, 특징(feature), 또는 임베딩에 이르는 경우에 특히 과도합니다. 우리는 \DPP-MAP을 스티펠 다양체(Stiefel manifold) 위의 연속 최적화 문제로 재정의하고, 그 1계 최적성 조건이 이전에 연구되지 않은 형태의 \emph{고유벡터 의존성을 가진 비선형 고유값 문제}(\NEPv)를 형성함을 보입니다. 이 \NEPv\는 스펙트럼 간(spectral gap)에 기반한 국소 수축 보장을 갖는 자기 일치 장(\SCF) 반복(iteration)을 허용하며, 이는 다양성 목적함수가 고유벡터 의존 연산자를 구동하는 원칙에 기반한 반복적 솔버를 제공합니다. 그 결과인 알고리즘인 \OurMethod은 커널(kernel)과의 행렬-벡터 곱만을 필요로 하며, 적은 수의 반복 $t$에 대해 $O\! \big((ndk+nk^2)\,t\big)$ 시간에 실행되어 $n$에 대해 거의 선형적으로 확장되며 ML에서 일반적인 저계수 및 특징 맵 커널과 직접 통합됩니다. 본 논문은 완화, 솔버, 및 확장성 분석에 초점을 맞추며, 실제 데이터에 대한 전체 벤치마킹은 계획된 실증 연구로 미뤄집니다.

arXiv:2606.18933v1cs.LG공통 태그 feature selection, Active Learning

LLM 유도를 통한 제로샷 능동적 특징 획득

Zero-Shot Active Feature Acquisition via LLM-Elicitation

능동적 특징 획득(AFA)은 분류 또는 순위 결정에 도달하기 위해 관찰할 특징을 순차적으로 선택합니다. AFA의 핵심적인 제한 사항은 획득을 유도하는 확률적 모델을 적합시키기 위해 대량의 레이블된 데이터에 의존한다는 점입니다. 대규모 언어 모델(LLM)은 비지도 도메인 지식을 제공하지만, 순차적 계획 수립에는 약합니다. 지식과 의사결정을 동시에 요구하는 것은 분리되는 것이 바람직한 능력들을 혼동하게 만듭니다. 본 연구에서는 체계적인 유도(disciplined elicitation)를 통해 제로샷 AFA를 위한 프레임워크를 개발합니다. 이는 LLM이 신뢰할 수 있게 반환할 수 있는 것, 즉 마르코프 무작위 장(MRF)의 충분 통계량인 단항 편차와 쌍대 공변동(pairwise co-variations)만을 요청하는 방식입니다. 우리는 이 프레임워크를 이진 분류와 top-$k$ 식별이라는 두 가지 설정에 적용합니다. 실제로 LLM은 판별적 통계량, 즉 각 클래스를 독립적으로 설명하기보다는 클래스 간의 차이를 구별하는 정보만을 신뢰할 수 있게 반환하며, 이는 고전적인 AFA를 불가능하게 만듭니다. 우리는 이러한 게이지 모호성(gauge ambiguity)을 해결하는 최대 엔트로피 폐쇄(maximum-entropy closure)를 적용합니다. 우리는 진단적 모호성과 환자 이질성으로 인해 안정적인 치료 전략 수립이 어려운 실제 임상 환경인 염증성 장 질환(IBD) 환자 코호트에서 평가를 수행했습니다. 우리의 프레임워크는 실제 레이블과 LLM이 추출한 자체 신념(beliefs) 모두에서 LLM을 능가하는 성능을 보였습니다. 가장 중요한 상황인 가장 진단이 어려운 환자들에 대해서는, 우리의 top-$k$ 획득 정책이 모든 기존 방법들을 현저히 능가했습니다.

arXiv:2602.01929v3math.DS공통 태그 Active Learning

확률적 동적 시스템의 확률론적 대리 모델링을 위한 함수 대 함수 비선형 자기회귀 모델(F2NARX)

Function-on-function nonlinear autoregressive model (F2NARX) for probabilistic surrogate modeling of stochastic dynamical systems

동적 시스템 응답을 예측하기 위한 정확하고 계산 효율적인 대리 모델을 구축하는 것은 많은 공학 분야에서 매우 중요하지만, 외부 가진과 시스템 파라미터로부터 시스템 응답으로의 사상이 강한 비선형성과 고차원성을 지니므로 여전히 어려운 과제이다. 본 연구는 최근 제안된 $\mathcal{F}$-NARX 방법을 함수 대 함수 회귀 관점에서 재정식화한 새로운 외생 입력을 갖는 함수 대 함수 비선형 자기회귀 모델(F2NARX)을 제안한다. 제안된 프레임워크는 높은 정확도를 유지하면서 예측 효율을 크게 향상시킨다. 주성분 분석과 가우시안 프로세스 회귀를 결합함으로써, F2NARX는 무향 변환을 이용해 자기회귀 방식으로 동적 응답의 확률론적 예측을 추가로 가능하게 한다. 이 방법의 효과는 다양한 복잡도의 사례 연구를 통해 입증된다. 결과는 F2NARX가 최신 NARX 모델보다 효율에서 수십 배 이상의 자릿수 차이로 우수하면서도 일반적으로 더 높은 정확도를 달성함을 보여준다. F2NARX의 확률론적 예측 능력은 능동 학습과 결합하여 최초 통과 확률 추정에 적용함으로써 추가로 입증되며, 이는 신뢰성 지향 응용에서의 잠재력을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.