arXiv:2007.10018

Toward Machine-Guided, Human-Initiated Explanatory Interactive Learning

Teodora Popordanoska, Mohit Kumar, Stefano Teso

제출 2020-07-20

원문 초록

Recent work has demonstrated the promise of combining local explanations with active learning for understanding and supervising black-box models. Here we show that, under specific conditions, these algorithms may misrepresent the quality of the model being learned. The reason is that the machine illustrates its beliefs by predicting and explaining the labels of the query instances: if the machine is unaware of its own mistakes, it may end up choosing queries on which it performs artificially well. This biases the "narrative" presented by the machine to the user.We address this narrative bias by introducing explanatory guided learning, a novel interactive learning strategy in which: i) the supervisor is in charge of choosing the query instances, while ii) the machine uses global explanations to illustrate its overall behavior and to guide the supervisor toward choosing challenging, informative instances. This strategy retains the key advantages of explanatory interaction while avoiding narrative bias and compares favorably to active learning in terms of sample complexity. An initial empirical evaluation with a clustering-based prototype highlights the promise of our approach.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27208v1cs.CV공통 태그 Clustering, Active Learning

비용 효율적 공간 전사체학을 위한 능동적 스팟 선택 벤치마킹

Benchmarking Active Spot Selection for Cost-Efficient Spatial Transcriptomics

공간 전사체학(spatial transcriptomics, ST)은 조직 맥락에서 유전자 발현을 측정하지만, 촘촘한 캡처 그리드는 비용이 많이 들 수 있으며 형태학적으로 유사한 영역을 반복적으로 샘플링할 수 있다. 대부분의 능동 학습(active learning) 전략은 범주형 레이블과 독립 표본을 위해 개발되었다. 우리는 발현 벡터가 고차원·연속이고 후보들이 공간적으로 상관된 ST에서, 균일 Random 샘플링 대비 능동 학습에 대한 후향적 pool 기반 벤치마크를 수행한다. 완전 프로파일링된 공개 ST 코호트 두 개를 사용해 후보 발현 벡터를 마스킹하고, 불확실성 기반 Monte Carlo 드롭아웃(MC-dropout) 및 temporal output discrepancy(TOD), 다양성 기반 CoreSet 및 TypiClust 영감 선택으로 다회차 선택을 시뮬레이션한다. 환자 수준 교차 검증 하에서 fold 전체 학습 spot 풀의 5%, 10%, 30%, 50%에서 160개의 완료된 구성을 비교하며, 별도의 전체 레이블 기준(reference)을 둔다. 각 예산 내에서 전략들은 선택 일정, 형태-발현 예측기, 최적화 프로토콜을 공유한다. 슬라이드 내 유전자별 평균 Pearson 상관계수(PCC), 발현 클러스터 일치, Moran's I 충실도를 평가한다. HER2 양성 유방암에서 네 가지 능동 전략의 Random 대비 pooled mean PCC 차이는 5%, 10%, 30%, 50%에서 각각 -0.0176, -0.0117, +0.0056, +0.0057이었다. 피부 편평세포암(cutaneous squamous cell carcinoma, cSCC)에서는 5%에서 세 전략이 Random보다 낮았고, 10%에서는 네 전략 모두 Random보다 낮았다. HER2 양성 유방암에서 CoreSet과 MC-dropout은 가장 작은 두 예산에서 Random보다 PCC는 낮지만 발현 클러스터 일치는 더 높았으며, 이 패턴은 cSCC에서는 재현되지 않았다. 보고된 고정 학습 horizon 하에서, 평가된 능동 전략들은 작은 예산에서 Random을 일관되게 개선하지 않으며, 순위는 평가 지표에 따라 달라진다.

arXiv:2607.20556v2cs.AI공통 태그 Clustering, Active Learning

KeySI: 인간 피드백 기반 텍스트 임베딩 튜닝을 위한 상호작용 프레임워크

KeySI: An Interaction Framework for Tuning Text Embeddings Based on Human Feedback

대규모 텍스트 분석 작업에서는 하류 분석을 위해 텍스트 코퍼스를 임베딩하는 데 사전학습된 언어 모델이 자주 사용된다. 그러나 이러한 모델은 도메인 특화 의미를 포착하는 데 어려움을 겪을 수 있으며, 이를 적응시키려면 일반적으로 대량의 라벨 데이터와 학습 파이프라인 구현에 필요한 기술적 전문성이 요구된다. 최근 접근법들은 문서 투영에서의 시각적 상호작용이 모델 튜닝을 위한 학습 신호로 인간 피드백을 포착할 수 있음을 보여주었다. 그러나 이러한 방법들은 문서 수준 피드백을 기반으로 동작하며, 효과적인 피드백을 제공하려면 사용자가 개별 문서를 열어 평가해야 한다. 본 논문에서는 키워드 기반 개념 명세를 통해 특징 수준 피드백을 가능하게 하는 상호작용 프레임워크 KeySI를 제안한다. 사용자는 추출된 키워드를 개념을 나타내는 그룹으로 구성하여 피드백을 지정하며, KeySI는 이를 후속 튜닝을 위한 문서 수준 지도 신호로 변환한다. 키워드를 주요 상호작용 매체로 사용함으로써 KeySI는 수동 문서 검토 및 라벨링의 필요성을 줄이고 임베딩 모델 적응의 진입 장벽을 낮춘다. 우리는 코퍼스가 주어졌을 때 대표 키워드를 선별하고, 차원 축소를 통해 키워드와 문서 임베딩을 시각화하며, 키워드 그룹의 대화형 명세를 허용하고, 시스템 피드백을 통한 반복적 정제를 지원하는 프로토타입 구현을 제시한다. 사용자 연구, 사용 시나리오, 정량 실험을 통해 KeySI를 평가하며, 사용자 의도 포착 및 임베딩 정렬 개선에서의 효과를 입증한다.

arXiv:2607.03145v1cs.LG공통 태그 Clustering, Active Learning

CuBAS: 지도 분류를 위한 정보 기하학적 곡률 기반 적응형 샘플링

CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification

학습 데이터셋의 정보성은 그 크기만큼이나 중요하지만, 대부분의 샘플링 전략은 데이터 분포의 내재적 기하 구조를 고려하지 않는다. 우리는 q-상태 Potts 마르코프 랜덤 필드(MRF) 모델에 기반하여, 지도 분류에서의 적응형 데이터 선택을 위한 정보 기하학적 프레임워크인 CuBAS(Curvature-Based Adaptive Sampling)를 제안한다. 핵심 통찰은 레이블된 데이터셋을 통계 다양체(statistical manifold)로 볼 수 있다는 것이며, 이 위에서 2차 관측 Fisher 정보와 1차 관측 Fisher 정보의 비율로 추정되는 국소 곡률이 데이터 분포의 기하학적 복잡도를 충실히 인코딩한다는 점이다. 우리는 레이블된 데이터에 대해 k-최근접 이웃 그래프를 구성하고, Potts 충분 통계량으로부터 각 꼭짓점에서의 폐형(closed-form) 곡률 점수를 유도한다. 이 곡률 신호는 그래프를 두 가지 상호 보완적인 영역으로 분할한다: 매끄럽고 균질한 클러스터에 해당하는 저곡률 영역과, 분류에 불균형적으로 많은 정보를 담고 있는 결정 경계 주변에 집중된 고곡률 영역이다. CuBAS는 두 영역 모두에서 노드를 선택함으로써 간결하면서도 최대한 정보가 풍부한 학습 부분집합을 구성한다. 60개 이상의 벤치마크 데이터셋에 대한 실증 평가에서, 다양한 레이블링 예산과 분류기 아키텍처에 걸쳐 랜덤 샘플링 및 불확실성 기반 베이스라인 대비 일관되고 통계적으로 유의미한 성능 향상이 확인되었다. CuBAS는 계산 효율적이며(k-NN 그래프 엣지 수에 대해 선형), 통계 다양체의 미분 기하학에 이론적 근거를 두고 있으며, 데이터 다양체의 국소 형상 연산자(local shape operator) 관점에서 해석 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.