arXiv:2606.19815v1 cs.CL

클러스터가 필요한 전부입니다: 해석 가능성을 위해 언어 모델의 의미 클러스터로 Tsetlin Machine 사전학습하기

Clusters are All You Need: Pre-Training the Tsetlin Machine with Semantic Clusters from Language Models for Interpretability

Jiechao Gao, Rohan Kumar Yadav, Yuangang Li, Yuandong Pan, Jie Wang, Ying Liu, Michael Lepech

제출 2026-06-18

한국어 초록

BERT와 같은 사전학습된 언어 모델은 강력한 텍스트 분류 성능을 달성하지만 투명성이 부족하여 고위험 환경에서의 사용이 제한됩니다. Tsetlin Machine(TM)은 완전히 해석 가능한 절(clause) 기반 추론을 제공하지만 의미 정보를 거의 포착하지 못하며, 둘을 연결하려는 이전 시도들은 문맥적 의미를 놓치는 정적 단어 임베딩에 의존했습니다. 우리는 임베딩을 사용하지 않고 사전학습된 언어 모델의 지식을 TM으로 전이하는 의미 기반 사전학습 프레임워크를 제안합니다. 텍스트 샘플은 K-means 또는 Top2Vec를 사용하여 의미적으로 응집된 클러스터로 그룹화되며, 결과적으로 생성된 클러스터-샘플 쌍은 강화된 Type I 피드백을 통해 부정이 없는(non-negated) TM을 사전학습합니다. 이에 따라 TM은 다운스트림 태스크에서 파인튜닝되는 해석 가능한 의미 키워드를 학습합니다. 5개의 데이터셋에 걸쳐, 우리의 방법은 기본 TM 및 임베딩 기반 TM을 상당히 능가하며, 해석 가능성을 유지하면서 BERT와 경쟁력 있는 성능에 도달합니다.

원문 초록

Pre-trained language models such as BERT achieve strong text classification performance but lack transparency, limiting their use in high-stakes settings. The Tsetlin Machine (TM) offers fully interpretable, clause-based reasoning but captures little semantic information, and prior attempts to bridge the two rely on static word embeddings that miss contextual meaning. We propose a semantic pre-training framework that transfers knowledge from a pre-trained language model into a TM without using embeddings. Text samples are grouped into semantically coherent clusters with K-means or Top2Vec, and the resulting cluster-sample pairs pre-train a non-negated TM with enhanced Type I feedback. The TM thereby learns interpretable semantic keywords that are fine-tuned on downstream tasks. Across five datasets, our method substantially outperforms vanilla and embedding-based TMs and reaches performance competitive with BERT while remaining interpretable.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19815v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27262v2cs.CL공통 태그 Text Classification, Transfer Learning

하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.

arXiv:2610.00414v1cs.CV공통 태그 Clustering, Transfer Learning

이미지 잠재 공간에서 퍼지 규칙으로: 위장관 파운데이션 모델의 해석 가능한 분석

From Image Latent Space to Fuzzy Rules: Interpretable Analysis of Gastrointestinal Foundation Model

대규모 데이터셋으로 사전학습된 파운데이션 모델은 의료 영상 과제로의 강력한 전이 가능성을 보여준다. 그러나 이들의 잠재 표현이 임상적으로 관련 있는 정보를 어떻게 인코딩하는지 이해하는 것은 안전이 중요한(safety-critical) 영역에서 여전히 미해결 과제로 남아 있다. 본 연구는 사전학습된 파운데이션 모델의 내부 레이어가 생성하는 패치 수준 특징을 어떠한 미세조정 없이 해석하는 프로토타입 기반 퍼지 규칙 프레임워크를 제안한다. 클래스별 프로토타입은 특징 공간에서의 군집화(clustering)를 통해 학습되며, 이를 통해 압축된 시각적 패턴을 얻는다. 이후 패치 특징은 프로토타입과의 유사도로 표현되고, 사람이 읽을 수 있는 언어적 IF-THEN 조건을 가진 퍼지 규칙에 의해 분류된다. 이 프레임워크는 ImageNet-1K와 GastroNet-5M으로 사전학습된 ViT-S/16 백본의 마지막 두 블록에 걸쳐 적용되며, 동일한 고정(frozen) 특징 조건에서 k-최근접 이웃(k-nearest neighbours), 커널 SVM, 선형 프로빙(linear probing)과 비교하여 무선 캡슐 내시경 분류, 위장관 내시경 분류, 대장 용종 분할(segmentation) 과제에서 벤치마크된다. 실험 분석 결과, 제안된 방법은 백본 미세조정 없이도 이러한 블랙박스 분류기들과 비슷한 정확도에 도달하며, 도메인 특화 사전학습이 판별력이 있으면서도 기호적으로 압축 가능한 특징을 산출함을 보여준다. 도출된 규칙은 실제 데이터로부터 추출되어 해석 가능한 용어로 표현되기 때문에, 합성 의료 영상을 조사하는 도구로도 추가로 활용되어, 생성 모델이 어떤 실제 프로토타입과 규칙을 재현하거나 재현하지 못하는지를 사람이 읽을 수 있는 방식으로 설명하며, 단일 점수로 요약하는 대신 합성 영상이 실제 조직과 어디에서 달라지는지를 국소적으로 파악할 수 있게 한다. 따라서 이 프레임워크는 파운데이션 모델이 임상적으로 관련 있는 구조를 어떻게 조직화하는지에 대한 투명하고 깊이 수준에서 해석 가능한(depth-resolved) 시각을 제공하며, 추출된 규칙의 실용적인 후속 활용 방안도 함께 제시한다.

arXiv:2609.27811v1cs.SI공통 태그 Text Classification, Transfer Learning

언어 모델을 활용한 브라질 YouTube 10년간의 기후 양극화

A Decade of Climate Polarization on Brazilian YouTube using Language Models

온라인 플랫폼은 기후 변화에 대한 공적 논쟁의 장이 되어, 과학적 지식·부정·불확실성이 어떻게 표현되고 다투어지는지를 형성해 왔다. 그러나 YouTube, 특히 포르투갈어 담화에 대한 종단적 증거는 여전히 제한적이다. 이 공백을 메우기 위해, 우리는 브라질 중심의 기후 관련 검색을 통해 수집한 대규모 포르투갈어 YouTube 댓글 말뭉치에서 시간에 따른 기후 입장의 표현과 논쟁 양상을 규명한다. 노이즈가 많고 불균형하며 저자원(low-resource)인 환경에서의 분석을 뒷받침하기 위해, 2014년부터 2024년 사이에 게시된 24만 건 이상의 댓글을 수집하고, 입장 탐지(stance detection)를 3-way 분류 과제(Believer, Denier, Inconclusive)로 공식화한다. 우리는 Llama 3.1 기반의 확장 가능한 자기학습(self-training) 파이프라인을 통해 입장 귀속(stance attribution)을 운영화하며, Low-Rank Adaptation(LoRA)과 하이브리드 인스턴스 선택을 사용해 클래스 다양성을 유지하면서 고신뢰도 의사 라벨(pseudo-labeled) 예시로 학습 세트를 확장한다. 이 접근은 소수 클래스 및 수사적으로 복잡한 클래스에 대한 커버리지와 클래스 균형을 개선하여, 광범위한 수동 주석 없이 대규모 입장 귀속을 가능하게 한다. 결과는 양극화가 상호작용적 비대칭(interactional asymmetries)으로 뚜렷이 나타남을 보여준다. 부정론(denialist) 댓글은 덜 흔하지만, 상대적으로 더 높은 비율의 교차 입장 논쟁(cross-stance contestation)과 연관되며, 합의 지지(pro-consensus) 담화는 동일 입장(homogeneous) 스레드 내에서 더 강하게 강화된다.

arXiv:2609.24625v1cs.AI공통 태그 Text Classification, Transfer Learning

글로벌 보건 문헌을 위한 맞춤형 개체명 인식 및 주제 분류

Custom Named Entity Recognition and Topic Classification for Global Health Publications

주석이 달린 데이터와 연산 자원이 제한된 환경에서 글로벌 보건 문헌을 위한 자연어 처리(NLP) 모델을 어떻게 선정하고 적응시켜야 하는가? 본 학위논문은 의미론적 태그 발견, 개체명 인식(NER), 다중 레이블 주제 분류에 대한 실험을 통해 이러한 과제를 조사한다. 먼저, 점진적으로 커지는 전문 코퍼스로 학습된 skip-gram word2vec 모델들을 BioWordVec과 비교하여 코퍼스 크기와 도메인 문맥이 태그 발견에 미치는 영향을 평가한다. 어휘 커버리지와 정성적 평가는 더 넓은 커버리지가 반드시 더 유용한 도메인 특화 연관성으로 이어지지는 않음을 나타낸다. 이어 분석은 개체 추출로 전환되어, 1,000개의 주석이 달린 문장에서 합성곱 spaCy 모델들과 RoBERTa 기반 트랜스포머를 비교한다. 관대한 점수 산정 프로토콜 하에서 트랜스포머는 5~6초 대신 82초가 소요되지만 합성곱 모델의 0.65~0.69에 비해 0.80의 micro-F1을 달성한다. 이러한 트레이드오프는 합성곱 모델의 미세조정과 NCBI 질병 코퍼스에서 81.33%의 테스트 F1을 달성하는 질병 인식기의 통합을 동기부여한다. PDF 전처리, 개체 필터링, MeSH 강화와 결합되어, 최종 파이프라인은 문서 수준 색인을 지원한다. 개체 추출을 주제별 주석으로 보완하기 위해 50개 주제와 1,000개의 수작업 제작 테스트 문장에 걸쳐 MiniLM 기반 퓨샷 분류와 BART-MNLI 제로샷 추론을 비교한다. 부분적 수동 평가 하에서 BART-MNLI는 59% 대비 95.2%의 단일 레이블 정확도를 달성하며, 보고된 다중 레이블 정확도는 각각 88%와 32%이다. 그러나 더 높은 추론 비용은 실제 통합을 제한한다. 본 연구 결과는 도메인 특화와 경량 적응이 실질적인 가치를 제공하는 영역과, 트랜스포머의 정확도가 더 높은 추론 비용을 정당화하는 영역을 보여주며, 자원 제약 하에서 지식 시스템을 구축하기 위한 실증적 기반을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.