arXiv:1804.08501

Dropping Networks for Transfer Learning

James O' Neill, Danushka Bollegala

제출 2018-04-23

원문 초록

Many tasks in natural language understanding require learning relationships between two sequences for various tasks such as natural language inference, paraphrasing and entailment. These aforementioned tasks are similar in nature, yet they are often modeled individually. Knowledge transfer can be effective for closely related tasks. However, transferring all knowledge, some of which irrelevant for a target task, can lead to sub-optimal results due to \textit{negative} transfer. Hence, this paper focuses on the transferability of both instances and parameters across natural language understanding tasks by proposing an ensemble-based transfer learning method. \newline The primary contribution of this paper is the combination of both \textit{Dropout} and \textit{Bagging} for improved transferability in neural networks, referred to as \textit{Dropping} herein. We present a straightforward yet novel approach for incorporating source \textit{Dropping} Networks to a target task for few-shot learning that mitigates \textit{negative} transfer. This is achieved by using a decaying parameter chosen according to the slope changes of a smoothed spline error curve at sub-intervals during training. We compare the proposed approach against hard parameter sharing and soft parameter sharing transfer methods in the few-shot learning case. We also compare against models that are fully trained on the target task in the standard supervised learning setup. The aforementioned adjustment leads to improved transfer learning performance and comparable results to the current state of the art only using a fraction of the data from the target task.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24625v1cs.AI공통 태그 Natural Language Inference, Transfer Learning, Few-Shot Learning

글로벌 보건 문헌을 위한 맞춤형 개체명 인식 및 주제 분류

Custom Named Entity Recognition and Topic Classification for Global Health Publications

주석이 달린 데이터와 연산 자원이 제한된 환경에서 글로벌 보건 문헌을 위한 자연어 처리(NLP) 모델을 어떻게 선정하고 적응시켜야 하는가? 본 학위논문은 의미론적 태그 발견, 개체명 인식(NER), 다중 레이블 주제 분류에 대한 실험을 통해 이러한 과제를 조사한다. 먼저, 점진적으로 커지는 전문 코퍼스로 학습된 skip-gram word2vec 모델들을 BioWordVec과 비교하여 코퍼스 크기와 도메인 문맥이 태그 발견에 미치는 영향을 평가한다. 어휘 커버리지와 정성적 평가는 더 넓은 커버리지가 반드시 더 유용한 도메인 특화 연관성으로 이어지지는 않음을 나타낸다. 이어 분석은 개체 추출로 전환되어, 1,000개의 주석이 달린 문장에서 합성곱 spaCy 모델들과 RoBERTa 기반 트랜스포머를 비교한다. 관대한 점수 산정 프로토콜 하에서 트랜스포머는 5~6초 대신 82초가 소요되지만 합성곱 모델의 0.65~0.69에 비해 0.80의 micro-F1을 달성한다. 이러한 트레이드오프는 합성곱 모델의 미세조정과 NCBI 질병 코퍼스에서 81.33%의 테스트 F1을 달성하는 질병 인식기의 통합을 동기부여한다. PDF 전처리, 개체 필터링, MeSH 강화와 결합되어, 최종 파이프라인은 문서 수준 색인을 지원한다. 개체 추출을 주제별 주석으로 보완하기 위해 50개 주제와 1,000개의 수작업 제작 테스트 문장에 걸쳐 MiniLM 기반 퓨샷 분류와 BART-MNLI 제로샷 추론을 비교한다. 부분적 수동 평가 하에서 BART-MNLI는 59% 대비 95.2%의 단일 레이블 정확도를 달성하며, 보고된 다중 레이블 정확도는 각각 88%와 32%이다. 그러나 더 높은 추론 비용은 실제 통합을 제한한다. 본 연구 결과는 도메인 특화와 경량 적응이 실질적인 가치를 제공하는 영역과, 트랜스포머의 정확도가 더 높은 추론 비용을 정당화하는 영역을 보여주며, 자원 제약 하에서 지식 시스템을 구축하기 위한 실증적 기반을 제공한다.

arXiv:2609.27710v3cs.CV공통 태그 Transfer Learning, Few-Shot Learning

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2608.08090v2cs.CL공통 태그 Transfer Learning, Natural Language Understanding

통합 속의 지혜: 속담 내 비유적 언어 식별에서 다국어 학습의 역할

Wisdom in Unity: The Role of Multilingual Training in Figurative Language Identification in Proverbs

비유적 언어 식별에 대한 다국어 접근법은 새롭지 않지만, 단일 언어로 구성된 학습 데이터를 넘어서려면 번역된 다국어 지도(supervision)의 기여에 대한 더 명확한 이해가 필요하다. 본 연구는 7개 언어에 걸쳐 번역된 6,787개 인스턴스를 아우르는 742개의 속담 개념을 사용하여 이 질문을 조사한다. 저자들은 다국어 인코더와 인스트럭션 튜닝(instruction tuning)된 대규모 언어 모델(LLM)을 포함한 5개 모델을 대상으로, 다국어 지도의 수준을 점진적으로 높여 가며 평가한다. 또한 속담을 은유적(Metaphorical), 도덕/조언적(Moral/Advisory), 인과적(Cause-Effect), 문화 특수적(Culture-Specific)이라는 상호 보완적인 네 가지 비유 형태로 특징짓는 속담용 다차원 주석 프레임워크를 제안한다. 연구 결과, 전반적으로 다국어 학습(training) 데이터를 50% 이상 추가할 때 추가적인 성능 향상은 제한적이었으나, 최적의 지도 수준은 모델(model)과 언어에 따라 상이했다. 또한 다양한 비유 형태를 결합할 때 전반적인 성능이 가장 높게 나타남을 보인다. 주목할 만한 발견은 발생 빈도가 가장 낮은 비유 형태인 문화 특수적 형태가 다국어 지도 하에서 가장 큰 성능 향상을 보였다는 점이다. 나아가 속담의 도덕/조언적 형태와 문화 특수적 형태는 인스트럭션 튜닝된 LLM의 전반적인 비유 식별 성능에 더 크게 기여한다. 이러한 결과는 다국어 비유 식별 연구가 은유 중심의 분류 체계를 넘어, 문맥을 대표하는 상호 보완적인 비유적 의미 형태를 명시적으로 모델링하는 개념 수준의 다차원 프레임워크로 나아가도록 동기를 부여한다.

arXiv:2609.27678v1cs.CL공통 태그 Natural Language Inference, Natural Language Understanding

같은 점수, 다른 결정: 법률 문서 이해를 위한 JEV와 언어 모델 평가

Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding

계약 추론은 하나의 공유 문서에 대한 여러 판단을 필요로 하지만, 집계 정확도는 개별 결정의 변화를 가릴 수 있다. 반복된 일치만으로도 충분하지 않으며, 모델이 지속적으로 잘못된 답을 반환할 수 있다. 본 논문에서는 ContractNLI에서 Jev와 아홉 개의 언어 모델을 비교하며, 추론 비용, 응답 시간, 평균 정확도, 반복 요청 조건에서의 정확도를 평가한다. 통제된 비교에서는 계약과 목표 판단을 고정한 채 가설 가시성, 요청된 출력, 출력 순서를 달리한다. 평가된 구성 중 Jev는 최저 비용과 중간값 응답 시간을 보이는 반면, 호스팅된 언어 모델은 더 높은 기준선 정확도를 달성한다. 기준선 정확도에 따른 순위는 모든 조건과 반복에서 정확도에 따른 순위와 다르며, 후자에서의 작은 차이가 일반적인 안정성 우위를 입증하지는 않는다. 개발 진단은 상쇄하는 수정과 퇴행뿐 아니라 지속적인 오류도 추가로 드러낸다. 이러한 결과는 요청 구성이 바뀔 때 개별 판단이 여전히 올바른지와 함께 비용과 응답 시간을 평가할 필요를 제기한다. Code: https://github.com/ZF-Utokyo/Jev-Benchmark

arXiv:2608.14824v2eess.AS공통 태그 Transfer Learning, Few-Shot Learning

코끼리 발성 분류를 위한 매개변수 없는 퓨샷 평가

A Parameter-Free Few-Shot Evaluation for Elephant Vocalisation Classification

우리는 Elephant Voices(EV) 및 Linguistic Data Consortium(LDC) 데이터셋에서 고정된 사전학습 임베딩 위의 코끼리 발성에 대한 최근접 중심(centroid) 분류의 매개변수 없는 에피소드 평가를 제시한다. 우리가 묻는 것은 모든 라벨 데이터로 학습한 분류기에 어떤 임베딩이 최적인지가 아니라, 클래스당 예시(exemplar) 수가 달라질 때 가장 단순한 분류기가 어떻게 수행되는지이다. 각 클래스는 지원(support) 임베딩의 평균으로 모델링되고 각 쿼리는 제곱 유클리드 거리 하에서 가장 가까운 중심에 할당되므로 학습 가능한 매개변수는 없다. 평가는 mel frequency cepstral coefficient(MFCC) 특징과 함께 고정된 Perch(ver. 1), Perch(ver. 2), HuBERT(base, layer 2) 임베딩을 대상으로 하며, 학습된 분류기와 동일한 계층화 $K$-fold 교차 검증(validation) 프로토콜 하에서 $N$-way $k$-shot으로 수행한다. 이 임베딩 모델들 중 어느 것도 코끼리 울음 유형을 구별하도록 학습되지는 않았다. 더 작은 EV 데이터셋에서는 중심 분류기가 뚜렷이 데이터 효율적이다. Perch(ver. 1) 또는 Perch(ver. 2) 임베딩을 사용하면 평균 정밀도(mAP)에서 예시 한두 개부터 전 데이터로 학습한 로지스틱 회귀(LR) 기준선(baseline)을, 예시 두 개부터 순환(recurrent) 기준선을 추월한다. 강한 지도 end-to-end 기준선이 학습된 축소된 울음 유형 집합에서도 Perch(ver. 2) 임베딩을 쓰는 중심 분류기는 예시 두 개부터 mAP에서 해당 기준선을 역시 추월한다. 더 큰 LDC 데이터셋에서는 순환 기준선이 고려한 모든 $k$ 값에 대해 우위를 유지한다. LR만이 추월되며, 그것도 mAP에서만이다. 따라서 최근접 중심 분류는 예시가 적고 고정 임베딩이 이미 울음 유형을 분리할 때 바로 그때 선호된다.

arXiv:2609.17194v2cs.LG공통 태그 Transfer Learning, Few-Shot Learning

MyoFlow: 세션 및 피험자 간 HD-sEMG 제스처 인식을 위한 앵커 결합 정류 흐름(rectified flow)

MyoFlow: Anchor-Tied Rectified Flow for HD-sEMG Gesture Recognition Across Sessions and Subjects

고밀도 표면 근전도(HD-sEMG) 제스처 인식은 의수 제어, 보조 로봇, 재활을 지원하지만, 전극 재착용과 생리적 변동성이 분포 이동(distribution shift)을 일으켜 세션 및 피험자 간 정확도를 저하시킨다. 생성형 HD-sEMG 모델은 주로 증강을 위해 신호를 합성하며, 확산(diffusion) 모델이 표현 학습(representation learning)을 향상시키더라도 예측은 여전히 별도의 분류기에 의존한다. 학습된 역학을 결정 규칙에 연결하기 위해, 세션 및 피험자 간 HD-sEMG 인식을 위한 최초의 판별적 flow-matching 프레임워크인 MyoFlow를 제안한다. 분류(classification)를 앵커 결합 수송(anchor-tied transport)으로 재구성한다. 도메인 조건 정류 흐름(rectified flow)이 인코딩된 윈도우를 수송 목표이자 최근접 앵커 결정 기하를 정의하는 제스처 앵커 쪽으로 이동시켜, 독립적인 헤드(head) 없이 제로샷(zero-shot) 인식을 가능하게 한다. Hyser 데이터셋(dataset)에서 MyoFlow는 가장 강력한 확산 기반 기준선(baseline) 대비 평균 교차 세션 및 교차 피험자 정확도를 각각 4.24% 및 6.37% 향상시키며, CEMHSEY 데이터셋에서 여러 날에 걸친 평균 제로샷 정확도 91.71%와 평균 퓨샷(few-shot) 정확도 97.39%를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.