arXiv:2101.08133

Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates

Artem Shelmanov, Dmitri Puzyrev, Lyubov Kupriyanova, Denis Belyakov, Daniil Larionov, Nikita Khromov, Olga Kozlova, Ekaterina Artemova, Dmitry V. Dylov, Alexander Panchenko

제출 2021-01-20

원문 초록

Annotating training data for sequence tagging of texts is usually very time-consuming. Recent advances in transfer learning for natural language processing in conjunction with active learning open the possibility to significantly reduce the necessary annotation budget. We are the first to thoroughly investigate this powerful combination for the sequence tagging task. We conduct an extensive empirical study of various Bayesian uncertainty estimation methods and Monte Carlo dropout options for deep pre-trained models in the active learning framework and find the best combinations for different types of models. Besides, we also demonstrate that to acquire instances during active learning, a full-size Transformer can be substituted with a distilled version, which yields better computational performance and reduces obstacles for applying deep active learning in practice.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27811v1cs.SI공통 태그 Transfer Learning, Active Learning

언어 모델을 활용한 브라질 YouTube 10년간의 기후 양극화

A Decade of Climate Polarization on Brazilian YouTube using Language Models

온라인 플랫폼은 기후 변화에 대한 공적 논쟁의 장이 되어, 과학적 지식·부정·불확실성이 어떻게 표현되고 다투어지는지를 형성해 왔다. 그러나 YouTube, 특히 포르투갈어 담화에 대한 종단적 증거는 여전히 제한적이다. 이 공백을 메우기 위해, 우리는 브라질 중심의 기후 관련 검색을 통해 수집한 대규모 포르투갈어 YouTube 댓글 말뭉치에서 시간에 따른 기후 입장의 표현과 논쟁 양상을 규명한다. 노이즈가 많고 불균형하며 저자원(low-resource)인 환경에서의 분석을 뒷받침하기 위해, 2014년부터 2024년 사이에 게시된 24만 건 이상의 댓글을 수집하고, 입장 탐지(stance detection)를 3-way 분류 과제(Believer, Denier, Inconclusive)로 공식화한다. 우리는 Llama 3.1 기반의 확장 가능한 자기학습(self-training) 파이프라인을 통해 입장 귀속(stance attribution)을 운영화하며, Low-Rank Adaptation(LoRA)과 하이브리드 인스턴스 선택을 사용해 클래스 다양성을 유지하면서 고신뢰도 의사 라벨(pseudo-labeled) 예시로 학습 세트를 확장한다. 이 접근은 소수 클래스 및 수사적으로 복잡한 클래스에 대한 커버리지와 클래스 균형을 개선하여, 광범위한 수동 주석 없이 대규모 입장 귀속을 가능하게 한다. 결과는 양극화가 상호작용적 비대칭(interactional asymmetries)으로 뚜렷이 나타남을 보여준다. 부정론(denialist) 댓글은 덜 흔하지만, 상대적으로 더 높은 비율의 교차 입장 논쟁(cross-stance contestation)과 연관되며, 합의 지지(pro-consensus) 담화는 동일 입장(homogeneous) 스레드 내에서 더 강하게 강화된다.

arXiv:2609.26631v1cs.LG공통 태그 Transfer Learning, Active Learning

지상 기반 하늘 이미지 분류를 위한 레이블 효율적 학습: GCD에서의 전이학습, 능동 학습, 의사 레이블링 벤치마크

Label-Efficient Learning for Ground-Based Sky-Image Classification: A Benchmark of Transfer Learning, Active Learning, and Pseudo-Labeling on GCD

정확한 지상 기반 구름 분류는 대기 모니터링, 태양광 에너지 발전량 예측, 항공 기상 평가, 기후 관측 시스템에 중요하다. 그러나 신뢰할 수 있는 하늘 이미지 어노테이션은 시간이 많이 소요되며, 특히 구름 유형이 시각적으로 유사하거나 혼합되어 있을 때 더욱 그렇다. 본 연구는 지상 기반 구름 데이터셋(Ground-based Cloud Dataset, GCD)을 사용하여 지상 기반 구름 분류에 대한 심층 학습의 레이블 효율성을 연구한다. 새로운 아키텍처를 제안하는 대신, 제한된 어노테이션 예산 하에서 세 가지 실용적 전략, 즉 지도 전이학습(supervised transfer learning), 불확실성 기반 능동 학습(active learning), 고신뢰도 의사 레이블링(pseudo-labeling)을 벤치마크한다. ImageNet으로 사전학습된 ResNet50을 공통 고정(frozen) 백본으로 사용하며, 학습 레이블의 $1\%$부터 $100\%$까지의 레이블 예산에 대해 다섯 개의 랜덤 시드로 실험을 반복한다. 지도 전이학습은 이미 레이블 효율성이 매우 높다. 테스트 정확도는 레이블 $1\%$일 때 $0.635 \pm 0.018$에서 레이블 $40\%$일 때 $0.730 \pm 0.002$로 증가하여, 전체 레이블 결과인 $0.735 \pm 0.003$에 근접한다. 능동 학습과 의사 레이블링은 지도 샘플링과 대등한 성능을 보이며 일부 지표와 예산에서 소폭의 향상을 제공하지만, 둘 다 전체적으로 크거나 일관된 이득을 주지는 못한다. 진단 분석 결과, 채택된 의사 레이블은 $0.946$에서 $0.977$의 정확도로 신뢰할 수 있으나, 더 쉬운 고신뢰도 하늘 유형 그룹에 편향되어 있다. 반면 불확실성 샘플링은 Mixed 그룹과, 서로 혼동되기 쉬운 Stratocumulus 및 Cumulonimbus 그룹을 포함하여 시각적으로 어려운 그룹을 우선적으로 질의하지만, 이러한 표적 획득은 미미한 향상만을 가져온다. 종합하면, 전이학습은 GCD의 어노테이션 요구량을 크게 줄이는 반면, 단순한 능동 학습 및 준지도 학습 전략은 강력한 지도 학습 기준선 대비 추가적인 이점이 제한적이다.

arXiv:2609.07780v3cs.CV공통 태그 Transfer Learning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2609.25722v3cs.LG공통 태그 Transfer Learning

부호 그래프 사전학습 및 프롬프트 학습

Signed Graph Pre-Training and Prompt Learning

부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.