arXiv:1508.04525

Recognizing Extended Spatiotemporal Expressions by Actively Trained Average Perceptron Ensembles

Wei Zhang, Yang Yu, Osho Gupta, Judith Gelernter

제출 2015-08-19

원문 초록

Precise geocoding and time normalization for text requires that location and time phrases be identified. Many state-of-the-art geoparsers and temporal parsers suffer from low recall. Categories commonly missed by parsers are: nouns used in a non- spatiotemporal sense, adjectival and adverbial phrases, prepositional phrases, and numerical phrases. We collected and annotated data set by querying commercial web searches API with such spatiotemporal expressions as were missed by state-of-the- art parsers. Due to the high cost of sentence annotation, active learning was used to label training data, and a new strategy was designed to better select training examples to reduce labeling cost. For the learning algorithm, we applied an average perceptron trained Featurized Hidden Markov Model (FHMM). Five FHMM instances were used to create an ensemble, with the output phrase selected by voting. Our ensemble model was tested on a range of sequential labeling tasks, and has shown competitive performance. Our contributions include (1) an new dataset annotated with named entities and expanded spatiotemporal expressions; (2) a comparison of inference algorithms for ensemble models showing the superior accuracy of Belief Propagation over Viterbi Decoding; (3) a new example re-weighting method for active ensemble learning that 'memorizes' the latest examples trained; (4) a spatiotemporal parser that jointly recognizes expanded spatiotemporal expressions as well as named entities.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10615v1stat.ML공통 태그 Ensemble Learning, Active Learning

JevForest: 예산 제약 특징 획득을 위한 경로 투표

JevForest: Path Voting for Budgeted Feature Acquisition

제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.

arXiv:2607.13479v1cs.RO공통 태그 Ensemble Learning, Active Learning

희소 촉각으로부터 변형 객체의 토폴로지 불변 메시 재구성

Topology-Agnostic Mesh Reconstruction of Deformable Objects from Sparse Touch

변형 객체의 전체 형상을 추정하는 것은 시각 정보를 사용할 수 없을 때 특히 어렵다: 어두운 환경, 불투명한 가방 안, 조작하는 손 뒤, 또는 심한 자기 가림(self-occlusion) 하에서 그렇다. 이러한 상황에서 촉각(touch)은 자연스러운 센서이지만, 접촉은 희소(sparse)하고 국소적(local)이다. 우리는 시각 정보 없이 단 몇 번의 접촉만으로 변형 객체의 전체 메시(mesh)를 재구성하는 단일 토폴로지 불변(topology-agnostic) 추정기를 제시한다. 1D 로프(rope), 2D 천(cloth), 3D 체적 연성체(volumetric soft body)를 모두 다루는 하나의 순열 불변(permutation-invariant) 크로스 어텐션(cross-attention) 아키텍처를 사용한다. 학습된 추정기는 비학습 기반 기하학적 메시 보완(completion) 및 가우시안 프로세스(Gaussian process) 표면 기준선 대비 재구성 오류를 대략 3분의 2만큼 줄이며, 더 단순한 글로벌 풀(global-pool) 집합 인코더(set encoder)보다 우수하다. 접촉이 더 많이 관측될수록 성능 격차는 커진다. 이어서 추정기의 딥 앙상블(deep-ensemble) 불확실성을 다음 접촉 위치를 학습하는 데 활용할 수 있음을 보인다. 이는 오류를 더 줄이며, 희소한 예산(sparse budgets)에서 무작위 접촉과 가우시안 프로세스 능동(active) 기준선을 모두 능가한다. 이 이득은 평균적으로는 완만하지만 자기 가림이 심할수록, 그리고 오류 꼬리(error tail)에서 더 커진다. 시각 정보도 사용 가능할 때는 어디를 접촉할지는 거의 중요하지 않으며, 이는 우리가 연구하는 시각 정보 없는(vision-free) 설정을 정당화한다.

arXiv:2606.26002v1cs.LG공통 태그 Ensemble Learning, Active Learning

신경망 압축을 위한 계층적 강화학습(HiReLC): 가지치기와 양자화

Hierarchical Reinforcement Learning for Neural Network Compression (HiReLC): Pruning and Quantization

우리는 심층 신경망의 자동화된 결합 양자화 및 구조적 가지치기를 위한 계층적 앙상블 강화학습 프레임워크인 HiReLC를 제시한다. 이 프레임워크는 압축 탐색을 두 가지 추상화 수준으로 분해한다: 저수준 에이전트(LLA)는 블록별로 독립적으로 동작하며, 비트폭, 가지치기 유지 비율, 양자화 유형, 세분화 수준을 포괄하는 다중 이산(multi-discrete) 행동 공간에서 커널별 설정을 선택하고, 고수준 에이전트(HLA)는 Fisher Information 기반 민감도 추정치로 안내되는 앙상블 투표를 통해 전역 예산 할당을 조율한다. 정책 평가의 계산 비용을 완화하기 위해, 반복적인 능동 학습 루프가 서로게이트 기반 강화학습 최적화와 압축 후 미세조정을 교차 수행하며, 경량 MLP 서로게이트를 사용하여 비용이 큰 평가를 분산시키고 콜드 스타트(cold-start) 시에는 로짓-MSE 프록시를 활용한다. 서로게이트는 최종 압축 후 평가를 대체하는 것이 아니라 보상 형성(reward shaping)을 위해 사용된다. 컨트롤러는 설계상 아키텍처에 구애받지 않으며, 모듈식 층 추상화를 통해 강화학습 환경을 기반 네트워크 토폴로지로부터 분리한다. Vision Transformer와 CNN 벤치마크에 걸친 실험에서 5.99~6.72×의 효과적인 매개변수-저장 압축 비율을 달성하였으며, 한 설정에서는 3.83%의 정확도 향상을, 그 외 설정에서는 0.55~5.62%의 정확도 하락을 보였다. 이는 계층적 정책 분해와 민감도 인식 안내가 결합 신경망 압축을 위한 실용적인 설계 선택임을 뒷받침한다.

arXiv:2607.05019v3cs.LG공통 태그 Ensemble Learning

이종 심층 앙상블을 이용한 융합 없는 멀티모달 분류

Fusion-Free Multimodal Classification with Heterogeneous Deep Ensembles

멀티모달 분류에서 후기 융합(late-fusion) 방식은 단일 모달 신경망이 추출한 모달리티별 특징을 연결하여 분류한다. 모달리티 불균형이 뚜렷할 때는 학습 과정의 균형을 맞추고 후기 융합 네트워크의 낮은 성능을 극복하기 위한 다양한 정규화 기법이 제안되어 왔다. 이에 반해 본 연구는 단일 모달 네트워크의 심층 앙상블을 사용하면 명시적인 모달리티 융합 없이도 멀티모달 데이터를 효과적으로 분류할 수 있음을 보인다. 동일한 파라미터 수에서 심층 앙상블과 후기 융합 네트워크를 체계적으로 비교하여, 무작위 초기화로 훈련할 때 앙상블이 모달리티 불균형을 해결하도록 설계된 최신 후기 융합 방법을 일관되게 능가함을 보인다. 이러한 우위는 본 연구에서 평가한 중간 융합 기법과 단일 모달 및 멀티모달 분류기를 결합한 하이브리드 방법에 대해서도 유지된다. 계산 비용이 큰 완전 탐색을 피하면서 앙상블에서 모달리티별 모델 수를 선택하는 방법을 제안하고 실험적으로 검증한다. 극단적인 모달리티 불균형과 작은 앙상블 크기에서는 이 휴리스틱이 더 강한 모달리티만으로 훈련된 단일 모달 모델의 앙상블이 더 바람직함을 시사한다. 앙상블 규모가 커지면 더 약한 모달리티의 모델을 포함하는 것이 유익해진다. 두 예측 모두 본 연구의 실험 결과와 일치한다. 다만 앙상블 구성원의 다양성이 낮으면 이 휴리스틱은 신뢰성이 떨어진다. 멀티모달 모델 최적화의 어려움을 체계적으로 탐구하기 위해, 모달리티 수와 예측 강도를 모두 제어할 수 있는 합성 멀티모달 프레임워크를 제안한다. 본 연구의 결과는 합성 데이터셋과 실제 데이터셋 전반에서 일관된다. 마지막으로 이중 모달 데이터셋에 스케일링 법칙을 적합하여 앙상블의 점근적 성능을 추정한다.

arXiv:2607.12075v3eess.IV공통 태그 Ensemble Learning

데이터셋 이동 하에서 갑상선 결절 초음파 분류를 위한 딥 앙상블 기반 보정된 선택적 예측

Calibrated selective prediction using deep ensembles for thyroid nodule ultrasound classification under dataset shift

배경: 딥러닝은 초음파에서 갑상선 결절을 분류할 수 있으나, 판별 성능만으로는 임상적 신뢰성이 확립되지 않는다. 우리는 불확실성 인지 선택적 예측과 보수적인 영상 기반 선별을 갖춘 보정된 딥 앙상블 프레임워크를 개발하였다. 방법: 3겹 내부 아키텍처 선택을 포함한 중첩 5겹 교차 검증으로 squeeze-and-excitation 블록을 갖춘 ConvNeXt-Tiny를 선택하였고, 이를 이용해 결정론적 5개 구성원 앙상블을 구축하였다. 각 폴드 내에서 학습, 조기 종료, 보정, 임계값 부분집합을 분리하였으며, 외부 테스트 데이터는 격리된 상태로 유지하였다. 상호 정보량(MI), 예측 분산, 최대 소프트맥스 확률(MSP) 불확실성을 위험-커버리지 및 선별 분석과, 가정한 악성 유병률 5%-70%에 걸친 예측값으로 비교하였다. 고정된 TN5000 앙상블을 재보정 없이 TN3K에 적용하였다. 결과: TN5000에서 풀링된 out-of-fold AUC-ROC는 0.9377, 평균 정밀도는 0.9708, 기대 보정 오차는 0.0138, Brier 점수는 0.0827이었다. MI 기반 주 정책에서 영상의 8.86%가 No-FNA 제안을, 60.00%가 FNA 권고를, 31.14%가 영상의학과 의사 검토를 받았으며, 악성 영상 3574건 중 14건(0.39%)이 No-FNA, 708건(19.81%)이 검토를 받았다. 예측 분산과 MSP가 MI보다 오류를 더 잘 순위화하였고(AURC, AUGRC), 모든 선별 결과를 최적화한 척도는 없었다. 유병률 5%-70% 전반에서 NPV는 99.95%-97.93%, PPV는 29.28%-94.75%였다. TN3K에서 AUC-ROC는 0.7870, 평균 정밀도는 0.7254, 기대 보정 오차는 0.1899, 영상의학과 의사 검토율은 83.7%였다. 결론: 앙상블은 내부적으로 강한 판별 및 보정 성능을 보였으나 TN3K에서는 성능이 크게 저하되어, 데이터셋 이동 하에서 이식성이 제한적임을 나타냈다. 임상 사용 전에 다기관 검증, 기관별 재보정, 임계값 검증, 전향적 평가가 필요하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.