PyTorchKR Papers

최신 논문

총 22편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:1806.01899

MRPC: An R package for accurate inference of causal graphs

We present MRPC, an R package that learns causal graphs with improved accuracy over existing packages, such as pcalg and bnlearn. Our algorithm builds on the powerful PC algorithm, the canonical algorithm in computer science for learning directed acyclic graphs. The improvement in accuracy results from online control of the false discovery rate (FDR) that reduces false positive edges, a more accurate approach to identifying v-structures (i.e., $T_1 \rightarrow T_2 \leftarrow T_3$), and robust estimation of the correlation matrix among nodes. For genomic data that contain genotypes and gene expression for each sample, MRPC incorporates the principle of Mendelian randomization to orient the edges. Our package can be applied to continuous and discrete data.

arXiv:2311.04799v3cs.CL

DA-Cramming: 의존 관계 일치 통합을 통한 비용 효율적인 언어 모델 사전학습 향상

DA-Cramming: Enhancing Cost-Effective Language Model Pretraining with Dependency Agreement Integration

언어 모델(language model) 사전학습(pre-training)은 상당한 계산 비용으로 인해 여전히 많은 연구자들에게 어려운 과제입니다. 이에 따라 보다 경제적인 사전학습 방법을 개발하는 것에 대한 관심이 커지고 있습니다. 이 분야에서 주목할 만한 발전 중 하나는 단 하루 만에 단 1대의 GPU만을 사용하여 BERT 스타일 언어 모델의 사전학습을 가능하게 한 Cramming 기법(Geiping and Goldstein, 2022)입니다. 이러한 혁신적인 접근법을 기반으로, 본 논문에서는 의존 관계 일치(dependency agreement)에 대한 정보를 사전학습 과정에 통합하는 효율적인 프레임워크인 DA-Cramming(Dependency Agreement Cramming)을 소개합니다. 파인튜닝(fine-tuning) 과정에서 유사한 의미 정보를 활용하는 기존 방법들과 달리, 우리의 접근 방식은 사전학습 동안 의미 정보를 활용하여 기초적인 언어 이해력을 향상시키는 데 집중한 선구적인 시도입니다. 우리는 청크(chunk) 수준에서 대표적인 의존 관계 일치를 포착하기 위해 4개의 전용 서브모델로 구성된 2단계 사전학습 워크플로우를 세심하게 설계하였으며, 이러한 일치 관계를 임베딩(embedding)으로 효과적으로 변환하여 사전학습에 도움을 주도록 했습니다. 광범위한 실험 결과는 우리의 방법이 다양한 태스크에 걸쳐 이전 방법들보다 뛰어난 성능을 보임을 입증합니다.