Dependency Parsing with Dilated Iterated Graph CNNs
원문 초록
Dependency parses are an effective way to inject linguistic knowledge into many downstream tasks, and many practitioners wish to efficiently parse sentences at scale. Recent advances in GPU hardware have enabled neural networks to achieve significant gains over the previous best models, these models still fail to leverage GPUs' capability for massive parallelism due to their requirement of sequential processing of the sentence. In response, we propose Dilated Iterated Graph Convolutional Neural Networks (DIG-CNNs) for graph-based dependency parsing, a graph convolutional architecture that allows for efficient end-to-end GPU parsing. In experiments on the English Penn TreeBank benchmark, we show that DIG-CNNs perform on par with some of the best neural network parsers.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
The Grammar Does the Work: Functional vs. Lexical Dependency Length Minimization Across Universal Dependencies
CAIT: 아동-성인 상호작용을 위한 구문 분석 툴킷
CAIT: A Syntactic Parsing Toolkit for Child-Adult InTeractions
CHILDES는 언어 습득 연구에서 핵심적인 자료원이지만, 그 구문 구조를 분석하는 계산 도구는 여전히 부족하다. 최근 공개된 금표준 Universal Dependencies(UD) 주석이 포함된 UD-English-CHILDES 트리뱅크를 활용하여, 우리는 CHILDES에 특화된 최신 의존 구문 분석기를 학습시켰다. 이 분석기는 아동-성인 상호작용의 구문 패턴을 더 정확하게 포착하며, SpaCy와 Stanza를 포함한 널리 사용되는 기성 영어 분석기들을 능가한다. 분석기와 함께, 품사 태거(Part-of-Speech tagger)와 발화 수준 구문 구조 태거(utterance-level construction tagger)도 함께 공개하며, 이들이 결합되어 아동-성인 상호작용을 위한 오픈소스 구문 분석 툴킷인 CAIT를 구성한다. 상세한 오류 분석과 CHILDES의 발달 시기별 구문 구조 분포를 추적하는 사례 연구를 통해, 언어 습득에 관한 대규모의 재현 가능한 연구에 대한 이 툴킷의 실용적 유용성을 입증한다.
프라하 의존 트리뱅크 통합 2.0: 복합 주석 체계의 확장
Prague Dependency Treebank -- Consolidated 2.0: Enriching a Complex Annotation Scheme
프라하 의존 트리뱅크 프레임워크는 문장 간 현상, 특히 공참조와 담화 관계를 포함하는 의미 표상을 비롯하여 언어의 여러 층위를 체계적으로 포함하고 연결하려 한다는 점에서 독보적이다. 본 논문은 두 번째 통합 버전(PDT-C 2.0)을 소개한다. 이 버전은 거의 30년에 걸친 지속적 자원 개발 프로젝트를 마무리하여, 장르가 다양하고 약 400만 토큰에 달하며 균일하고 일관되게 주석이 부착된 체코어 언어 자원으로 완성한 것이며, 완전히 호환되는 어휘 사전도 함께 제공한다. 지속적인 언어학적 연구에 더하여, 풍부한 언어학적 주석이 달린 이 코퍼스는 전통적 NLP 도구와 새로운 NLP 도구의 발전을 비교하는 국제 평가와 다른 형식론으로의 변환에도 널리 활용된다. 코퍼스와 학습된 파서는 CC BY-NC-SA 라이선스로 공개되어 있다.
UD_Czech-PDTC 소개: Universal Dependencies의 대규모 장르 풍부 트리뱅크
Meet UD_Czech-PDTC: A Large and Genre-Rich Treebank in Universal Dependencies
체코어는 2015년 첫 릴리스부터 Universal Dependencies의 일부였다. 또한 프라하 의존 트리뱅크가 대부분의 다른 UD 트리뱅크보다 한 자릿수 이상 큰 규모로, 가장 잘 대표되는 언어 중 하나였다. 최근에는 프라하 계열의 다른 데이터셋 세 개가 추가되고 주석이 전면적으로 재검토되어 "프라하 의존 트리뱅크 통합판"(PDT-C)이 구성되었다. 원래의 PDT와 비교하여 PDT-C는 두 배 이상 크며, 장르와 도메인 면에서도 훨씬 다양하다. 본 논문은 이 새로운 자원을 Universal Dependencies로 변환한 과정을 기술한다. 두 주석 체계는 언뜻 비슷해 보이지만, 의존 구조의 위상과 품사 및 관계 유형 목록의 세분화 정도에는 수많은 사소한 차이가 있다. 이러한 차이 중 일부를 예시로 보이고, 서로 다른 동기를 논의하며, 변환 중 차이를 극복하는 방법을 다룬다. PDT는 덜 "보편적"이고 하나의 언어에 더 밀접하게 묶여 있지만, 다층 주석이 풍부하여 기본 UD 트리에 필요한 모든 정보와 그 이상을 제공한다고 주장한다.
LLM 추론의 수치적 불안정성 규명: HEAL을 통한 미션 크리티컬 태스크의 재현 가능한 추론 달성
Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL
대규모 언어 모델(LLM)이 금융, 의료, 법률과 같은 미션 크리티컬 영역에 배포되면서 출력 재현성은 엄격한 시스템 요구사항이 되었다. 실무자들은 알고리즘적 확률성을 제거하기 위해 탐욕적 디코딩을 사용하지만, 16비트 정밀도를 사용하는 실제 배포 환경에서는 이기종 GPU 간에 치명적인 출력 불일치가 여전히 나타난다. SASS 수준 프로파일링을 통해 이러한 불일치가 근본적으로 커널 경계에서 다운캐스팅 중 발생하는 절단 오차에 의해 유발됨을 밝힌다. 그러나 전역 FP32 파이프라인으로 재현성을 확보하면 과도한 시스템 비용이 발생한다. 16비트 하드웨어 가속기를 우회하면 연산 효율이 떨어지고, KV 캐시를 상향 캐스팅하면 메모리 오버헤드가 두 배가 된다. 이러한 간극을 메우기 위해 FP32 정밀도를 근사하면서 두 가지 표적 메커니즘으로 하드웨어 제약을 해결하는 표적 개입 기법인 하이브리드 오차 완화(Hybrid Error ALleviation, HEAL)를 제안한다. 첫째, 부동소수점 형식이 Q, K, V 텐서에 대해 비트 폭을 충분히 활용하지 못한다는 점에 착안하여, HEAL은 KV 캐시 점유량을 늘리지 않으면서 수치 안정성을 보존하는 INT16 양자화를 적용한다. 둘째, HEAL은 대수적 오차 보상 전략을 통해 고정밀 행렬 곱셈을 합성하며, 이를 전적으로 고처리량 16비트 텐서 코어에서 실행한다. 접근법을 실용적으로 평가하기 위해 미션 크리티컬 작업의 재현성을 겨냥한 벤치마크인 MCR-Bench를 소개한다. HEAL은 다운스트림 작업에서 FP32 기준선과 동일한 수준의 재현성을 달성하면서 성능 오버헤드를 최대 6.0$\times$까지 줄인다.
LiteTopK: 장문맥 희소 어텐션용 통합 Indexer-TopK 커널을 위한 차원의 저주 활용
LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention
토론
이 논문과 연결된 포럼 글이 아직 없습니다.