arXiv:2110.07174

Context-gloss Augmentation for Improving Word Sense Disambiguation

Guan-Ting Lin, Manuel Giambi

제출 2021-10-14

원문 초록

The goal of Word Sense Disambiguation (WSD) is to identify the sense of a polysemous word in a specific context. Deep-learning techniques using BERT have achieved very promising results in the field and different methods have been proposed to integrate structured knowledge to enhance performance. At the same time, an increasing number of data augmentation techniques have been proven to be useful for NLP tasks. Building upon previous works leveraging BERT and WordNet knowledge, we explore different data augmentation techniques on context-gloss pairs to improve the performance of WSD. In our experiment, we show that both sentence-level and word-level augmentation methods are effective strategies for WSD. Also, we find out that performance can be improved by adding hypernyms' glosses obtained from a lexical knowledge base. We compare and analyze different context-gloss augmentation techniques, and the results show that applying back translation on gloss performs the best.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03022v1cs.CV공통 태그 Translation, Sentence

ReSCUE: 분절되지 않은 장문 동시 수어 번역을 위한 문장 확정 기반 재번역 기법

ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation

동시 수어 번역(Simultaneous Sign Language Translation, SLT)은 실시간 소통에 매우 중요하지만, 기존 방법들은 사전 분절된 입력을 가정하는 문장 단위의 오프라인 환경에 대체로 국한되어 있습니다. 이러한 가정은 연속적이고 분절되지 않은 비디오 스트림이 수반되는 실제 환경에서의 배포를 저해합니다. 본 논문에서는 실제 스트리밍 환경에 맞추어 학습(training)과 추론(inference)을 정렬하는, 분절되지 않은 장문 수어 비디오 대상의 동시 SLT를 위한 통합 프레임워크인 ReSCUE를 제시합니다. ReSCUE는 부분적 입력, 비수어 휴지기, 다중 문장 문맥을 처리하기 위한 추론 인지 학습, 출력 깜빡임(flicker)을 줄이면서도 수정 가능한 예측을 통해 저지연을 가능하게 하는 안정화된 재번역, 그리고 온라인 분절 및 메모리 관리를 위한 문장 확정(sentence commitment) 메커니즘을 결합합니다. 표준 문장 단위 벤치마크에서의 실험 결과, ReSCUE는 저지연 환경에서 더 낮은 지연 시간과 최고의 번역 품질을 달성함을 보여줍니다. 또한 분절되지 않은 장문 데이터셋에서 ReSCUE는 정답(ground-truth) 문장 경계를 사용하는 오라클 오프라인 시스템의 번역 품질에 근접하면서도 훨씬 낮은 지연 시간으로 동작하여, 실제 스트리밍 시나리오에서의 실용성을 입증합니다.

arXiv:2606.29859v1cs.CL공통 태그 Data Augmentation, Sentence

자연어 처리 분야에서 알고리즘 언급 동기 탐구: 심층 학습 접근법

Exploring Motivations for Algorithm Mention in the Domain of Natural Language Processing: A Deep Learning Approach

데이터 집약적 과학의 부상과 함께 알고리즘은 과학 연구의 핵심이 되었다. 학술 논문에서 알고리즘은 특정 연구 과제에 대한 방법을 기술, 사용, 비교, 또는 개선하는 등 다양한 목적으로 언급된다. 이러한 목적을 파악하면 알고리즘 간의 관계를 밝히고 그 역할과 가치를 평가하는 데 도움이 된다. 자연어 처리(NLP)를 예시로 삼아, 본 연구는 알고리즘 언급 동기의 식별, 분석, 진화 추적을 위한 문장 수준의 프레임워크를 제안한다. 먼저 수동 어노테이션과 기계 학습을 통해 전문 논문에서 알고리즘 개체와 알고리즘 관련 문장을 식별한다. 이후 사전학습 모델과 데이터 증강(data augmentation)을 활용하여 언급 동기를 분류(classification)하고, 그 분포와 시간적 변화를 분석한다. 결과에 따르면, 증강된 데이터로 학습된 심층 학습(deep learning) 모델이 동기 분류에서 전통적인 기계 학습 모델보다 우수한 성능을 보인다. NLP 논문에서 알고리즘 관련 문장의 절반 이상이 직접 사용을 표현하는 반면, 개선은 가장 드문 동기이다. 동기의 다양성은 시간이 지남에 따라 증가하였다. 특정 알고리즘 범주를 살펴보면, 문법 기반 알고리즘은 기술(description) 목적으로 더 자주 언급되는 반면, 기계 학습 알고리즘은 사용 목적으로 더 자주 언급된다. 시간이 지남에 따라 다양한 알고리즘에서 사용 동기가 기술 동기를 점차 대체해 왔으며, 개별 알고리즘과 연관된 동기 유형의 수는 크게 감소하였다. 본 연구는 저자들이 학술 글쓰기에서 알고리즘 개체를 언급하는 방식을 밝히고, 알고리즘 관계 식별 및 알고리즘 영향 평가에 관한 향후 연구의 기반을 제공한다.

arXiv:2606.26481v1cs.CL공통 태그 Data Augmentation, Sentence

과학 논문에서 문제 및 방법 문장 추출: 정형 표현 탈민감화를 활용한 문맥 강화 트랜스포머

Extracting Problem and Method Sentence from Scientific Papers: A Context-enhanced Transformer Using Formulaic Expression Desensitization

수십억 편의 과학 논문으로 인해 방대한 텍스트에서 핵심 부분을 식별할 필요가 생겼다. 과학 연구는 문제를 제기하는 것부터 방법을 사용하는 것까지의 활동이다. 과학 논문에서 주요 아이디어를 파악하기 위해, 우리는 문제 및 방법 문장 추출에 집중한다. 과학 논문 내 문장에 주석을 달기는 노동 집약적이어서 소규모 데이터셋만 만들어지고, 이는 모델이 학습할 수 있는 정보량을 제한한다. 이러한 제한된 정보로 인해 모델은 특정 형식에 과도하게 의존하게 되며, 그 결과 일반화 능력이 저하된다. 본 논문은 소규모 데이터셋으로 인한 문제를 세 가지 관점에서 해결한다: 데이터셋 규모 확대, 특정 형식에 대한 의존성 감소, 문장 내 정보의 풍부화. 첫 두 가지 아이디어를 구현하기 위해, 우리는 정형 표현(formulaic expression, FE) 탈민감화 개념을 도입하고, 합성 데이터를 생성하고 모델의 FE 의존성을 줄이기 위한 FE 탈민감화 기반 데이터 증강기를 제안한다. 세 번째 아이디어에 대해서는, 문맥을 활용하여 대상 문장 내 단어의 중요도를 측정하고 문맥의 노이즈를 줄이는 문맥 강화 트랜스포머를 제안한다. 또한 본 논문은 대규모 언어 모델(LLM) 기반 문맥 내 학습(ICL) 방법을 이용한 실험을 수행한다. 정량적·정성적 실험 결과, 제안 모델은 두 과학 논문 데이터셋에서 기준선 모델보다 더 높은 macro F1 점수를 달성했으며, 각각 3.71% 및 2.67%의 향상을 보였다. LLM 기반 ICL 방법은 문제 및 방법 추출 작업에 적합하지 않은 것으로 나타났다.

arXiv:2607.03836v2cs.CV공통 태그 Translation

단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가

When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts

기계 번역의 눈부신 발전에도 불구하고, 비전 언어 모델(VLM)은 저자원 음역, 고어 어휘, 잡음이 섞인 입력 신호와 같은 핵심 자연어 처리(NLP) 역량을 시험하는 영역인 역사 필사본에서 어려움을 겪는다. 본 연구는 필경사의 약기, 합자, 양피지 훼손으로 인해 깨끗한 텍스트 벤치마크에서는 드러나지 않는 실패 양상이 나타나는 중세 라틴어 필사본을 대상으로, 이미지에서 번역에 이르는 전체 파이프라인을 평가하는 체계적 프레임워크를 제시한다. CATMuS Latin 데이터셋에서의 벤치마킹은 전문화 격차를 보여 준다. 도메인 특화 광학 문자 인식(OCR) 모델은 파라미터 수가 수십~수천 배 적음에도 범용 VLM에 비해 문자 오류율을 최대 4.3$\times$ 낮춘다. 또한 정렬된 필사본 이미지 행, 전사문, 전문가 번역 1,383건으로 구성된 새로운 데이터셋 Interpres-Parallel-Corpus(IPC)를 소개하며, 이는 우리가 아는 한 중세 라틴어 분야 최초이다. 실험은 복잡성 역설을 보여 준다. 특화된 OCR 모델이 VLM에 직접 입력되는 가장 단순한 파이프라인이 모든 다중 구성요소 변형보다 우수하다. 검색 증강 생성(RAG)이나 OCR 후 교정을 추가하면 프롬프트 포화와 오류 전파가 발생하여 전체 번역 품질이 저하된다. 이러한 결과는 새로운 벤치마크와 함께 저자원 역사 환경에서 번역 시스템을 배치하기 위한 실용적 지침을 제공한다.

arXiv:2607.00642v3cs.AI공통 태그 Data Augmentation

인터랙티브 게임플레이를 위한 코칭 가능한 에이전트

Coachable Agents for Interactive Gameplay

강화학습은 게임 플레이(Silver et al., 2016; 2017; Wurman et al., 2022)에서 로보틱스(Levine et al., 2016; Andrychowicz et al., 2020; Luo et al., 2025; D\"urr et al., 2026), 파운데이션 모델(Ouyang et al., 2022; Noukhovitch et al., 2024; Sun et al., 2024; Guo et al., 2025)에 이르기까지 첨단 AI 및 로봇 시스템을 만드는 데 유용한 도구임이 입증되었다. 이러한 AI 시스템은 시행착오를 통해 과제를 해결하는 단일한 근사 최적 행동을 학습하는 것이 일반적이다. 그러나 학습이 끝난 후에 과제를 해결하는 방식을 어느 정도 제어하고자 하는 사용 사례가 많다. 우리는 핵심 과제에 대한 이러한 수정을 스타일이라 부른다. 우리는 범용 가치 함수 근사기(UVFA)를 신중하게 선택한 학습 시나리오, 학습 알고리즘, 데이터 증강과 결합하여 복잡한 도메인에서 스타일을 보이는 에이전트를 코칭하기 위한 프레임워크를 만든다. 이 프레임워크의 적용을 AAA 비디오 게임인 Horizon Forbidden West와 Gran Turismo, 그리고 오픈소스 휴머노이드 테스트 도메인에서 시연한다. 자동차 레이싱, 양식화된 게임 전투, 휴머노이드 보행이라는 도메인의 상이한 성격에도 불구하고, 각 에이전트는 해당 도메인의 주요 과제를 충족하면서도 스타일 요청에 대한 강한 일관성을 보인다. 중요하게도 본 논문에서 설명한 기법은 최종 사용자가 실행 시점에 최종 행동을 선택할 수 있게 하여, 최종 수행 성능에 대한 유연한 제어를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.