arXiv:2003.09831

Prior Knowledge Driven Label Embedding for Slot Filling in Natural Language Understanding

Su Zhu, Zijian Zhao, Rao Ma, Kai Yu

제출 2020-03-22

원문 초록

Traditional slot filling in natural language understanding (NLU) predicts a one-hot vector for each word. This form of label representation lacks semantic correlation modelling, which leads to severe data sparsity problem, especially when adapting an NLU model to a new domain. To address this issue, a novel label embedding based slot filling framework is proposed in this paper. Here, distributed label embedding is constructed for each slot using prior knowledge. Three encoding methods are investigated to incorporate different kinds of prior knowledge about slots: atomic concepts, slot descriptions, and slot exemplars. The proposed label embeddings tend to share text patterns and reuses data with different slot labels. This makes it useful for adaptive NLU with limited data. Also, since label embedding is independent of NLU model, it is compatible with almost all deep learning based slot filling models. The proposed approaches are evaluated on three datasets. Experiments on single domain and domain adaptation tasks show that label embedding achieves significant performance improvement over traditional one-hot label representation as well as advanced zero-shot approaches.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23326v1cs.AI공통 태그 Natural Language Understanding, Slot Filling

ESF-Bench: 실전 기업 애플리케이션의 도전적인 슬롯 채우기(slot filling) 시나리오 벤치마킹

ESF-Bench: Benchmarking Challenging Slot-Filling Scenarios for Real-World Enterprise Applications

대규모 언어 모델(LLM)의 급속한 부상은 기업 전반에 걸쳐 혁신적인 도입을 이끌고 있다. 그러나 이러한 모델을 실제 환경에 배포하는 것은 복잡한 시스템 제약과 예상치 못한 사용자 행동으로 인해 고유한 과제를 제기한다. 이러한 애플리케이션 중 슬롯 채우기(slot filling)는 비구조화 입력을 구조화되고 실행 가능한 데이터로 변환하는 데 필수적이다. 본 연구에서는 8개의 고유 도메인에 걸쳐 810개의 다중 턴(multi-turn) 샘플과 6530개의 슬롯으로 구성된 도전적인 Enterprise Slot Filling 벤치마크인 ESF-Bench를 제안한다. 실제 기업 배포 과정에서 관찰된 57가지 가장 도전적인 슬롯 채우기 시나리오의 분류체계를 바탕으로 구축된 ESF-Bench는 현재 최첨단 LLM의 현저한 한계를 드러내며, GPT-OSS-120b low는 벤치마크 샘플의 20.7%에서만 슬롯을 성공적으로 추출한다. 이 분야의 지속적인 연구를 지원하기 위해 벤치마크 데이터셋, 분류체계, 그리고 동봉된 평가 코드를 GitHub에 공개한다.

arXiv:2607.10312v1cs.CL공통 태그 Domain Adaptation, Natural Language Understanding

극화 탐지: 저자원 및 고자원 환경을 위한 AfroXLMR-Social과 DeBERTa의 하이브리드 접근법

Polarization Detection: A Hybrid Approach with AfroXLMR-Social and DeBERTa for Low- and High-Resource Settings

온라인 극화(polarization)의 급속한 확산은 사회적 결속을 위협하며, 다양한 언어적 맥락에서 효과적으로 작동하는 강건한 자동화 탐지 시스템의 필요성을 높이고 있다. 본 논문은 영어와 하우사어(Hausa)에서의 극화된 담론 탐지 및 특성화에 초점을 맞춘 POLAR Shared Task 2026에 대한 시스템 설명을 제시한다. 우리는 하이브리드 모델링 전략을 제안한다: 영어 이진 탐지에는 DeBERTa의 단일 언어 강점을 활용하고, 하우사어 및 모든 세분화된 하위 과제(유형 및 발현 양상)에는 AfroXLMR-Social을 사용한다. 이 도메인 적응 다국어 모델은 소셜 미디어 텍스트에서 극화의 뉘앙스를 포착하는 데 핵심적인 역할을 했다. 계산 제약과 데이터 부족 문제를 추가로 해결하기 위해 저랭크 적응(LoRA)과 nlpaug를 통한 텍스트 데이터 증강을 구현했다. 우리는 세 가지 하위 과제 전반에 걸쳐 경쟁력 있는 결과를 보고하며, 특정 하위 과제 요구사항에 맞춰 조정된 모델 선택이 최적의 성능 균형을 달성함을 입증한다.

arXiv:2610.01291v2cs.CV공통 태그 Domain Adaptation

ODDR: 보상 가이던스를 통한 단일 단계 그림자 제거 확산 모델

ODDR: One-Step Deshadow Diffusion via Reward Guidance

그림자 제거를 위한 심층 학습(deep learning)의 최근 발전은 이미지 품질과 사실성을 크게 향상시켰습니다. 그러나 대부분의 접근 방식은 수집 비용이 많이 들고 장면 다양성이 제한적인 경우가 많은 실제 쌍(paired) 데이터셋에 의존하므로 일반화 성능이 제한됩니다. 이러한 한계를 해결하기 위해, 우리는 실제 쌍으로 구성된 지도학습(supervision)에 의존하지 않고도 효율적이고 충실도 높은 그림자 제거를 달성하는 새로운 프레임워크인 보상 가이던스를 통한 단일 단계 그림자 제거 확산 모델(One-step Deshadow Diffusion via Reward guidance, ODDR)을 제안합니다. 본 연구의 방법은 효율적인 단일 단계 무그림자 재구성을 위해 합성 그림자 데이터로 학습된 기준선(baseline) 모델인 One-step Deshadow Diffusion(ODD)에서 시작합니다. 나아가 우리는 ShadowReward를 사용하여 ODD를 ODDR로 발전시킵니다. 주석(annotation) 작업이 많이 필요한 기존 방식과 달리, ShadowReward는 인간의 주석 없이 전적으로 학습된 그림자 제거용 최초의 보상 모델(reward model)입니다. 이는 질감 왜곡 및 경계 아티팩트와 같이 통제된 품질 저하가 적용된 합성 생성 이미지를 순위화하여 인간의 지각적 판단을 모방하도록 학습합니다. 이러한 보상 기반 미세조정(fine-tuning)을 통해 ODDR은 합성-실제 간 도메인 간극을 좁힐 수 있습니다. 광범위한 실험을 통해 ODD는 실제 쌍 지도학습에 의존하지 않고도 강력한 성능을 달성하며, ODDR은 결과를 더욱 향상시켜 단일 단계 모델로서 더 높은 연산 효율성을 유지하면서도 실제 쌍 데이터로 학습된 완전 지도학습 방식과의 격차를 좁힘을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.