Leveraging Sentence-level Information with Encoder LSTM for Semantic Slot Filling
원문 초록
Recurrent Neural Network (RNN) and one of its specific architectures, Long Short-Term Memory (LSTM), have been widely used for sequence labeling. In this paper, we first enhance LSTM-based sequence labeling to explicitly model label dependencies. Then we propose another enhancement to incorporate the global information spanning over the whole input sequence. The latter proposed method, encoder-labeler LSTM, first encodes the whole input sequence into a fixed length vector with the encoder LSTM, and then uses this encoded vector as the initial state of another LSTM for sequence labeling. Combining these methods, we can predict the label sequence with considering label dependencies and information of whole input sequence. In the experiments of a slot filling task, which is an essential component of natural language understanding, with using the standard ATIS corpus, we achieved the state-of-the-art F1-score of 95.66%.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ESF-Bench: 실전 기업 애플리케이션의 도전적인 슬롯 채우기(slot filling) 시나리오 벤치마킹
ESF-Bench: Benchmarking Challenging Slot-Filling Scenarios for Real-World Enterprise Applications
대규모 언어 모델(LLM)의 급속한 부상은 기업 전반에 걸쳐 혁신적인 도입을 이끌고 있다. 그러나 이러한 모델을 실제 환경에 배포하는 것은 복잡한 시스템 제약과 예상치 못한 사용자 행동으로 인해 고유한 과제를 제기한다. 이러한 애플리케이션 중 슬롯 채우기(slot filling)는 비구조화 입력을 구조화되고 실행 가능한 데이터로 변환하는 데 필수적이다. 본 연구에서는 8개의 고유 도메인에 걸쳐 810개의 다중 턴(multi-turn) 샘플과 6530개의 슬롯으로 구성된 도전적인 Enterprise Slot Filling 벤치마크인 ESF-Bench를 제안한다. 실제 기업 배포 과정에서 관찰된 57가지 가장 도전적인 슬롯 채우기 시나리오의 분류체계를 바탕으로 구축된 ESF-Bench는 현재 최첨단 LLM의 현저한 한계를 드러내며, GPT-OSS-120b low는 벤치마크 샘플의 20.7%에서만 슬롯을 성공적으로 추출한다. 이 분야의 지속적인 연구를 지원하기 위해 벤치마크 데이터셋, 분류체계, 그리고 동봉된 평가 코드를 GitHub에 공개한다.
아랍어를 위한 양자 조합 자연어 처리: 회로 토폴로지의 문법, 형태론, 단어 의미
Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology
우리는 pregroup grammar 기반 양자 조합 자연어 처리(quantum compositional natural language processing, QNLP)를 아랍어에 최초로 적용한다. 아랍어는 형태론적으로 풍부하고 자유 어순(free-word-order) 언어로, 그 구조적 복잡성이 양자 회로에서의 의미 조합 이론에 대한 독특하게 까다로운 시험대를 제공한다. 우리 시스템은 아랍어 문장을 문법적 구조를 반영하는 토폴로지의 양자 회로로 변환한다. 주어, 동사, 목적어는 양자 게이트가 되며, 이들 사이의 타입 의존성(pregroup grammar)이 해당 게이트들이 어떻게 연결되는지를 결정한다. 우리는 어순, 형태론적 시제, 동사 의미 모호성 해소를 아우르는 세 가지 통제 실험을 수행하고, AraVec(아랍어 단어 임베딩) 및 AraBERT(사전학습된 아랍어 트랜스포머)를 포함한 고전적 베이스라인과 양자 회로 방법을 비교한다.
독립 레이블을 넘어서: 인간 가치 탐지를 위한 슈바르츠 기하학적 디코딩
Beyond Independent Labels: Schwartz-Geometry Decoding for Human Value Detection
인간 가치 탐지는 일반적으로 19개의 정제된 슈바르츠 가치에 대한 문장 수준의 다중 레이블 분류(multi-label classification)로 공식화되며, 각 레이블은 독립적으로 예측된다. 그러나 슈바르츠 이론은 이 가치들을 원형의 동기적 연속체(circular motivational continuum)로 설명하며, 인접한 가치는 서로 양립 가능하고 대립하는 가치는 긴장 관계에 있다. 우리는 이 구조를 명시적인 출력 공간 기하학(output-space geometry)으로 구체화하여 하드 제약(hard constraint)이 아닌 소프트 바이어스로 활용할 수 있는지를 탐구한다. DeBERTa-v3-base 분류기를 대상으로, 이를 주입하는 두 가지 방법을 비교한다: 학습 시 기하학 인식 목적 함수(geometry-aware objectives)와 전체 레이블 집합을 공동으로 점수화하는 사후(post-hoc) 슈바르츠 인식 에너지 디코더(Schwartz-aware energy decoder). 5개의 시드에 걸쳐, 학습 시 기하학은 제한적인 성능 향상만을 보이며—진정한 연속체에 대해서도 무작위 순서 대비 더 크지 않은 수준이었다—반면 디코더는 우리가 새롭게 제안하는 이론 인식 일관성 지표에서 레이블 집합을 연속체에 더 일관되게 만들며, 선택 규칙에 의해 Macro-F1 및 Micro-F1은 유지된다. 이 성능 향상은 진정한 슈바르츠 순서에 특정적이며, 동일한 디코더를 통한 무작위 순열이나 경험적 공동 출현 그래프에서는 나타나지 않는다. 제한된 Qwen2.5-72B-Instruct 진단 실험은 추론 시 연속체를 제공하면 동작이 변하지만 지도 학습 기반 구조적 예측에는 미치지 못함을 보여준다. 따라서 이론 인식 디코딩은 가치 탐지를 해당 레이블 공간에 충실하게 만드는 경량의 제어 가능한 방법을 제공한다.
HierBias: 문맥 조건 계층적 미디어 바이어스 탐지와 다중 과제 유형 분류
HierBias: Context-Conditioned Hierarchical Media Bias Detection with Multi-Task Type Classification
미디어 바이어스 탐지는 공정하고 균형 잡힌 정보 전달을 보장하기 위한 중요한 과제이지만, 기존의 문장 수준 접근법은 각 문장을 독립적으로 분류하여 인간 주석자가 자연스럽게 활용하는 문장 간 문맥 신호를 무시한다. 우리는 바이어스 예측에서 문서 문맥을 형식적으로 모델링하는 계층적 문맥 조건 미디어 바이어스 탐지기 \textbf{HierBias}를 제안한다. 우리는 \emph{context-conditioned bias probability}를 도입하고, 문장 간 상호정보량이 0이 아닐 때 문서 문맥을 활용하면 문장 수준 분류의 베이즈 오류가 엄격하게 감소함을 이론적으로 증명한다. 다중 과제 일반화 한계는 추가로, 이진 바이어스 탐지와 세분화된 바이어스 유형 분류를 공동 학습하면 소규모 주석 코퍼스에서 표본 효율이 향상됨을 입증한다. 아키텍처적으로 HierBias는 문장 수준 RoBERTa 인코더와 문장 간 트랜스포머 집약기, 그리고 이진 탐지와 4클래스 유형 분류를 위한 이중 출력 헤드를 결합한다. BABE와 BASIL에서 평가한 결과, HierBias는 F1 0.853과 MCC 0.723을 달성하여, 최첨단 바이어스 탐지기 대비 F1 $+2.6\%$, MCC $+4.3\%$를 초과한다(McNemar 검정, $p < 0.05$). Ablation 실험은 각 이론적 구성 요소가 독립적이고 일관되게 기여함을 확인한다.
구문적 믿음 갱신이 정원길 처리 난이도의 동인
Syntactic Belief Update as the Driver of Garden Path Processing Difficulty
정원길 문장은 인간에게 처리 난이도를 제기한다. 문장 접두 문맥은 청자를 한 가지 해석으로 이끌다가, 청자가 초기 해석이 틀렸음을 드러내는 핵심 단어를 듣게 될 때까지 그렇게 된다. 어휘적 놀람도(surprisal)는 통상 문장 처리 난이도를 꽤 잘 예측하는 척도이지만, 정원길 문장에 대해서는 좋은 예측을 제공하지 못한다. 우리는 구문 트리에 대한 확률 분포(구문적 믿음)를 능동적으로 예측하고, 각 새 단어 이후에 그 분포를 갱신하는 대안을 제안한다. 처리기가 정원길로 이끌리면 구문적 믿음은 틀리게 되며, 핵심 단어에서 큰 갱신이 필요해진다. 갱신의 크기는 일반화된 Rényi divergence로 측정된다. 중요한 점은, 이 지표가 어휘 항목에 의존하지만 어휘 항목의 확률과는 완전히 독립적이라는 것이다. 이 구문적 믿음 갱신(Syntactic Belief Update)은 정원길 문장에 대한 인간의 읽기 시간 데이터에 더 잘 맞는다. 이는 심리언어학에서 놀람도에 대한 순수하게 비어휘적 대안을 탐구하는 새로운 연구 방향을 시사한다.
문장 인코더에서의 개념 표현 원리
Principles of Concept Representation in Sentence Encoders
문장 인코더가 양질의 개념 표현을 생성하게 만드는 요인은 무엇일까요? 우리는 표현의 조합성(compositionality) 관점에서 이 문제에 접근합니다. 인코더는 해당 의미 연산자(semantic operator)에 대한 왜곡이 적은 실현(realization)을 잠재 공간이 허용할 때만 개념 패밀리를 지원합니다. 이러한 관점은 현재 인코더가 성공하는 영역과 학습 신호(supervision)와 구조적으로 불일치하는 영역을 모두 예측합니다. WordNet과 Wiktionary의 330만 개 동의어 및 정의 쌍으로 학습된 인코더 조건에 대한 제어된 소거(ablation) 실험을 통해, 세 가지 오염 제거 데이터 분할과 수식어 레이블이 포함된 명사구 벤치마크에서 평가한 결과, 네 가지 원리를 식별했습니다. 미세조정(fine-tuning)은 잠재 기하학을 확장하는 것이 아니라 재보정합니다 (P1). 개념 특화 학습(concept-specific training)이 시작되기 전에 의미 신호는 최종 트랜스포머 층에 집중되므로, 교차 층 풀링(cross-layer pooling)은 불필요합니다 (P2). 하드 네거티브(hard negatives)는 검색 순위(retrieval ranking)를 향상시키지 않으면서도 식별력을 개선하고 강건성(robustness)을 검증하며, 이는 보정(calibration)과 순위 매기기가 독립적으로 해결 가능함을 보여줍니다 (P3). 마지막으로, 학습 신호(supervision)의 효과는 목표 개념의 조합 유형에 따라 달라집니다. 외연적 학습(extensional training)은 교차적(intersective) 및 하위 집합적(subsective) 패밀리에는 도움이 되지만 관계형(relational) 및 내포적(intensional) 패밀리의 성능은 저하시키며, 이는 현재 학습 패러다임의 구조적 한계를 보여줍니다 (P4). 우리는 DBpedia 의미적 격차(semantic-gap) 벤치마크와 수식어 레이블이 포함된 명사구(NP) 패러프레이즈 모음이라는 두 가지 새로운 평가 데이터셋을 공개합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.