arXiv:1807.07108

Semantic Parsing: Syntactic assurance to target sentence using LSTM Encoder CFG-Decoder

Fabiano Ferreira Luz, Marcelo Finger

제출 2018-07-18

원문 초록

Semantic parsing can be defined as the process of mapping natural language sentences into a machine interpretable, formal representation of its meaning. Semantic parsing using LSTM encoder-decoder neural networks have become promising approach. However, human automated translation of natural language does not provide grammaticality guarantees for the sentences generate such a guarantee is particularly important for practical cases where a data base query can cause critical errors if the sentence is ungrammatical. In this work, we propose an neural architecture called Encoder CFG-Decoder, whose output conforms to a given context-free grammar. Results are show for any implementation of such architecture display its correctness and providing benchmark accuracy levels better than the literature.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13896v1cs.CL공통 태그 Decoder, Semantic Parsing

신경망 의미 파싱을 위한 구조적 오토마타

Structural Automata for Neural Semantic Parsing

신경망 의미 파서(neural semantic parser)는 토큰 단위로 의미 표상을 생성하지만, 적형성(well-formedness)은 생성 과정에서 전개되는 참조, 스코프 및 그래프 관계에 따라 결정됩니다. 제약 디코딩(constrained decoding)은 국소적으로 유효하지 않은 토큰을 방지하지만, 유효한 접두 문맥(prefix)이 고정된 출력 길이 제한 내에서 완성될 수 있음을 보장하지는 못합니다. 본 연구에서는 DRS 파싱의 세 단계(디코딩, 사후 처리, 학습)에서 구조적 오토마타를 탐구하고, AMR에 대한 디코딩도 추가로 평가합니다. 디코딩을 위해, 잔여 길이 제한 내에서 검증된 완성을 유지하면서 모델이 선호하는 토큰 역시 완성이 가능할 때마다 해당 토큰을 따르는 수락 경로 디코딩(APD)을 도입합니다. APD는 토큰을 철회하지 않고도 수락되는 출력을 보장합니다. 엄격한 길이 제한 하에서 APD는 DRS에서 국소 마스킹 대비 Smatch++를 각각 5.1점 및 2.4점 향상시키고, AMR에서는 6.4점 및 3.2점 향상시켜 토큰을 철회하는 동일한 제한 하의 롤백 방식과 비견할 만한 성능을 보입니다. 사후 처리의 경우, 유효하지 않은 출력은 동일한 입력에 집중됩니다. 제한된 학습 데이터 환경에서는 8개의 비제약 샘플링 결과 입력의 10.2%에서 유효한 출력이 전혀 나오지 않은 반면, 전체 데이터 환경에서는 0.4%에 불과했으며, 이 경우 필터링만으로도 APD와 0.2 Smatch++ 포인트 이내의 차이를 보였습니다. 학습의 경우, 오토마톤이 거부한 토큰에 페널티를 부여하면 학습의 10% 시점에서 검증 세트 Smatch++가 3.6~11.0점 향상되지만, 데이터가 제한된 환경에서 학습 초반 6분의 1 이내에 교차 엔트로피만으로도 거부된 토큰에 할당되는 확률이 14%에서 2% 미만으로 감소함에 따라 이러한 이점은 점차 줄어듭니다.

arXiv:2610.03022v1cs.CV공통 태그 Translation, Sentence

ReSCUE: 분절되지 않은 장문 동시 수어 번역을 위한 문장 확정 기반 재번역 기법

ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation

동시 수어 번역(Simultaneous Sign Language Translation, SLT)은 실시간 소통에 매우 중요하지만, 기존 방법들은 사전 분절된 입력을 가정하는 문장 단위의 오프라인 환경에 대체로 국한되어 있습니다. 이러한 가정은 연속적이고 분절되지 않은 비디오 스트림이 수반되는 실제 환경에서의 배포를 저해합니다. 본 논문에서는 실제 스트리밍 환경에 맞추어 학습(training)과 추론(inference)을 정렬하는, 분절되지 않은 장문 수어 비디오 대상의 동시 SLT를 위한 통합 프레임워크인 ReSCUE를 제시합니다. ReSCUE는 부분적 입력, 비수어 휴지기, 다중 문장 문맥을 처리하기 위한 추론 인지 학습, 출력 깜빡임(flicker)을 줄이면서도 수정 가능한 예측을 통해 저지연을 가능하게 하는 안정화된 재번역, 그리고 온라인 분절 및 메모리 관리를 위한 문장 확정(sentence commitment) 메커니즘을 결합합니다. 표준 문장 단위 벤치마크에서의 실험 결과, ReSCUE는 저지연 환경에서 더 낮은 지연 시간과 최고의 번역 품질을 달성함을 보여줍니다. 또한 분절되지 않은 장문 데이터셋에서 ReSCUE는 정답(ground-truth) 문장 경계를 사용하는 오라클 오프라인 시스템의 번역 품질에 근접하면서도 훨씬 낮은 지연 시간으로 동작하여, 실제 스트리밍 시나리오에서의 실용성을 입증합니다.

arXiv:2609.24095v1cs.CV공통 태그 Decoder, Sentence

HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩

HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings

심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.

arXiv:2607.13158v1cs.CL공통 태그 Translation, Decoder

동시 음성 번역에서 LLM에 아키텍처 변경이 필요한가? Prefix-to-Prefix 데이터 기반 접근법

Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach

동시 음성 번역(SimulST)은 엄격한 지연 시간 제약 하에서 점진적 번역을 요구하지만, 제한된 문맥과 언어 간 재배열로 인해 디코더 전용 LLM 시스템에게 여전히 어려운 과제로 남아 있다. 최근 접근법들은 출력 타이밍을 제어하기 위해 아키텍처 변경이나 명시적인 read/write 정책을 도입하는 경우가 많으며, 이는 분할 경계가 모호한 대화형 음성에서는 취약할 수 있다. 우리는 간단한 데이터 기반 대안을 제안한다: 되감기(rewind) 기반 확정 접두 문맥을 갖춘 누적 스트리밍 디코딩을 위한 고정 길이 청크, 그리고 미세조정을 위한 유한 대기(bounded waiting)가 적용된 교사 라벨 접두 문맥 대 접두 문맥(P2P) 타깃으로, 이를 통해 CSSEL-P2P를 만든다. CSSEL은 우리가 제안한 chunked streaming speech encoder LLM이다. 사내 대화형 음성 평가에서 CSSEL-P2P는 유사한 지연(+0.15s Average Lagging)에서 CSSEL 스트리밍 기준선 대비 스트리밍 품질을 COMETKiwi +1.54만큼 향상시켰으며, P2P supervision을 통한 아키텍처 변경 없이도 효과적인 SimulST가 가능함을 시사한다.

arXiv:2607.05052v1cs.CL공통 태그 Decoder, Sentence

독립 레이블을 넘어서: 인간 가치 탐지를 위한 슈바르츠 기하학적 디코딩

Beyond Independent Labels: Schwartz-Geometry Decoding for Human Value Detection

인간 가치 탐지는 일반적으로 19개의 정제된 슈바르츠 가치에 대한 문장 수준의 다중 레이블 분류(multi-label classification)로 공식화되며, 각 레이블은 독립적으로 예측된다. 그러나 슈바르츠 이론은 이 가치들을 원형의 동기적 연속체(circular motivational continuum)로 설명하며, 인접한 가치는 서로 양립 가능하고 대립하는 가치는 긴장 관계에 있다. 우리는 이 구조를 명시적인 출력 공간 기하학(output-space geometry)으로 구체화하여 하드 제약(hard constraint)이 아닌 소프트 바이어스로 활용할 수 있는지를 탐구한다. DeBERTa-v3-base 분류기를 대상으로, 이를 주입하는 두 가지 방법을 비교한다: 학습 시 기하학 인식 목적 함수(geometry-aware objectives)와 전체 레이블 집합을 공동으로 점수화하는 사후(post-hoc) 슈바르츠 인식 에너지 디코더(Schwartz-aware energy decoder). 5개의 시드에 걸쳐, 학습 시 기하학은 제한적인 성능 향상만을 보이며—진정한 연속체에 대해서도 무작위 순서 대비 더 크지 않은 수준이었다—반면 디코더는 우리가 새롭게 제안하는 이론 인식 일관성 지표에서 레이블 집합을 연속체에 더 일관되게 만들며, 선택 규칙에 의해 Macro-F1 및 Micro-F1은 유지된다. 이 성능 향상은 진정한 슈바르츠 순서에 특정적이며, 동일한 디코더를 통한 무작위 순열이나 경험적 공동 출현 그래프에서는 나타나지 않는다. 제한된 Qwen2.5-72B-Instruct 진단 실험은 추론 시 연속체를 제공하면 동작이 변하지만 지도 학습 기반 구조적 예측에는 미치지 못함을 보여준다. 따라서 이론 인식 디코딩은 가치 탐지를 해당 레이블 공간에 충실하게 만드는 경량의 제어 가능한 방법을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.