Leveraging Sentence Similarity in Natural Language Generation: Improving Beam Search using Range Voting
원문 초록
We propose a method for natural language generation, choosing the most representative output rather than the most likely output. By viewing the language generation process from the voting theory perspective, we define representativeness using range voting and a similarity measure. The proposed method can be applied when generating from any probabilistic language model, including n-gram models and neural network models. We evaluate different similarity measures on an image captioning task and a machine translation task, and show that our method generates longer and more diverse sentences, providing a solution to the common problem of short outputs being preferred over longer and more informative ones. The generated sentences obtain higher BLEU scores, particularly when the beam size is large. We also perform a human evaluation on both tasks and find that the outputs generated using our method are rated higher.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DIBERT: Dependency Injected Bidirectional Encoder Representations from Transformers
A Bit of Progress in Language Modeling
TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩
HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings
심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.
소형 모델은 제공한 법률을 실제로 활용하는가? 방글라데시 법률 QA를 위한 컨텍스트 주입 미세조정
Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
소형 언어 모델은 관련 법 조항을 제공받아도 여전히 잘못된 답을 할 수 있다. 우리는 관련 법률이 포함된 예시에 대한 미세조정이 이후 검색된 법률의 활용을 개선하는지 검증한다. 방글라데시 법률 6개와 부칙 3개에서 2,165건의 이중언어 QA 레코드를 구축한 뒤, Qwen3.5 0.8B, 2B, 4B 규모에서 미세조정한다. 평가는 2022년 및 2023년 방글라데시 변호사협회 시험 문제를 벵골어 원문과 기계 번역 영어로 사용하며, 검색(retrieval), BM25, FAISS 없이 세 번의 시드 고정 실행에 대한 엄격한 일관성으로 채점한다. 0.8B에서는 미세조정으로 2022 영어 FAISS 점수가 100점 만점에 2점에서 34점으로 상승한다. 0.8B와 2B에서의 이득은 대응 검정(paired testing)을 통과하지만, 4B 모델에서는 관측 가능한 순이득이 없다. 벵골어 성능은 개선되는 반면 여러 영어 조건에서는 후퇴한다. 미세조정은 또한 벵골어로 요청했음에도 답변이 대부분 영어로 흐르는 비율을 44.0–53.2%에서 0.2–0.7%로 줄이며, 모든 규모에서 보정 p<.001이다. 따라서 검색 품질만이 병목은 아니다. 소형 이중언어 법률 모델은 제공된 법률을 어떻게 활용하는지, 그리고 요청된 언어로 답하는지 여부에서도 차이를 보인다. 데이터셋은 https://huggingface.co/datasets/momahadi/bangladesh-legal-qa-dataset 에서 공개된다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
토론
이 논문과 연결된 포럼 글이 아직 없습니다.