PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05198v1cs.LG

잡음 채널 최소 베이즈 위험 디코딩

Noisy-Channel Minimum Bayes Risk Decoding

최소 베이즈 위험(MBR) 디코딩은 샘플링된 의사 참조문(pseudo-reference)에 대한 기대 효용을 최대화하는 가설을 선택함으로써, 최대 사후 확률(MAP) 디코딩보다 더 견고하고 높은 품질의 텍스트 생성을 달성한다. 그러나 설계 상의 불일치가 존재한다: 가설 선택은 주어진 의사 참조문에 조건부로 기대 효용 점수를 계산하는 반면, 일반적으로 사용되는 평가 지표(예: BLEU, COMET)는 비대칭적이다. 따라서 가설→참조문 방향과 참조문→가설 방향 모두의 효과를 고려하는 것이 중요하다. 본 연구에서는 이러한 비대칭성을 처리하기 위해 양방향 효과를 자연스럽게 통합하는 MBR 디코딩의 잡음 채널 분해를 제안한다. MBR 디코딩을 네 가지 상호작용 구성 요소로 분해한다: 가설→참조문 가능도(likelihood), 참조문→가설 가능도, 가설 사전 확률, 참조문 사전 확률. 이 분해는 기존 MBR 변형들에 대한 통합된 해석을 제공하고, 각 채널의 기여를 분리함으로써 지표별·태스크별 해석 가능성을 가능하게 한다. 종합적인 분석을 통해, 채널별 기여가 태스크 간에는 일관성을 유지하면서 지표 간에는 뚜렷이 다른 특성을 보임을 밝혀냈으며, 적절한 채널 가중치 부여가 기존 MBR 디코딩 대비 성능 향상으로 이어질 수 있음을 시사한다.

arXiv:2511.14642v2cs.CL

Graded strength of comparative illusions is explained by Bayesian inference

Like visual processing, language processing is susceptible to illusions in which people systematically misperceive stimuli. In one such case--the comparative illusion (CI), e.g., More students have been to Russia than I have--comprehenders tend to judge the sentence as acceptable despite its underlying nonsensical comparison. Prior research has argued that this phenomenon can be explained as Bayesian inference over a noisy channel: the posterior probability of an interpretation of a sentence is proportional to both the prior probability of that interpretation and the likelihood of corruption into the observed (CI) sentence. Initial behavioral work has supported this claim by evaluating a narrow set of alternative interpretations of CI sentences and showing that comprehenders favor interpretations that are more likely to have been corrupted into the illusory sentence. In this study, we replicate and go substantially beyond this earlier work by directly predicting the strength of illusion with a quantitative model of the posterior probability of plausible interpretations, which we derive through a novel synthesis of statistical language models with human behavioral data. Our model explains not only the fine gradations in the strength of CI effects, but also a previously unexplained effect caused by pronominal vs. full noun phrase than-clause subjects. These findings support a noisy-channel theory of sentence comprehension by demonstrating that the theory makes novel predictions about the comparative illusion that bear out empirically. This outcome joins related evidence of noisy channel processing in both illusory and non-illusory contexts to support noisy channel inference as a unified computational-level theory of diverse language processing phenomena.