PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.26466v2cs.CL

교차 언어 추론을 위한 소프트 토큰 정렬

Soft Token Alignment for Cross-Lingual Reasoning

다국어 LLM이 언어마다 추론·답변이 달라지는 문제를 줄이기 위해, 영어를 피벗으로 비영어와 영어의 소프트 토큰(soft token) 표현을 공유 임베딩 공간에서 정렬하는 지도 미세조정 보조 목적 SOLAR를 제안한다. 네 개의 다국어 추론 벤치마크에서 기본 모델 대비 최대 +17.7점, 표준 SFT 대비 +3.8점 정확도가 오르고 저자원 언어에서 이득이 가장 크며, 최종 층 교차 언어 유사성과 일관성도 개선된다.

arXiv:2603.25015v2cs.CL

명령형 간섭: 사회적 레지스터가 대규모 언어 모델의 지시 토폴로지를 형성한다

Imperative Interference: Social Register Shapes Instruction Topology in Large Language Models

영어에서는 협력적으로 작동하는 시스템 프롬프트(prompt) 지시가 스페인어에서는 동일한 의미 내용을 가지고도 경쟁적으로 작동하며, 상호작용 토폴로지(topology)가 반대로 나타난다. 우리는 네 가지 언어와 네 가지 모델에 걸친 지시 수준(instruction-level) 제거(ablation) 실험을 제시하며, 이러한 토폴로지 반전이 사회적 레지스터(social register)에 의해 매개됨을 보인다: 명령형 어법(imperative mood)이 언어 공동체마다 서로 다른 강제력을 가지며, 다국어 데이터로 학습(training)된 모델들이 이러한 관습을 학습했다는 것이다. 단일 지시 블록을 평서형(declarative)으로 다시 작성하면 언어 간 분산이 81% 감소한다(p = 0.029, 순열 검정). 11개의 명령형 블록 중 3개를 다시 작성하면 스페인어 지시 토폴로지가 경쟁적에서 협력적으로 전환되며, 다시 작성하지 않은 블록에도 파급 효과(spillover effect)가 나타난다. 이러한 결과는 모델이 지시를 기술적 명세가 아니라 사회적 행위로 처리함을 시사한다: "절대 X를 하지 마라"는 그 강제력이 언어에 따라 달라지는 권위의 행사이지만, "X: 비활성화"는 언어 간에 그대로 전달되는 사실적 기술이다. 레지스터가 추론(inference) 시점의 지시 따르기(instruction-following)를 매개한다면, 학습(training) 중에도 그렇게 작용할 가능성이 있다. 우리는 이를 검증 가능한 예측으로 제시한다: 명령형 어법으로 작성된 헌법적 AI(constitutional AI) 원칙은 언어에 따라 달라지는 정렬(alignment)을 만들어낼 수 있다. 말뭉치(corpus): 56개 블록으로 분해된 실제 운영 시스템 프롬프트에 대해 수작업으로 작성한 22개의 프로브(probe).

arXiv:2606.18989v1cs.CL

G-IdiomAlign: 교차 언어 관용구 정렬을 위한 용어 설명(gloss) 피벗 벤치마크

G-IdiomAlign: A Gloss-Pivoted Benchmark for Cross-Lingual Idiom Alignment

관용구의 비구성성으로 언어 간 의미 전환이 어렵다는 문제를 다루기 위해 Wiktionary 영어 gloss를 의미 피벗으로 삼은 G-IdiomAlign 벤치마크를 제시하고, 객관식 동등성 평가와 gloss 대조 생성 두 프로토콜로 재현 가능한 진단 평가를 제공한다. 다양한 LLM에서 직역 편향이 지배적 실패 모드로 나타나며 저자원 언어에서 특히 두드러지고, gloss는 임베딩 기반 의미 프록시 하에서 생성 성능을 일관되게 높이지만 전반적 수준은 여전히 낮아 개선 여지가 크다.