PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.00356v3cs.CL

자동 해석 레이블은 어디까지 일반화되는가: 언어, 문자 체계, 표현 변경에 대한 통제된 연구

How Far Do Auto-Interpretation Labels Generalize: A Controlled Study Across Languages, Scripts, and Rewordings

희소 오토인코더(SAE) 특징(feature)은 언어 모델을 해석하는 데 점점 더 많이 사용되고 있으며, 자동으로 생성된 자연어 레이블은 각 특징이 무엇을 나타내는지 이해하기 위한 주요 인터페이스 역할을 합니다. 본 연구에서는 이러한 레이블이 일반화되는지, 즉 특정 개념에 대해 레이블이 지정된 특징이 언어와 문자 체계(script) 전반에 걸쳐 해당 개념을 실제로 추적하는지 질문을 던집니다. 결정론적 전자(transliteration)를 통해 라틴 문자와 키릴 문자 모두로 표기되는 동일한 언어인 세르비아어 이중문자(digraphia)를 통제된 테스트베드로 활용하여, 서로 다른 언어, 문자 체계 및 표현에서 동일한 내용에 의해 활성화되는 SAE 특징 집합이 상당한 중복도를 공유함(랜덤 기준선 0.13 대비 평균 자카드 유사도 0.39, 최대 0.57)을 먼저 확인했으며, 이는 진정한 교차 언어적 의미 특징이 존재함을 시사합니다. 이어서 자동 해석 레이블이 이를 따라가는지 테스트했습니다. 결과는 그렇지 못한 경우가 많았습니다. 의미론적 내용을 설명하는 레이블을 가진 특징은 영어 내에서보다 세르비아어에서 동일한 의미를 최대 4배 더 자주 놓쳤으며, 서로 결정론적 전자 관계인 두 문자 체계 사이에서도 세르비아어 라틴 문자보다 세르비아어 키릴 문자를 더 많이 놓쳤습니다. 이러한 격차는 네트워크 깊이가 깊어질수록 커지지만, 레이블 자체는 이러한 실패 징후를 전혀 나타내지 않습니다. 이러한 결과는 자동 해석 레이블이 개념 자체보다는 모델이 학습(training) 중에 가장 많이 접한 언어와 문자 체계에서의 특징 동작을 반영함을 시사합니다.

arXiv:2606.11202v1cs.CL

하나의 Jailbreak, 수많은 언어: 다국어 Jailbreak 탐지를 위한 언어 비민감 의도 표현 학습

One Jailbreak, Many Tongues: Learning Language-Insensitive Intention Representations for Multilingual Jailbreak Detection

대규모 언어 모델(LLM)의 안전성 학습이 주요 언어에 편중되어 발생하는 다국어 jailbreak 취약점을 해결하기 위해 MLJailDe 프레임워크를 제안한다. 다국어 역번역 데이터 증강과 상대 거리 제약 조건을 통해 언어 간 표현 분산을 줄여 교차 언어 일반화를 개선하며, 보지 못한 언어에서 평균 97.1%의 F1 점수를 달성했다.