PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.09885v3cs.AI

당신의 로짓은 무엇을 알고 있는가?

What do your logits know?

최근 연구에 따르면 모델 내부를 탐색(probing)하면 모델이 생성한 결과물에서는 드러나지 않는 풍부한 정보를 밝혀낼 수 있음이 확인되었습니다. 이는 모델 사용자가 모델 소유자가 접근 불가능하다고 여겼던 정보를 알아낼 수 있게 됨으로써, 의도치 않거나 악의적인 정보 유출의 위험을 초래합니다. 본 연구에서는 비전-언어(vision-language) 모델을 실험 대상으로 삼아, 잔차 스트림(residual stream)에 인코딩된 풍부한 정보가 튜닝된 렌즈(tuned lens)를 사용해 얻은 잔차 스트림의 저차원 투영과 모델의 답변에 영향을 미칠 가능성이 가장 높은 최종 상위 k개 로짓이라는 두 가지 자연스러운 병목을 거쳐 압축될 때 서로 다른 표현 수준에서 보존되는 정보를 최초로 체계적으로 비교합니다. 연구 결과, 모델의 상위 로짓 값으로 정의되는 쉽게 접근 가능한 병목조차도 이미지 기반 쿼리에 존재하는 작업 무관(task-irrelevant) 정보를 유출할 수 있으며, 일부 경우에는 전체 잔차 스트림을 직접 투영한 것만큼 많은 정보를 드러낼 수 있음을 보여줍니다.