PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2509.16525v2cs.SE

CAFÉ: 머신 언러닝의 인과적 블랙박스 테스팅

CAFÉ: Causal Black-Box Testing of Machine Unlearning

머신러닝 모델은 요구사항 변화에 따라 진화해야 하는 소프트웨어 컴포넌트로 점점 더 많이 배포되고 있습니다. 특정 학습(training) 기록이나 특징(feature)이 배포된 모델에 더 이상 영향을 미치지 않아야 할 때, 머신 언러닝(machine unlearning)은 처음부터 다시 학습하지 않고도 해당 영향을 제거하는 것을 목표로 합니다. 언러닝은 대체로 근사적(approximate)으로 이루어지므로, 그 효과를 테스트해야 합니다. 이러한 테스트는 종종 모델의 파라미터, 학습 이력, 언러닝 절차에 접근하지 않고 모델을 블랙박스로 다루어야 합니다. 특징은 추가적인 과제를 야기합니다. 즉, 특징이 모델 입력에서 제거된 후에도 후속(downstream) 특징을 통해 그 영향이 지속될 수 있습니다. 기존의 많은 검사는 특징의 직접적인 사용만을 검토하므로 해당 특징에 여전히 의존하는 모델을 잘못 인증할 수 있습니다. 본 연구에서는 언러닝 테스팅을 명세 기반 테스팅(specification-based testing)으로 공식화하고 CAFÉ를 제안합니다. CAFÉ는 배포된 모델의 예측만을 사용하여 특징에 개입(intervene)하고 변화를 후속 특징으로 전파하며 예측이 여전히 반응하는지 확인합니다. CAFÉ는 직접 및 간접 인과 경로 모두를 통해 대상의 잔여 영향을 측정하며, 세분화된 진단을 통해 어떤 채널과 하위 집단이 여전히 영향을 전달하는지 보여줍니다. 4가지 언러닝 방법을 적용한 2개의 인과 네트워크 벤치마크에서, CAFÉ는 잔여 영향의 순위를 0.92~0.93의 쌍별 정확도(pairwise accuracy)로 매겼으며, 이는 최대 0.71에 불과한 기존 검사와 대비됩니다. 기존 검사는 후속 특징을 통해 영향이 지속되는 모델을 통과시키거나 올바르게 언러닝된 모델을 결함으로 표시하는 등 양방향 모두에서 실패합니다. 실제 인구조사 데이터에서도 CAFÉ는 재학습 후에도 살아남았지만 직접 입력 검사로는 감지되지 않은 영향을 마찬가지로 드러냅니다.

arXiv:2607.02121v1cs.CR

Behind the Refusal: Determining Guardrail Activation via Behavioral Monitoring

HTTP, 어휘(lexical), 응답 시간 신호를 행동 모니터링하는 최초의 블랙박스 가드레일 탐지 방법론을 제안하며, 가드레일 존재 여부를 100% 정확도로 탐지하고 가드레일 차단과 대규모 언어 모델(LLM) 자체 거절을 평균 F1 98%로 구별한다. 이 접근법은 대상 시스템에 대한 사전 지식 없이도 가드레일이 차단하는 콘텐츠 범주를 식별하여, 현실적인 적대적 에뮬레이션 연구에서 공격 전략 선택의 정밀도를 높인다.