PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22698v2cs.CR

대화형 LLM 에이전트를 위한 블랙박스 포렌식

Black-Box Forensics for Conversational LLM Agents

LLM 기반 사기(scam)가 확산됨에 따라, 대화형 LLM 에이전트(agent)에 대한 블랙박스 포렌식은 익명의 엔드포인트 뒤에 숨겨진 시스템에 대한 책임성을 확보할 수 있는 방법을 제공한다. 챗봇 엔드포인트 뒤에 있는 기반 모델(model)을 모델 매개변수(parameter) 접근이나 숨겨진 시스템 프롬프트(prompt)에 대한 지식 없이 식별하는 것(귀속, attribution)은 조사자들이 AI 기반 사기를 해당 모델을 제공하는 제공자까지 추적할 수 있게 해준다. 두 엔드포인트가 완전히 동일한 시스템 프롬프트를 실행하는지 탐지하는 것(지문 추출, fingerprinting)은, 그 프롬프트가 새롭고 이전에 본 적이 없는 것이라 하더라도, 개별 사기 사례들을 범죄 네트워크로 연결하고 조용한 API 변경을 드러낼 수 있다. 우리는 이 두 가지 능력에 대한 실증적 조사를 수행한다. 우리의 귀속 분류기는 적대적이지 않은(non-adversarial) 대화 몇 턴만으로 에이전트 뒤의 기반 모델을 98%의 정확도로 식별한다. 시스템 프롬프트의 귀속은 가능하긴 하지만, 각 프롬프트마다 대량의 데이터로 재학습이 필요하다. 실제 환경에서의 시스템 프롬프트는 무한하며 계속 변화하기 때문에, 이 접근법은 비용이 많이 든다. 이러한 더 개방적인 설정을 다루기 위해, 우리의 크로스 인코더(cross-encoder) 지문 추출 방법은 전혀 본 적 없는 시스템 프롬프트에 대해 AUC 0.768과 F1 0.703을 달성하며, 각 대상 에이전트로부터 50개의 상호작용 대화를 집계하면 AUC가 0.943까지 향상된다. 따라서 본 적 없는 시스템 프롬프트를 사용하는 대화형 에이전트도 일반적인 대화 몇 턴만으로 견고한 정확도로 지문을 추출할 수 있다.

arXiv:2609.23017v1cs.CV

수의 세포학에서 저비용 전산 꽃가루 분석을 위한 재구성 홀로그램과 설명 인식 평가

Reconstructed holograms and explanation-aware evaluation for low-cost computational pollen analysis in veterinary cytology

자동화된 꽃가루 분석은 수의 세포학(veterinary cytology)을 지원하지만, 명시야 현미경(brightfield microscopy)은 렌즈 없는 디지털 인라인 홀로그래픽 현미경(lens-less digital in-line holographic microscopy)보다 비용이 더 많이 들고 더 복잡하다. 본 연구는 재구성된 홀로그램이 이러한 격차를 줄일 수 있는지, 그리고 모달리티(modality) 변화 하에서도 모델 설명이 신뢰성을 유지하는지를 평가한다. 여섯 종의 꽃가루를 명시야 및 홀로그래픽 현미경으로 촬영하였다. 앵커 기반(anchor-based) 주석 전이(annotation transfer) 이후, 원본(raw), 단일 역전파(single back-propagation), 반복 위상 복원(iterative phase retrieval) 홀로그램을 YOLOv26s 검출과 MobileNetV4 분류로 평가하였다. 여섯 가지 어트리뷰션(attribution) 기법을 Attribution Health Inspection and Repair(AHIR) 프로토콜을 통해 공간적 그라운딩(spatial grounding)과 충실도(faithfulness) 측면에서 평가하였으며, 이 프로토콜은 약한 노이즈 하에서 모델의 취약성(brittleness)을 검사하고 필요시 어트리뷰션 맵의 세분성(granularity)을 보정한다. 명시야는 검출에서 0.6890 mAP50-95(0.8865 mAP50), 분류에서 0.9687 매크로(macro)-F1(0.9705 정확도)를 달성하였다. 재구성된 홀로그램은 과제에 따라 다른 양상으로 격차를 줄였다: p-type은 검출에서 0.5324 mAP50-95(0.8229 mAP50)로 가장 우수했고, r-type은 분류에서 0.7695 매크로-F1(0.7866 정확도)로 가장 우수했으며, 두 결과 모두 원본 홀로그램 베이스라인을 크게 상회하였다. 활성화 기반(activation-based) 설명은 꽃가루 입자에 강하게 국소화되었고, 영역 기반(region-based) 기법은 홀로그래피 하에서도 충실도의 약 60~80%를 유지하였다. 홀로그래픽 검출기는 약한 섭동(perturbation)에 매우 취약하여, 삭제 기반(deletion-based) 평가에서는 포화되었으나 삽입 기반(insertion-based) 평가에서는 여전히 유의미하였다. 픽셀 수준의 그래디언트 설명은 무작위 수준(random floor)에 근접했지만, 공간적 평활화(spatial smoothing)를 적용하자 p-type의 그래디언트 충실도가 0.05에서 0.51로 회복되었다. 홀로그래픽 분류의 경우, 섭동 기반 설명은 충실도를 유지한 반면 그래디언트 기반 기법은 무작위 수준 이하로 떨어졌다. 재구성은 저비용 홀로그래픽 꽃가루 분석을 개선하며, AHIR은 모델의 취약성과 맵 세분성으로 인한 인공물(artifact)과 진정한 어트리뷰션 실패를 구별해낸다.

arXiv:2608.15652v2cs.CV

확장 가능한 블랙박스 이미지 모델 귀속

Scalable Black-Box Model Attribution for Images

생성 모델의 급속한 확산은 모델 귀속 문제를 제기한다. 이미지만 주어졌을 때, 어떤 모델이 이를 생성했는지 판별할 수 있는가? 우리는 엄격한 블랙박스(black-box) 설정에서 이 문제를 해결하기 위해 경량 CNN을 제안한다. CNN은 가변적인 이미지 크기를 처리하고 정확도를 높이기 위해 여러 이미지 패치에서 동작한다. 선행 연구보다 더 많은 모델을 더 높은 정확도로 귀속하며, 25-class DRAGON에서 98.9%, 27-class OpenFake에서 95.0%에 달한다. 후보 집합 크기와 거의 무관한 비용으로 수 밀리초 안에 실행되며, 실환경에서 마주치는 변환에도 견고하다. 클로즈드셋(closed-set) 귀속을 넘어, 학습된 표현은 재사용 가능한 fingerprint 백본으로 기능한다. 오픈셋(open-set) 거부와 퓨샷(few-shot) 등록을 지원하고, 계보(lineage) 감독 없이 모델 패밀리 구조를 복원하며, 보지 못한 생성기의 이미지를 출처별로 묶는다. 통제된 ablation과 인과적 perturbation 실험은 귀속 판단이 생성기별 fingerprint처럼 동작하는 공간적으로 국소적인 저수준 신호에 의해 이끌린다는 것을 보여준다.

arXiv:2607.09692v1cs.LG

LLM에서의 참조 기반 증류 탐지

Reference-Based Distillation Detection in LLMs

모델 증류(distillation) -- 더 강력한 서드파티 모델의 출력으로 학습하는 것 -- 는 성능 향상에 널리 활용되지만, 불공정한 이점 및 정책 위반에 대한 우려를 야기한다. 이는 근본적인 질문을 제기한다: 한 모델이 다른 모델로부터 증류되었는지 탐지할 수 있는가? 우리는 학생 모델(student model)로부터 교사 모델(teacher model)을 단독으로 식별하는 것은 매우 어렵지만, 참조 기반 설정에서는 다룰 수 있음을 보인다: 동일한 계보의 모델과 이전 세대 체크포인트(checkpoint)가 주어지면, 이후 체크포인트의 학습(training)에 사용된 교사 모델을 식별할 수 있다. 우리는 참조 기반 멤버십 추론(membership inference)에 기반한 증류 탐지 방법을 소개한다. 참조 체크포인트 대비 학생 모델이 서로 다른 후보 교사들의 출력과 얼마나 선호적으로 정렬되는지를 비교함으로써, 우리의 방법은 가장 유력한 교사 모델을 식별하고 증류의 증거를 탐지한다. 숨겨진 프롬프트(prompt)와 같은 알려지지 않은 증류 파이프라인을 처리하기 위해, 모델(model) 출력으로부터 직접 프록시 프롬프트 템플릿을 추론(inference)한다. 추가로, o1/o3 모델에 특유한 독특한 글리프(glyph) 수준의 신호를 식별한다. 현대 모델 계보가 이미 심하게 얽혀 있어 증류 탐지를 평가하는 것은 어렵다. 이를 해결하기 위해, 통제된 증류 실험과 실제 모델 모두를 아우르는 하이브리드 평가를 개발한다. 두 설정 모두에서, 우리의 접근법은 기반 증류 파이프라인이 대체로 알려지지 않은 경우에도 단일 교사 증류 시나리오에서 거의 완벽한 정확도로 실제 교사 모델을 복원한다. 나아가 교사 귀속(teacher attribution)과 증류 탐지 모두에 대한 통계적 검정을 도입하고, 후보 중 교사 모델이 반드시 존재하지 않는 오픈 월드(open-world) 설정으로 프레임워크를 확장한다. 우리의 방법을 현대 모델에 적용한 결과, QwQ, DeepSeek-R1, GPT-OSS와 관련된 잠재적 증류 관계에 대한 새로운 증거를 제시한다.