arXiv:2403.12710

Selective, Interpretable, and Motion Consistent Privacy Attribute Obfuscation for Action Recognition

Filip Ilic, He Zhao, Thomas Pock, Richard P. Wildes

제출 2024-03-19

원문 초록

Concerns for the privacy of individuals captured in public imagery have led to privacy-preserving action recognition. Existing approaches often suffer from issues arising through obfuscation being applied globally and a lack of interpretability. Global obfuscation hides privacy sensitive regions, but also contextual regions important for action recognition. Lack of interpretability erodes trust in these new technologies. We highlight the limitations of current paradigms and propose a solution: Human selected privacy templates that yield interpretability by design, an obfuscation scheme that selectively hides attributes and also induces temporal consistency, which is important in action recognition. Our approach is architecture agnostic and directly modifies input imagery, while existing approaches generally require architecture training. Our approach offers more flexibility, as no retraining is required, and outperforms alternatives on three widely used datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12909v2q-bio.NC공통 태그 Action Recognition

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2607.09767v2eess.SP공통 태그 Privacy Preserving

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2610.02418v2cs.CR공통 태그 Privacy Preserving

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2609.27110v2cs.CV공통 태그 Attribute

Undertone: 소수의 평점으로 고정된 VLM 미적 판정기를 개인화하기

Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings

이미지 품질 평가는 평균 의견 점수(MOS)를 예측하지만, 이미지 미학에서는 평균이 개인을 가리므로 개인화된 평가는 새 사용자가 평가한 소수의 이미지에서 출발해야 한다. 평점 열 개로 각 사람을 처음부터 적합시키면 실패하며, 사람별로 파인튜닝한 네트워크는 새로운 종류의 이미지로 잘 전이되지 않는다. 본 논문은 Undertone-P를 제안한다. 이는 다른 평가자들로부터, 고정된 시각-언어 모델(VLM) 판정기의 판독값, 즉 확률 가중 평점과 점수 토큰에서의 은닉 상태에 대한 사람별 회귀 가중치의 가우시안 사전분포를 학습한다. 사람들이 군중과 다른 방식은 다른 평가자들이 드러내므로, 소수의 평점은 그 방식들 중 하나를 고르기만 하면 된다. 새 사용자에게는 닫힌 형태의 풀이 한 번이 필요할 뿐이며 네트워크는 학습되지 않는다. Ryu와 Yanaka의 PARA 벤치마크에서 사전분포만으로 스피어만 상관계수 .640에 도달하여, 기존에 발표된 최고의 10개 및 100개 평점 결과(.581 및 .620)를 상회하며, 사람의 평점 10개와 100개를 사용하면 각각 .648과 .676으로 상승한다. 이러한 평점은 취향이 군중과 다른 곳에서 가장 큰 이득을 준다. 평점 100개 기준으로 군중과 가장 덜 일치하는 평가자들에서는 +.067, LAPIS 미술 작품에서는 +.206이며 전체 평균은 +.037이다. 라벨 없이도 판정기의 기대 점수는 PARA의 MOS를 .835로 예측한다(우리가 실행한 발표 모델 중 최고: .694). PARA로 학습된 네트워크는 PARA의 원래 프로토콜에서는 여전히 앞서는데, 이는 더 강력한 종단 간 MOS 모델 때문일 가능성이 있다.

arXiv:2607.13940v2cs.AI공통 태그 Privacy Preserving

종단적 개인 건강 관리를 위한 자기 진화 에이전트

A Self-Evolving Agent for Longitudinal Personal Health Management

의료 대규모 언어 모델과 에이전트는 단일 진료 상황의 질의응답과 근거 해석에서는 강력한 성능을 보이지만, 여러 진료에 걸쳐 경험을 축적하고 관리하는 데에는 어려움을 겪는다. 본 논문은 공유되는 안전 규칙 및 의학 지식을 비공개 종단 메모리와 분리하고 완료된 사례로부터 교훈을 추출하는 오픈소스 에이전트 HealthJev를 제시한다. 잘못된 교훈이 이후 행동에 영향을 미치기 전에 걸러내기 위해, 어떤 교훈을 메모리에 넣을지 결정하는 경량 System-One 모델인 JevGate를 자기 학습시킨다. 각 결정은 중앙값 86밀리초와 약 1,000개의 입력 토큰이 소요되어, 무시할 만한 실행 시간 오버헤드로 경험 축적을 지속한다. 실제 MIMIC-IV 궤적으로 구축한 20명 사용자의 90일 모의 일상 상호작용 종단 벤치마크에서 HealthJev는 메모리가 없는 ReAct 에이전트와 메모리 증강 프레임워크 세 가지를 능가했으며, 모든 쌍별 비교가 유의했다. 임상 기록, 의료 영상, 유전체학, 임상 텍스트에 걸친 여섯 가지 과제에서 HealthJev는 모든 과제를 개선하여 기본 조건 대비 평균 13.3%p의 향상을 보였고 모든 기준선을 능가했다. 고정된 라이브러리는 여섯 개의 다른 백본으로 전이되어 매크로 평균 6.8~15.1%p의 향상을 보였으며, 한 과제의 라이브러리는 다른 과제에서도 향상을 가져왔다. 이러한 결과는 관리되는 자기 진화 메모리가 단일 진료를 넘어서는 종단적 개인 건강 관리를 뒷받침함을 시사한다. HealthJev는 https://github.com/HC-Guo/Self-Evolving_HealthJev 에 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.