원문 초록
Machine unlearning (MU) refers to the post-training capability to remove (the influence of) training examples that are incorrect, biased, or leak sensitive/private information. MU is now widely regarded as critical for building safe and fair AI. In parallel, research into transformer architectures for computer vision has been highly successful: Vision Transformers (VTs) increasingly emerge as strong alternatives to CNNs. Yet, MU research for vision tasks has largely centered on CNNs, not VTs. While MU benchmarks have been developed for LLMs, diffusion models, and CNNs, none currently exist for VTs. This work is the first to attempt this, benchmarking MU algorithm performance across different VT families (ViT, Swin-T, and DINOv2) and at different capacities. The work employs (i) different datasets, selected to assess the impacts of dataset scale and complexity; (ii) different MU algorithms, selected to represent fundamentally different approaches for MU; and (iii) both single-shot and continual unlearning protocols. Additionally, it focuses on benchmarking MU algorithms that leverage training data memorization, since leveraging memorization has been recently discovered to significantly improve the performance of previously SOTA algorithms. En route, the work characterizes how VTs memorize training data relative to CNNs, and assesses the impact of different memorization proxies on performance. The benchmark uses unified evaluation metrics that capture two complementary notions of forget quality along with accuracy on unseen (test) data and on retained data. Overall, this work offers a benchmarking basis, enabling reproducible, fair, and comprehensive comparisons of existing (and future) MU algorithms on VTs. Importantly, for the first time, it sheds light on how well existing algorithms work in VT settings, establishing a promising reference performance baseline.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.20114v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹
Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets
멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.
연합 사회적 공정 k-평균 군집화를 위한 머신 언러닝
Machine Unlearning for Federated Socially Fair k-Means Clustering
연합 군집화(federated clustering)는 여러 병원에 걸친 환자 층화(patient stratification) 및 분산된 금융 데이터셋 전반의 고객 세분화와 같은 응용 분야를 지원할 수 있습니다. 책임감 있는 인공지능(Responsible AI)은 인구통계학적 집단의 공정한 대표성을 보장하고, GDPR의 잊힐 권리(right to erasure)와 같은 권리에서 비롯된 데이터 삭제 지원을 요구합니다. 이러한 목표들은 상호작용합니다. 즉, 레코드를 삭제하면 집단 간의 균형이 바뀌고 남아 있는 모집단의 군집화 결과가 변경될 수 있습니다. 본 연구에서는 가장 가까운 중심점까지의 최대 집단 평균 제곱 거리를 최소화하는 것을 목표로 하는 연합 사회적 공정 $k$-평균($k$-means)에 대한 정확한 머신 언러닝(exact machine unlearning)을 연구합니다. 본 접근법은 각 집단별로 독립된 로컬 요약(summary)을 유지하므로, 글로벌 공정성 가중치가 변경되더라도 영향을 받지 않은 기관의 요약은 유효하게 유지됩니다. 두 집단의 경우, 이상적인 샘플링 하에서 클라이언트 집단 비율과 무관한 초기화(initialization) 근사 보장을 증명하며, 동일 시드 재생(same-seed replay)이 재학습을 정확히 재현함을 보입니다. 재사용의 이점은 전체 클라이언트가 탈퇴할 때 가장 두드러집니다. 3개의 데이터셋에 걸쳐 재생 방식은 초기화 전용 모델(model)에 대해 재학습보다 $35.8\times$ 더 빠르며, 최악 집단 비용을 개선하는 1회 및 2회의 공정 정제 라운드 적용 시에도 각각 $2.4\times$ 및 $1.7\times$ 더 빠른 속도를 유지합니다. 개별 레코드 삭제의 경우 성능 향상은 약 $1.06\times$로 미미하며, 캐시된 할당을 검증하는 비용이 절감되는 비용보다 더 클 수 있습니다. 이러한 결과는 정확한 언러닝이 계산을 유익하게 재사용할 수 있는 영역을 보여줍니다. 코드 및 재현성 자료는 https://github.com/arareddy/mufsc 에서 확인할 수 있습니다.
CuBEs: 문화적 맥락을 고려한 행동 평가와 문화 불가지론적 LLM 판정자의 한계
CuBEs: Culturally-Situated Behavioral Evaluations and the Limitations of Culture-Blind LLM Judges
아첨(sycophancy), 자기 선호(self-preference), 또는 과신(over-confidence)과 같은 대규모 언어 모델(LLM)의 행동 발생 여부와 트리거를 평가하는 것은 실제 환경에서의 모델 배포 위험을 예측하는 데 매우 중요합니다. 그러나 기존의 맥락적 행동 평가는 일반적으로 문화적 맥락을 무시하므로, 점점 더 글로벌화되는 사용자층 전반에 걸친 일반화 가능성이 제한됩니다. 이러한 격차를 해소하기 위해, 다양한 사용자 문화에 걸친 응답 패턴을 탐색하는 문화적 맥락 고려 행동 평가 프레임워크인 CuBEs를 제안합니다. 먼저 자동화된 테스트 파이프라인을 확장하여 행동 테스트 시나리오와 후속 평가에 문화적 맥락을 주입합니다. 12개의 서로 다른 문화권에 걸쳐 미묘한 행동 이해 차원을 포착하는 인간 라벨링 데이터셋을 구축하여 이 파이프라인의 문화적 적응성을 평가합니다. 구축한 데이터셋은 획일적인 판정으로는 포착할 수 없는 상당한 비교문화적 차이를 보여줍니다. 13개의 오픈소스 및 폐쇄형 LLM을 평가한 결과, 평가 시나리오에 문화적 맥락성(cultural situatedness)을 도입하면 행동의 발현 양상에 상당한 차이가 발생함을 확인했습니다. 예를 들어 정치적 바이어스를 테스트하는 기준선 실험에서는 미국 내 보수-진보 간의 분열과 같이 국지화된 서구적 정치 차원만을 포착하는 반면, 비서구권의 문화적 맥락을 고려한 평가에서는 종교적 및 식민지적 정치 문제와 같은 완전히 다른 바이어스 축이 드러납니다. 이러한 연구 결과는 표준적이고 문화 불가지론적인 평가가 이러한 변화를 포착하지 못함을 보여주며, 글로벌 배포를 위해 문화적 맥락을 고려한 행동 테스트가 필수적임을 강조합니다.
연구와 실제 임상의 간극 좁히기: 임상 피부 병변 분류에서 범용 모델과 피부과 특화 모델의 체계적 평가
Bridging Research and Practice: A Systematic Evaluation of Generalist and Dermatology-Specific Models in Clinical Skin Lesion Classification
최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.
Cross-Modal Alternating Learning with Task-Aware Representations for Continual Learning
Class incremental learning for video action classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.