대규모 데이터셋으로 학습된 합성곱 신경망(CNN)에서 전이학습을 적용하는 현재의 추세는, 목표 애플리케이션이 맞춤형이고 범위가 한정된 문제이며 네트워크를 처음부터 학습시키기에 충분한 데이터가 있는 경우 과도한 처사가 될 수 있습니다. 반면에, 맞춤형이고 더 가벼운 CNN을 학습시키는 것은 처음부터 학습하는 경우 전문성이 필요하거나, 하드웨어 인식 신경망 아키텍처 탐색(HW NAS)의 경우처럼 고성능 자원이 필요하여, 일반적인 신경망 개발자가 아닌 사용자의 기술 접근성을 제한합니다. 이러한 이유로, 우리는 경량의 작업 특화 CNN을 생성하기 위한 접근 가능한 HW NAS 기법인 ColabNAS를 제안합니다. 오컴의 면도날에서 영감을 받은 이 방법의 새로운 도함수 기반이 아닌 탐색 전략을 통해, Google Colaboratory 및 Kaggle Kernel과 같은 무료 온라인 GPU 서비스를 사용하여 단 3.1 GPU 시간 만에 표준 TinyML 벤치마크인 Visual Wake Word 데이터셋에서 최첨단 결과를 획득할 수 있습니다.
DP-SGD와 같은 머신러닝(ML) 알고리즘에 대한 차분 프라이버시(DP) 보장을 보고하는 현재의 관행은 불완전하고 잠재적으로 오해를 초래할 수 있는 그림을 제시합니다. 예를 들어, 어떤 메커니즘에 대해 단일 $(\varepsilon, \delta)$만 알려진 경우, 표준 분석은 학습 데이터 레코드에 대한 매우 정확한 추론 공격이 존재할 수 있음을 보여주지만, 보다 신중한 분석을 통해 살펴보면 대부분의 실용적인 메커니즘에서는 그러한 정확한 공격이 존재하지 않습니다. 이 포지션 페이퍼에서 우리는 ML에서 DP 보장을 전달하는 주요 수단으로 _비점근적_ 가우시안 차분 프라이버시(GDP)를 사용하는 것이 이러한 잠재적 단점을 피할 수 있다고 주장합니다. DP 문헌의 두 가지 최근 발전, 즉 (i) DP-SGD의 프라이버시 프로파일과 $f$-DP 곡선을 임의의 정확도로 계산할 수 있는 오픈소스 수치 어카운턴트, (ii) DP 표현에 대한 의사결정 이론적 메트릭을 활용하여, 우리는 수치 어카운턴트를 사용해 GDP에 대한 비점근적 경계를 제공하는 방법을 보이고, GDP가 해당 메트릭으로 정량화된 오차를 거의 없이 DP-SGD 및 관련 알고리즘의 전체 프라이버시 프로파일을 포착할 수 있음을 보여줍니다. 우리의 주장을 뒷받침하기 위해, 최신 DP 대규모 이미지 분류와 미국 10년 인구조사를 위한 TopDown 알고리즘의 프라이버시 프로파일을 조사하였으며, 모든 경우에서 GDP가 해당 프로파일에 현저히 잘 맞음을 관찰하였습니다. 마지막으로 이 접근 방식의 강점과 약점에 대해 논의하고, GDP로부터 이점을 얻을 수 있는 다른 프라이버시 메커니즘에 대해 논의합니다.
데이터 처리 불평등 관점에서 RemOve-And-Retrain(ROAR) 벤치마크의 유효성을 분석한 결과, 정보를 추가할 수 없는 후처리가 점수를 향상시킬 수 있어 순위가 모델 정보의 양을 반드시 반영하지 않음을 밝혔다. 또한 이러한 문제는 공간적으로 흐릿한 마스크에 대한 편향과 연관되어 있음을 CIFAR-10 등의 실험을 통해 확인했다.