저자 검증(Authorship Verification, AV)은 디지털 텍스트 포렌식의 중요한 하위 분야로, 두 텍스트가 동일한 저자에 의해 작성되었는지 여부를 확인하는 근본적인 문제를 다룹니다. 지난 20년 동안 이 분야는 상당한 진전을 이루었으나, 몇 가지 중요한 과제가 여전히 해결되지 않았거나 충분히 연구되지 않은 채로 남아 있습니다. 예를 들어, 언어는 문자 형태뿐만 아니라 영상과 같은 구어 형태로도 표현됨에도 불구하고 대부분의 AV 연구는 문자 텍스트에만 집중해 왔습니다. 또한 기존 AV 연구는 주로 영어에 편중되어 있어 독일어를 비롯한 다른 언어는 상대적으로 거의 주목받지 못했습니다. 이러한 연구 공백을 해결하기 위해 본 논문에서는 독일어 영상의 전사본 형태인 구어에 AV를 적용하고, 영상 쌍 전반에서 화자의 신원을 검증하는 데 있어 기존 AV 방법들의 효과를 조사합니다. 150명의 화자가 참여한 300개의 영상으로 구성된 3개의 자체 구축 코퍼스를 대상으로 총 10가지 AV 방법을 적용한 실험 평가(evaluation) 결과, 단순 문자 및 토큰(token) n-그램 표현에 기반한 전통적인 AV 접근법이 가장 우수한 성능(최대 88% 정확도 및 90% AUC)을 달성함을 보여줍니다. 반면, 보다 현대적인 트랜스포머(transformer) 기반 접근법은 평가된 모든 코퍼스에서 유의미하게 낮은 성능을 보였습니다. 따라서 본 연구 결과는 AV 분야에서 전통적인 방법들이 여전히 경쟁력 있고 유효함을 시사합니다.
지난 10년간 적대적 강건성(adversarial robustness) 연구는 수백 개의 방어 모델을 만들어 냈지만, 문헌은 거의 항상 강건성 결과를 단독으로 보고한다. 강건 모델의 표준(클린) 정확도와 적대적 정확도는 제시되지만, 이에 대응하는 vanilla 모델과의 격차는 거의 정량화되지 않는다. 우리는 이러한 격차를 명시적으로 드러내는 체계적인 벤치마크인 VanillaBench를 소개한다. RobustBench에 수록된 4가지 위협 모델(threat model)에 걸친 모든 적대적 학습(adversarially-trained) 모델에 대해, Papers with Code의 여러 vanilla 참조와의 정확도 차이를 계산한다. 이는 전체 항목과 추가 데이터 없음(no-extra-data) 항목 모두, 강건 모델의 발표 연도 기준 최고 vanilla 모델, 그리고 아키텍처 매칭 기준선(architecture-matched baseline)에 대해 수행된다. 186개의 모든 강건 모델에 걸쳐, 최고 vanilla 모델 대비 평균 클린 델타는 -7.7에서 -29.5 퍼센트 포인트 범위이며, 트랙당 가장 강건한 단일 모델조차 동일 시기의 vanilla 대응 모델보다 4.0-21.0 포인트 뒤진다. 아키텍처 차이와 적대적 학습의 효과를 분리하는 아키텍처 매칭 비교는 -3.5에서 -17.5 포인트의 평균 격차를 보여준다. 유사 아키텍처에서 추정하는 대신 정확히 동일한 아키텍처에 대한 vanilla 정확도가 알려진 모델로 이 아키텍처 매칭 비교를 제한하면, 격차는 -4.0에서 -14.0 포인트로 좁아진다. 이 결과는 강건성-정확도 트레이드오프가 개별 논문이 일반적으로 전달하는 것보다 실질적으로 더 크다는 것을 보여준다. 이 정보는 실무자와 의사결정자에게 중요하다. 실세계 설정에서 모델을 배포할 때, 강건성의 정확도 비용은 비즈니스 결과에 직접 영향을 미치지만, 현재 출판물은 이를 평가하는 데 필요한 vanilla 기준선을 제공하지 않는다. 우리는 향후 강건성 평가가 vanilla를 참조한 정확도 격차를 표준 구성 요소로 보고해야 한다고 주장한다.