arXiv:2311.13881

A Multi-solution Study on GDPR AI-enabled Completeness Checking of DPAs

Muhammad Ilyas Azeem, Sallam Abualhaija

제출 2023-11-23

원문 초록

Specifying legal requirements for software systems to ensure their compliance with the applicable regulations is a major concern to requirements engineering (RE). Personal data which is collected by an organization is often shared with other organizations to perform certain processing activities. In such cases, the General Data Protection Regulation (GDPR) requires issuing a data processing agreement (DPA) which regulates the processing and further ensures that personal data remains protected. Violating GDPR can lead to huge fines reaching to billions of Euros. Software systems involving personal data processing must adhere to the legal obligations stipulated in GDPR and outlined in DPAs. Requirements engineers can elicit from DPAs legal requirements for regulating the data processing activities in software systems. Checking the completeness of a DPA according to the GDPR provisions is therefore an essential prerequisite to ensure that the elicited requirements are complete. Analyzing DPAs entirely manually is time consuming and requires adequate legal expertise. In this paper, we propose an automation strategy to address the completeness checking of DPAs against GDPR. Specifically, we pursue ten alternative solutions which are enabled by different technologies, namely traditional machine learning, deep learning, language modeling, and few-shot learning. The goal of our work is to empirically examine how these different technologies fare in the legal domain. We computed F2 score on a set of 30 real DPAs. Our evaluation shows that best-performing solutions yield F2 score of 86.7% and 89.7% are based on pre-trained BERT and RoBERTa language models. Our analysis further shows that other alternative solutions based on deep learning (e.g., BiLSTM) and few-shot learning (e.g., SetFit) can achieve comparable accuracy, yet are more efficient to develop.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22043v2cs.CL공통 태그 Language Modeling, Few-Shot Learning

스크래치로부터의 네이티브 멀티모달 사전학습 스케일링

Scaling Native Multimodal Pre-Training From Scratch

대규모 언어 모델(LLM)이 뛰어난 추론 능력을 보여줌에도 불구하고, 텍스트 전용 사전학습에 의존하는 점은 멀티모달 물리적 세계에 대한 인식을 제한합니다. 네이티브 멀티모달 사전학습은 멀티모달 입력을 바탕으로 모델을 스크래치부터 학습(from scratch)함으로써 이러한 한계를 극복하며, 이를 통해 깊은 크로스모달 통합을 달성하고 기존의 후기 융합(late-fusion) 아키텍처에 내재된 최적화 비대칭성을 완화합니다. 이러한 장점에도 불구하고, 이 패러다임의 스케일링(scaling) 특성은 여전히 불완전하게 규명되어 있습니다. 이러한 공백을 해소하기 위해, 본 연구에서는 고정된 계산 예산 하에서 트랜스포머 기반 비전-언어 모델을 학습하기 위한 최적의 모델 크기와 토큰 수를 조사합니다. 연구 결과, 최소 목적 손실은 예측 가능한 연산 법칙을 따르는 반면, 연산 최적의 모델 크기와 토큰 수는 거듭제곱 법칙으로 스케일링됨을 보여줍니다. 특히, 언어 및 멀티모달 목적 함수는 뚜렷이 구분되는 할당 경향을 나타냅니다. 언어 할당 지수는 서로 다른 데이터 혼합 전반에 걸쳐 유사한 범위에 위치합니다. 멀티모달 모델 할당 지수는 멀티모달 토큰 비율에 따라 완만하게 감소하여, 상대적으로 토큰 할당 쪽으로 전환됨을 시사합니다. 또한, 본 스케일링 분석은 예산 보상 규칙을 도출합니다. 구체적으로, 고정된 연산 예산 하에서 네이티브 멀티모달 사전학습에 시각 정보를 통합함으로써 발생하는 텍스트 효율성 저하를 추가적인 멀티모달 토큰 예산으로 상쇄할 수 있습니다. 다운스트림 평가는 네이티브 멀티모달 사전학습이 향상된 공간 추론 및 멀티모달 퓨샷(few-shot) 학습과 연관되어 있음을 추가로 보여줍니다. 전반적으로, 본 실증적 연구는 멀티모달 파운데이션 모델을 예측 가능하게 스케일링하기 위한 필수적인 기반을 마련합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.