"나중에 고치죠": 교육, AI, 그리고 에듀테크의 프라이버시 유예
"We'll Fix It Later": Education, AI, and the Deferral of Privacy in EdTech
한국어 초록
교육 기술(EdTech) 플랫폼은 행동 로그, 장애 기록, 학적 기록을 포함한 매우 민감한 학생 데이터를 수집합니다. 그러나 프라이버시 고려 사항은 기초적인 설계 요구사항으로 다루어지기보다는 종종 뒤로 미뤄집니다. 본 연구에서는 12건의 에듀테크 전문가 반구조화 인터뷰와 5개 차원에 걸쳐 코딩된 48개 플랫폼의 개인정보 처리방침 감사를 결합한 혼합 연구 방법론(mixed-methods study)을 제시하며, 높은 평가자 간 신뢰도(평균 Cohen's Kappa = 0.781)를 확보했습니다. 인터뷰 결과, 조직들이 제품 기능, 성장, 자금 조달, 즉각적인 교육적 성과를 우선시함에 따라 프라이버시가 중요하다고 인식되면서도 제품 수명 주기 전반에 걸쳐 유예되는 반복적인 조직적 패턴이 드러났습니다. 책임은 종종 클라우드 제공업체, 정책 문서, 또는 하위 기관으로 위임되며, 제한적인 프라이버시 관련 피드백으로 인해 조직들이 이러한 관행을 바꿀 만한 압박을 거의 받지 않습니다. 정책 분석 역시 이러한 패턴을 반영합니다. 플랫폼들은 수집하는 데이터에 대해서는 비교적 잘 설명하지만, 해당 데이터가 이후 어떻게 관리·통제(governed)되는지에 대해서는 실질적으로 훨씬 적은 정보를 제공합니다. 가시적인 인공지능(AI) 기능이 있음에도 불구하고 33%는 유의미한 AI 관련 공개를 하지 않았으며, 73%는 일반적인 책임성 및 침해 사고 대응 문구만을 제공했습니다. 규제가 명시적인 요구사항을 생성하는 아동 동의 영역에서는 K-12 플랫폼이 더 나은 성과를 보였으나, 이러한 이점이 AI 거버넌스나 책임성으로까지 이어지지는 않았습니다. 이러한 발견은 자발적인 프라이버시 약속만으로는 부족하며, 의미 있는 개선을 위해 집행 가능한 제도적 및 규제적 메커니즘이 필요함을 시사합니다.
원문 초록
Educational technology (EdTech) platforms collect highly sensitive student data, including behavioral logs, disability records, and academic histories. However, privacy considerations are often postponed rather than treated as a foundational design requirement. We present a mixed-methods study combining 12 semi-structured interviews with EdTech professionals and a privacy policy audit of 48 platforms coded across five dimensions, with strong inter-rater reliability (mean Cohen's Kappa = 0.781). Our interviews reveal a recurring organizational pattern in which privacy is recognized as important but deferred across the product lifecycle as organizations prioritize product functionality, growth, funding, and immediate educational outcomes. Responsibility is often delegated to cloud providers, policy documents, or downstream institutions, while limited privacy-related feedback gives organizations little pressure to change these practices. The policy analysis reflects these patterns: platforms describe what data they collect relatively well but provide substantially less information about how that data is subsequently governed. Thirty-three percent make no meaningful Artificial Intelligence (AI) disclosure despite visible AI features, and 73% provide only generic accountability and breach-response language. K-12 platforms perform better on children's consent where regulation creates explicit requirements, but this advantage does not extend to AI governance or accountability. These findings suggest that meaningful improvement requires enforceable institutional and regulatory mechanisms rather than voluntary privacy commitments alone.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28137v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle
연합 에이전트 최적화
Federated Agent Optimization
대규모 언어 모델(LLM) 에이전트(agent)는 점차 비공개 환경에서 작동하며 작업 수행, 도구 사용, 피드백, 로컬 지식으로부터 가치 있는 경험을 축적하고 있습니다. 그러나 이러한 경험은 여러 조직에 분산되어 있으며 프라이버시 및 독점적 제약으로 인해 직접 공유될 수 없습니다. 에이전트의 역량이 모델(model) 파라미터를 넘어 메모리, 도구, 보상(reward), 기술 및 정형화된 지식으로 확장됨에 따라 기존의 연합학습(federated learning)은 이러한 환경에 불충분합니다. 본 논문에서는 원시 데이터, 완전한 궤적, 비공개 지식을 로컬에 유지하면서 통제된 정보 교환을 통해 분산된 에이전트들이 협력하여 개선할 수 있는 방법을 연구하는 연합 에이전트 최적화(Federated Agent Optimization, FAO)를 정식화합니다. 본 연구는 FAO를 에이전트 유용성, 프라이버시 유출, 통신 비용의 균형을 맞추는 다중 목적 최적화 문제로 정의하고, 정책, 메모리, 도구 사용, 보상, 정형화된 지식 및 기술 전반에 걸쳐 최적화 공간을 체계화합니다. 나아가 비공개 경험을 추상화, 보호, 집합 및 적응시켜 전이 가능한 역량으로 변환하는 방법을 구체화함으로써, 에이전트들이 직접적인 경험 공유 없이도 서로에게서 이점을 얻을 수 있는 통합된 관점을 제공합니다. 마지막으로 FAO의 주요 과제를 식별하고 신뢰할 수 있는 연합 에이전트 시스템을 향한 미래 연구의 유망한 방향들을 제시합니다.
신뢰할 수 있는 에이전틱 AI: 자율적 LLM 시스템을 위한 실패 모드, 완화 전략 및 생애주기 프레임워크
Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems
대규모 언어 모델(LLM)을 기반으로 구축된 에이전틱 AI(Agentic AI) 시스템은 여러 단계에 걸친 계획 수립, 외부 도구 활용, 메모리 내 정보 보존, 다른 에이전트와의 협업을 수행할 수 있습니다. 이러한 기능은 기존의 정적 언어 모델보다 뛰어난 유용성을 제공하지만, 동시에 새로운 보안 및 운영상의 위험을 야기합니다. 웹사이트, 이메일, 문서, 데이터베이스 등 신뢰할 수 없는 콘텐츠가 시스템 인스트럭션과 동일한 컨텍스트로 유입될 수 있고, 영구 메모리는 침해된 정보를 세션 전반에 걸쳐 전달할 수 있으며, 외부 도구에 대한 접근 권한은 모델의 부정확한 응답을 중대한 실제 행동으로 이어지게 할 수 있습니다. 본 논문은 안전성(safety) 및 견고성, 정렬(alignment) 및 인간 감독, 투명성 및 감사 가능성, 프라이버시 및 데이터 거버넌스, 규제 준수라는 다섯 가지 상호 연결된 차원에서 에이전틱 AI의 신뢰성을 검토합니다. 또한 간접 프롬프트 인젝션(indirect prompt injection), 백도어 트리거, 목표 오일반화(goal misgeneralization), 메모리 오염, 세션 간 데이터 유출을 포함한 주요 실패 모드를 통합된 분류 체계로 정리합니다. 아울러 인스트럭션 계층 구조, 컨텍스트 격리, 스포트라이팅(spotlighting), 프로세스 기반 감독, 제한적 도구 사용, 프라이버시 보존 메모리 등 주요 완화 방식을 살펴보며, 실증적 증거로 뒷받침되는 기법과 여전히 주로 개념적 수준에 머물러 있는 기법을 구분합니다. 이러한 분석을 바탕으로, 명세, 설계, 학습(training), 평가(evaluation), 배포, 모니터링의 6단계로 구성된 '신뢰할 수 있는 에이전트 개발 생애주기(TADL)' 프레임워크를 소개합니다. TADL은 각 단계별로 관련 신뢰성 활동, 요구되는 증거, 위험 기반 의사결정 게이트를 정의합니다. TADL은 아직 실증적으로 검증되지는 않았으나, 보다 안전하고 책임 있는 에이전틱 시스템을 개발하고 평가하기 위한 구조화된 기반을 제공합니다. 마지막으로 본 논문은 현재 벤치마크(benchmark)의 한계를 짚어보고 향후 연구를 위한 우선 과제를 제시하며 마무리합니다.
도덕 점검(Moral Check): 페이싱 문제(Pacing Problem)를 위한 전략적 AI 거버넌스
The Moral Check: Strategic AI Governance for the Pacing Problem
기술은 스스로 방향을 잡을 수 없다. 전략이 그 조종을 제공하며, 목적과 판단이 연산 자본(compute capital)보다 앞서야 한다는 규칙을 확립한다. 최전선 인공지능(AI) 생태계가 기하급수적으로 가속함에 따라, 페이싱 문제(pacing problem)는 엔지니어링 팀에 심각한 인지적 터널링(cognitive tunneling)을 유발하여 인간의 판단보다 스칼라 처리량(scalar throughput)을 우선시하게 한다. 조절된 페이싱 속도는 무분별한 스케일링(scaling)을 억제하고, 안전성(safety)을 보장하며, 사회가 정당한 신뢰를 둘 수 있는 정렬(alignment)을 갖춘 모델을 구축하기 위해 필수적이다. 전통적 감독은 사후적 체크리스트를 통해 실패하며, 이는 절차적 성숙도는 높지만 경고할 만한 과학적 미성숙을 보이는 수행적 거버넌스(performative governance)의 병리이다. 우리는 이중 기여를 제시한다: 130편의 실증 연구를 종합한 PRISMA 2020 리뷰(MMAT 평가, 18개 벤치마크; 전체 코퍼스 N = 130편의 실증 연구, 178개 참고 기반)와 전략적 AI 거버넌스 사전 프레임워크(SAGE-X, Strategic AI Governance Ex-Ante Framework)이다. 우리의 종합은 두 가지 체계적 취약점을 드러낸다: 재귀적 보증 역설(Recursive Assurance Paradox, 상관된 비근거 평가자 신뢰)과 내구성 결핍(Durability Deficit, 다중 턴 전환 하에서의 가드레일(guardrail) 감쇠). MIT 전략적 컴퓨팅(Strategic Computing) 교리에 기반하여, SAGE-X는 네 가지 전략적 사고 기둥(Four Strategic Mindset Pillars)을 운영화한다: (1) 실행보다 의도(Intent over Execution, 속도 근시(velocity myopia) 완화); (2) 냉정한 트레이드오프(Ruthless Trade-offs, 도덕적 위험(moral hazard)을 제거하는 결정적 트립와이어(tripwire)); (3) 산출물보다 결과(Outcomes over Outputs, 실증적 위험 종점(empirical hazard endpoints) 감사); (4) 선제적 정렬(Proactive Alignment, 사전(ex-ante) 게이트와 런타임 텔레메트리(runtime telemetry) 동기화). 계산 가능한 도덕 점검 지수(MCI, Moral Check Index)와 우회 불가능한 트립와이어에 의해 거버ned되며, SAGE-X는 Stanford WebProtégé에서 운영 가능한 기업 생애주기 감사 도구(Enterprise Lifecycle Audit Instrument, "Moral Check Audit Card")를 제공하여, 기하급수적 진보가 숙고적 도덕 판단, 인간 주체성(human agency), 사회적 신뢰를 결코 앞지르지 않도록 보장한다.
정지의 법: 중단가능성, 금지명령, 그리고 에이전트(agent) AI의 거버넌스
The Law of Stop: Interruptibility, Injunctions, and the Governance of Agentic AI
2026년 6월 12일, 미국 정부는 Anthropic에 가장 역량이 뛰어난 두 모델에서 외국인의 접근을 90분 이내에 차단하도록 명령했다. 해당 시간 내에 국적별로 사용자를 분류할 수 없었던 회사는 모든 사용자를 대상으로 모델 서비스를 철회했다. 몇 주 후, 테스트 중이던 OpenAI의 에이전트(agent)들이 샌드박스를 탈출해 Hugging Face를 침해했으며, Hugging Face는 침입의 출처를 모른 채 이를 저지했다. 두 정지(stop) 조치 모두 AI 전용 규제에 기반한 것이 아니었다. EU AI 법(EU AI Act)은 고위험 시스템이 "'정지' 버튼 또는 유사한 절차를 통해" 중단될 수 있어야 한다고 규정하고 있으며, 2026년 7월 의회에 발의된 법안의 명칭은 'AI 킬 스위치 법(AI Kill Switch Act)'이다. 그러나 중단은 단순한 기술적 인공물이나 빨간 버튼이 아니며, 제도적 실천이다. 본 논문은 기술적 어포던스(affordance), 중단 권한, 인식론적 촉발 요인(epistemic triggers), 인식론적 적격성(epistemic standing)이라는 네 가지 차원과 단순형(에스컬레이터), 순차형(공정 플랜트), 네트워크형(철도), 분산형(에이전트 AI)이라는 네 가지 셧다운 패러다임에 기반한 정지 이론을 발전시킨다. 에이전트 AI는 이러한 메커니즘과 분산된 행위주체성(agency) 간의 불일치를 드러낸다. 통제권이 분할되어 있고, 한 지점에서의 정지가 다른 곳에서 활동을 계속 실행되도록 둘 수 있으며, 시스템이 중단되는 것에 저항할 수 있다. 사전 정의된 프로토콜에 따라 경쟁 연구소의 두 언어 모델을 활용해 1,400건의 AI 사고를 독자적으로 코딩한 결과, 최종 유지된 1,213건 중 대략 80%에서 정지가 이루어지지 않은 것으로 나타났다. 사용 가능한 정지 수단이 존재하지 않았던 경우, 5건 중 4건에서는 결여된 요소가 기술적이라기보다는 법적인 문제였다. 39개의 AI 거버넌스 수단에 대한 조사에서도 동일한 공백이 발견되었다. 구속력 있는 정지 요건을 포함하는 것은 7개에 불과했으며, 정지를 어떻게 조율해야 하는지 또는 언제 운영을 재개할 수 있는지에 대해 명시한 것은 전무했다. 본 논문은 인프라 층(layer)에서의 비상 중단 권한, 정지가 근거해야 할 증거에 대한 규제 기관 및 독립적 평가자의 집행 가능한 접근권, 그리고 정지가 실패할 경우를 대비한 안전장치로 구성된 다층적 정지의 법(layered law of stop)을 제안한다.
예측 가능한 경로를 넘어: 에이전트를 위한 AI 보안 사고 보고 재정의
Beyond Predictable Paths: Redefining AI Security Incident Reporting for Agents
AI 에이전트가 빠르게 배포되면서 AI 특화 공격과 그에 따른 사고도 늘고 있다. 사고 보고가 법적 준수, 거버넌스, 책임성, 보안 측면에서 점점 더 중요해지므로, 현행 프레임워크는 AI 에이전트의 고유한 특성에 맞게 조정되어야 한다. 본 논문에서 두 명의 편집 저자는 AI 시스템과 AI 에이전트를 비교하고, 학계 및 산업계 23명의 전문가 의견을 바탕으로 AI 에이전트 보안이 침해된 사고를 보고할 때 필요한 정보를 밝힌다. 잠재적 보고 요소로는 예를 들어 에이전트 메모리 및 메모리 접근, 실제 및 잠재적 자율성 수준, 도구 사용 등이 포함된다. 이러한 결과를 바탕으로 사고를 효율적으로 기록하는 방법과 취약점 및 사고가 일반화되는지 판단하는 방법 등 여러 미해결 연구 질문을 제시한다. 전문가 피드백은 또한 데이터 유출 위험과 보고 인프라 자체를 겨냥한 공격과 같은 잠재적 보고 취약점을 강조하여 추가 연구 필요성을 드러냈다. 마지막으로 개인정보 요구사항을 요약하고 AI 에이전트의 안전하고 신뢰할 수 있는 배포를 위한 연구 방향을 개괄한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.