arXiv:2606.18372v1 cs.CL

수정할 것인가 유지할 것인가? 교육 대화 비식별화를 위한 완전 로컬 AI 캐스케이드

Redact or Keep? A Fully Local AI Cascade for Educational Dialogue De-Identification

Haocheng Zhang, Zhuqian Zhou, Kirk Vanacore, Bakhtawar Ahtisham, René F. Kizilcec

제출 2026-06-16

한국어 초록

교육 대화는 연구를 위한 가치 있지만 민감한 자원입니다. 실제 학습 상황을 포착하는 동일한 대본은 종종 교육 커리큘럼 내용과 뒤섞인 개인 식별 정보(PII)를 포착하며, 여기서 "Riemann"은 실제 학생이나 수학적 개념을 지칭할 수 있습니다. 기존 접근 방식은 거버넌스와 정확도 사이의 상충 관계(trade-off)를 강요합니다. 상용 대규모 언어 모델(LLM)은 이러한 모호성을 처리할 수 있지만 학생 데이터를 제3자에게 전송해야 하는 반면, 로컬 개체명 인식(NER) 시스템은 거버넌스를 유지하지만 교육 용어를 과도하게 수정(over-redact)하는 문제가 있습니다. 본 연구에서는 비식별화 문제를 개방형 개체 인식에서 제한된 프라이버시 선별(triage)로 재정의하는 완전 로컬 캐스케이드 프레임워크를 제안합니다. 재현율 우선(recall-first) 결합 제안자는 두 개의 경량 인코더와 결정론적 규칙을 결합하여 후보 구간을 과도하게 생성하며, 문맥 인식 검토자는 주변 대화와 발화자 역할을 활용하여 각 후보에 대해 이진 수정(Redact)/유지(Keep) 결정을 내립니다. 두 개의 대규모 플랫폼에서 수집한 수학 과외 대본을 통해 세 가지 검토자 구성을 동일 계열 LLM 전용 기준선(baseline) 및 상용 API와 비교 평가했습니다. 가장 강력한 로컬 구성은 단일 노트북에서 완전히 실행되면서 0.958의 매크로 F1 점수를 달성했으며, 이는 동일 계열 LLM 전용 기준선의 0.767 및 상용 API의 0.706과 대비됩니다. 교육용-개인명 모호성에 대한 표적화된 챌린지 세트에서 해당 구성은 F1 점수가 0.03만큼만 저하된 반면, 더 작은 검토자들은 0.19에서 0.25까지 저하되었습니다. 이러한 결과는 교육 데이터 비식별화에 있어 문제 정의가 모델 규모보다 더 중요하다는 것을 시사합니다.

원문 초록

Educational dialogue is a valuable but sensitive resource for research: the same transcripts that capture authentic learning often capture personally identifiable information (PII) entangled with curricular content, where "Riemann" may refer to a real student or to a mathematical concept. Existing approaches force a tradeoff between governance and accuracy. Commercial Large Language Models (LLMs) can handle this ambiguity but require sending student data to third parties, while local named entity recognition (NER) systems preserve governance but over-redact curricular terms. We propose a fully local cascade framework that reframes de-identification from open-ended entity recognition to constrained privacy triage. A recall-first union proposer combines two lightweight encoders with deterministic rules to over-generate candidate spans; a context-aware reviewer then makes a binary Redact/Keep decision for each candidate using surrounding dialogue and speaker role. We evaluate three reviewer configurations against same-family LLM-only baselines and a commercial API on math tutoring transcripts from two large platforms. The strongest local configuration reaches 0.958 macro F1, compared with 0.767 for a same-family LLM-only baseline and 0.706 for the commercial API, while running entirely on a single laptop. On a targeted challenge set of curricular-personal name ambiguity, the same configuration degrades by only 0.03 F1 versus 0.19 to 0.25 for smaller reviewers. These results suggest that for educational de-identification, problem formulation matters more than model scale.

요약

교육 대화 비식별화에서 커리큘럼 용어와 개인 식별 정보(PII)가 겹치는 모호성을, 재현율 우선 후보 제안과 주변 대화·발화자 역할을 반영한 Redact/Keep 이진 검토로 나누는 완전 로컬 캐스케이드 프레임워크를 제안한다. 두 플랫폼의 수학 과외 대본에서 최강 로컬 구성은 단일 노트북에서 매크로 F1 0.958을 달성해 동일 계열 LLM 전용 기준선(0.767)과 상용 API(0.706)를 상회했으며, 교육용-개인명 모호 챌린지 세트에서도 F1 저하가 0.03에 그쳤다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18372v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.12544v2cs.CL공통 태그 Privacy Preserving, Named Entity Recognition

Meddies-PII: 임상 비식별화를 위한 개인식별정보 추출 다국어 프레임워크

Meddies-PII: A Multilingual Framework for Personally Identifiable Information Extraction in Clinical De-identification

임상 비식별화는 개인식별정보(PII)를 정확하게 식별하는 것에 의존합니다. 그러나 수작업으로 주석을 추가한 데이터셋은 구축 비용이 많이 들며, 기존의 합성 대안들은 생성 프로세스에 대한 세부 정보를 제한적으로 제공하거나 비교적 단순한 합성 전략에 의존하는 경우가 많습니다. 본 논문에서는 17개 언어와 9개의 PII 레이블에 걸친 100만 건의 합성 임상 문서 말뭉치인 Meddies-PII-Dataset을 소개합니다. 이러한 문서는 속성 조건부 프롬프트를 사용하여 생성되며, 구조적 및 주석 일관성을 강제하는 13개의 결정론적 게이트를 통해 검증됩니다. 데이터셋의 유용성을 평가하기 위해 BIOES 토큰 분류기인 Meddies-PII-Model을 학습하고, 완전 일치 엔티티 수준 F1을 사용하여 기존 PII 추출 시스템과 비교합니다. Meddies-PII-Model은 평가된 시스템 중 모든 보고된 벤치마크에서 가장 높은 성능을 달성하였으며, 15개의 외부 벤치마크에 걸쳐 평균 F1 0.827을 기록하여 가장 강력한 기준선의 0.658과 대비됩니다. 논문 채택 시 다국어 임상 비식별화 연구를 지원하기 위해 데이터셋, 벤치마크 스위트, 모델, 생성 프레임워크 및 평가 코드를 공개적으로 릴리스할 예정입니다.

arXiv:2607.21496v1eess.SP공통 태그 Binary Classification, Privacy Preserving

음성 기반 멀티모달 대규모 언어 모델을 활용한 일반화 가능한 인지 장애 탐지

Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models

인지 장애(CI)는 점점 증가하는 공중 보건 문제이다. 조기에 정확하게 진단하는 것은 적시 개입을 가능하게 하고 환자 결과를 개선하는 데 매우 중요하다. 음성 기반 CI 탐지는 인지 저하와 관련된 언어적·음향적 표지를 모두 음성 신호가 담고 있기 때문에 유망한 비침습적 접근법으로 떠오르고 있다. 대규모 언어 모델(LLM)의 최근 발전은 더 표현력 있는 표현 학습(representation learning)과 다양한 화자, 녹음 장치, 임상 환경에 걸친 일반화(generalization) 개선을 가능하게 함으로써 음성 기반 평가의 잠재력을 더욱 강화한다. 또한 언어적 특징과 음향적 특징을 공동으로 모델링하는 멀티모달 학습은 CI와 관련된 인지 및 행동 변화를 더 포괄적으로 특성화할 수 있게 하여 더 신뢰할 수 있는 탐지로 이어진다. 본 연구에서는 환자 프라이버시를 보존하면서 음성 오디오와 해당 전사문을 통합하는 오픈소스 LLM 기반 멀티모달 CI 탐지 프레임워크를 제안한다. 음향 임베딩(embedding)은 음성 신호에서 직접 추출되고, 텍스트 임베딩은 자동 전사된 음성으로부터 생성된다. 이러한 모달리티별 임베딩은 이어 결합되어 결합 특징 벡터를 만들고, 원시 또는 민감한 환자 데이터에 접근할 필요 없이 하류 분류에 사용된다. 제안 접근법은 ADReSS20 및 ADReSSo21 벤치마크 데이터셋에서 평가된다. 실험 결과, 제안된 멀티모달 프레임워크는 CI 분류 정확도 92.4%를 달성하며 단일 모달리티 베이스라인을 일관되게 능가한다. 본 연구는 CI 식별에 대한 새로운 최첨단(state-of-the-art) 수준을 확립하며, 제안 방법은 우수한 교차 데이터셋 일반화를 보여준다. 이 발전은 언어적·음향적 데이터를 융합하여 견고하고 확장 가능하며 비침습적인 선별검사를 가능하게 하는 LLM 기반 멀티모달 프레임워크의 힘을 부각한다.

arXiv:2607.14661v1cs.AI공통 태그 Privacy Preserving, Named Entity Recognition

SmartRAG: 모바일 기기용 네이티브 그래프 기반 RAG

SmartRAG: Native Graph-Based RAG for Mobile Device

모바일 기기에서 대규모 언어 모델(LLM)을 개인 비서로 배포하려면 프라이버시, 낮은 지연 시간, 오프라인 사용 가능성이 요구되지만, 거대 모델의 계산 비용은 엄격한 엣지 하드웨어 예산과 충돌한다. 우리는 이러한 긴장을 모델 압축만으로는 해결할 수 없으며, 온디바이스 지능을 상호 보완적인 기능적 역할로 분해해야 한다고 주장한다. 우리는 Perception, Memory, Focus, Thinking이라는 네 개의 조율된 모듈을 중심으로 지능형 비서를 구성하는 완전 온디바이스 프레임워크인 SmartRAG를 제안한다. SmartRAG의 핵심은 EvoNER로, 교사 증류(teacher-distilled) 업데이트를 통해 레이블 인벤토리를 점진적으로 확장하는 지속적으로 학습 가능한 개체명 인식기(named-entity recognizer)이다. 이를 통해 시스템은 백본 LLM을 재학습하지 않고도 이전에 보지 못한 개체 유형을 흡수할 수 있다. 추출된 지식은 출처를 보존하는 3층 지식 그래프인 MRGraph에 저장되며, 쿼리 시 그래프 순회, 어휘 매칭, 밀집 의미 검색(dense semantic search)을 결합한 하이브리드 파이프라인을 통해 검색된다. 온디바이스 LLM은 라벨링, 계획, 답변 합성과 같은 고가치 의미 연산에만 호출되어 추론 비용을 제한된 범위 내에 유지한다. TriviaQA, Natural Questions, HotpotQA, MultiHopQA 네 가지 QA 벤치마크에서의 실험 결과, 양자화된 1.7B 매개변수 백본을 사용하는 SmartRAG가 최대 18배 더 큰 모델과 경쟁력 있는 다중 홉(multi-hop) 추론 성능을 달성하며, 상용 스마트폰에서 실용적인 메모리 및 지연 시간 범위 내에서 완전히 실행됨을 보여준다.

arXiv:2607.12886v1cs.AI공통 태그 Binary Classification, Named Entity Recognition

미세조정 없는 자율적 임상 증상 탐지를 위한 멀티 에이전트 시스템: 개발 및 검증 연구

A Multi-Agent System for Autonomous, Fine-Tuning-Free Clinical Symptom Detection: Development and Validation Study

임상 기록에는 환자가 진료를 받게 만든 많은 징후와 증상이 담겨 있지만, 이러한 정보는 구조화된 필드에 거의 반영되지 않는다. 기존 추출 접근법은 문맥에 둔감한 규칙에 의존하여 위양성을 발생시키거나, 상당한 미세조정을 요구하는 지도 학습 모델에 의존한다. 우리는 수동 프롬프트 엔지니어링이나 미세조정 없이 임상 개념에 대한 추출 프롬프트를 자율적으로 작성하고 최적화하는 멀티 에이전트 시스템 Pythia를 제안한다. 로컬에 호스팅된 오픈 가중치 모델에서 실행되는 Pythia는 임상 기록을 로컬 인프라에 유지하고, 개발 세트의 민감도와 특이도를 사용하여 프롬프트를 선택한다. 387명의 환자를 대표하는 400건의 임상 기록에서 72가지 징후 및 증상에 대해 Pythia를 큐레이션된 어휘집과 비교했다. 각 개념마다 개발(n=300) 및 검증(n=100) 세트를 독립적으로 분할했다. Pythia는 평균 민감도 0.76과 특이도 0.95를 달성했으며, 어휘집은 0.82와 0.76이었다. 직접 비교 가능한 62개 개념 중 20개에서 Pythia는 두 지표 모두 어휘집과 동등하거나 그 이상이었다. 어휘집이 모든 기록을 양성으로 표시한 14개 개념에 대해, Pythia는 용어의 단순 텍스트 언급이 아닌 현재형의 환자 귀속 소견을 요구함으로써 평균 특이도 0.97을 회복했다. 특이도는 유병률 전반에 걸쳐 개발에서 검증으로 최소한의 저하로 전이되었으나, 민감도 전이는 5% 미만 유병률에서 약화되어 2% 미만 유병률에서 평균 격차 0.25에 달했다. 동일한 개발 세트에서 개념별로 미세조정된 BERT 분류기는 평균 민감도 0.23을 달성했으며, 대략 5% 미만 유병률의 개념에서는 민감도가 0으로 붕괴했다. 이러한 결과는 자율적이고 미세조정 없는 프롬프트 최적화가 로컬 인프라에 배포 가능한 상태를 유지하면서 개발에서 검증으로 효과적으로 일반화되는 증상 추출 프롬프트를 생성할 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.