arXiv:2606.13082v1 cs.CL

CRF Filling 2026의 sebis: 의료 CRF 작성을 위한 이단계 로컬 LLM 파이프라인

sebis at CRF Filling 2026: A Two-Stage Local LLM Pipeline for Medical CRF Filling

Katharina Sommer, Tristan Till, Florian Matthes

제출 2026-06-11

한국어 초록

비정형 전자 건강 기록(EHR) 노트에서 구조화된 임상 정보를 추출하는 것은 의료 정보학에서의 지속적인 병목 현상입니다. 대규모 언어 모델(LLM)은 높은 성능을 제공하지만, 임상 환경에서의 배포는 프라이버시 위험, 추론 비용, 그리고 텍스트 증거를 벗어나는 환각(hallucination) 경향으로 인해 제약을 받습니다. 우리는 MedGemma-27B 모델을 사용하는 완전 로컬 및 도메인 적응 파이프라인을 제안하여 CL4Health 2026 증례 보고서 양식(CRF) 작성 과제의 이러한 문제를 해결합니다. 이진 존재 분류를 값 추출과 분리하는 우리의 이단계 아키텍처는 텍스트 증거에 대한 엄격한 준수를 강요하며, 부정, 불확실 또는 알 수 없는 상태에 대해 결정론적 출력을 보장합니다. 외부 API 호출이나 미세조정 없이 항목별 퓨샷 문맥 내 학습(ICL)을 활용하여, 본 방법은 공식 영어 테스트 트랙에서 macro-F1 점수 0.55를 달성했습니다. 이 결과는 모든 로컬 호스팅 오픈소스 제출물 중 2위를 차지했습니다. 우리의 연구는 프라이버시 보존 및 온프레미스 LLM 파이프라인이 독점 최첨단 모델과 거의 대등한 성능을 달성할 수 있음을 입증하며, 임상 자연어 처리(NLP)를 위한 실용적이고 데이터 주권이 보장된 프레임워크를 제공합니다.

원문 초록

The extraction of structured clinical information from unstructured EHR notes is a persistent bottleneck in healthcare informatics. While large language models (LLMs) offer high performance, their deployment in clinical settings is hindered by privacy risks, inference costs, and the tendency to hallucinate beyond textual evidence. We address these challenges for the CL4Health 2026 Case Report Form (CRF) filling task by proposing a fully local, domain-adapted pipeline using the MedGemma-27B model. Our two-stage architecture, which separates binary presence classification from value extraction, enforces strict adherence to textual evidence and ensures deterministic outputs for negated, uncertain, or unknown states. By leveraging item-specific, few-shot in-context learning without external API calls or fine-tuning, our approach achieves a macro-F1 score of 0.55 on the official English test track. This result secures second place among all locally-hosted, open-source submissions. Our work demonstrates that privacy-preserving, on-premise LLM pipelines can achieve near-competitive performance with proprietary frontier models, providing a practical, data-sovereign framework for clinical NLP.

요약

전자 건강 기록(EHR)에서 구조화된 임상 정보 추출을 위해 MedGemma-27B 기반의 완전 로컬 이단계(two-stage) 파이프라인을 제안합니다. 퓨샷 문맥 내 학습(few-shot in-context learning)을 통해 환각(hallucination)을 억제하고 프라이버시를 보장하며, 공식 테스트에서 macro-F1 0.55를 기록하여 로컬 오픈소스 모델 중 2위를 차지했습니다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.13082v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.35308v2cs.CL공통 태그 Hallucination, In-Context Learning

다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사

Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation

대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.

arXiv:2609.27603v1cs.CL공통 태그 Hallucination, In-Context Learning

컨텍스트가 오도할 때: 대규모 언어 모델의 관할권을 갖춘 문맥 내 학습

When Context Misleads: In-context Learning with Jurisdiction in Large Language Models

문맥 내 학습(In-Context Learning, ICL)은 현대 LLM 배포의 핵심 요소가 되었다. 그러나 기존의 ICL 사후 학습 방법에는 중대한 맹점이 있다. 이러한 방법은 데모에서 패턴을 추출하는 데는 뛰어나지만, 컨텍스트 권한(context authority), 즉 문맥 정보가 최종 답변을 좌우해야 하는지를 판단하는 능력은 소홀히 하는 경우가 많다. 이 능력을 벤치마킹하기 위해, 우리는 7개 도메인에 걸친 사이비 과학적 주장을 담은 FakeContextBench를 소개한다. 상용 모델과 오픈소스 모델을 평가한 결과, 대규모 사전학습만으로는 신뢰할 수 있는 컨텍스트 권한 판별에 충분하지 않음을 확인했다. 더욱이 널리 쓰이는 ICL 미세조정 방법은 오도하는 컨텍스트에 대한 취약성을 높일 수 있으며, 기반 모델 대비 현실 정확도(reality accuracy)를 최대 14.95%p까지 떨어뜨렸다. 이러한 상충 관계를 해결하기 위해, 우리는 컨텍스트 검증을 학습 목적 함수에 포함하는 사후 학습 프레임워크인 Jurisdiction In-Context Learning(J-ICL)을 제안한다. 네 가지 모델 백본에서 J-ICL은 해당 기반 모델 대비 ICLEval을 평균 5.84%p, 현실 정확도를 9.20%p 향상시켰다. 또한 MetaICL 및 Symbol Tuning 대비 Reality Rate를 평균 18.09%p 높였다. 이러한 결과는 ICL 능력과 기만적 컨텍스트에 대한 저항성을 함께 향상시킬 수 있음을 보여준다. 벤치마크는 https://github.com/peilin717/FakeContext-Bench 에서 확인할 수 있다.

arXiv:2609.21677v2cs.AI공통 태그 Hallucination, Privacy Preserving

GUARD: Guided Answer-Reasoning Distillation을 통한 대규모 추론 모델의 자연스러운 망각

GUARD: Natural Forgetting in Large Reasoning Models via Guided Answer-Reasoning Distillation

최근 대규모 추론 모델(LRM)의 발전으로 머신 언러닝(machine unlearning)이 더욱 어려워졌는데, 이는 최종 답이 나오기 전 중간 사고의 연쇄(CoT) 경로에서 보호 대상 사실이나 안전하지 않은 근거가 드러날 수 있기 때문이다. 기존 언러닝 목적 함수는 대개 타깃 콘텐츠를 억제하거나 내부 표현을 재지향하지만, 망각 이후 궤적이 어떻게 이어져야 하는지는 명시하지 않아 환각(hallucination)에 기반한 대체물, 비정상적인 경계, 또는 반복적인 출력을 낳을 수 있다. 우리는 LRM 언러닝이 원래의 공개를 대체하는 일관된 비공개 CoT와 이에 이어지는 안정적인 거절 형태의 답변으로 이루어진 자연스러운 망각 궤적을 학습해야 한다고 주장한다. 이를 위해 모델이 생성한 안전하지 않은 공개를 안전한 종료(safe-exit) 궤적으로 바꾸고, 안내 토큰(guidance token)으로 동결된 LRM을 정렬(alignment)한 뒤, 이렇게 유도된 행동을 모델 파라미터로 증류(distillation)하는 GUARD(Guided Answer-Reasoning Distillation)를 제안한다. 유출 여부를 넘어 대체 품질을 재는 지표가 부족한 문제를 위해, 망각된 출력의 구조적 안정성, 유창성, 근거 없는 대체물을 반영하는 NFRS(Natural Forgetting Reasoning Score)를 도입한다. R-TOFU와 STAR-1 기반 유해 의도 설정에 대한 광범위한 실험에서 GUARD는 널리 쓰이는 두 증류 LRM에서 안전하지 않은 공개와 개인정보 유출을 크게 줄이면서 추론 유용성을 유지함을 보인다.

arXiv:2610.00224v2cs.AI공통 태그 In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.02418v2cs.CR공통 태그 Privacy Preserving

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.