arXiv:2606.27174v1 cs.LG

RecallRisk-BERT: 보고 후 의료기기 리콜 선별을 위한 다중 태스크 프레임워크

RecallRisk-BERT: A Multi-Task Framework for Post-Report Medical Device Recall Triage

Ali Semih Atalay, Sevgi Yigit-Sert

제출 2026-06-25

한국어 초록

의료기기 리콜은 환자 안전을 보호하기 위한 중요한 규제 메커니즘이다. FDA 리콜 기록의 증가하는 양은 보고 후 리콜 선별, 심각도 평가, 근본 원인 해석에서 과제를 제기한다. 기존 연구는 대부분 리콜 발생 예측 또는 근본 원인 분석을 별도로 다루는 반면, 리콜 심각도와 근본 원인 범주의 공동 모델링은 제한적인 관심을 받아왔다. 우리는 2002년부터 2025년 10월까지의 기간을 포괄하는 openFDA의 54,165건 FDA 의료기기 리콜 기록을 사용하여 자동화된 리콜 선별 프레임워크를 개발한다. 우리는 먼저 리콜 심각도 및 근본 원인 범주 예측을 위해 고전적 기계학습 및 부스팅 기반 모델을 평가한다. 그다음 우리는 리콜 서술의 PubMedBERT 기반 텍스트 표현과 제품 코드, 규정 번호, 의료 전문 분야를 포함한 구조화된 범주형 특징의 임베딩 기반 표현을 결합하는 다중 태스크 모델인 RecallRisk-BERT를 개발한다. 해당 모델은 리콜 심각도(Class I/II/III)와 통합된 근본 원인 범주(9개 클래스)를 동시에 예측한다. 성능은 정확도, 매크로 평균 정밀도, 재현율, F1-score, ROC-AUC를 사용하여 평가되었다. 단일 태스크 심각도 예측에서, 우리의 LightGBM 기반 텍스트-표 형식 구성은 정확도 0.963, macro-F1 0.856, ROC-AUC 0.974로 가장 강력한 성능을 달성했다. 다중 태스크 설정에서 RecallRisk-BERT는 단일 태스크 PubMedBERT 기준선을 크게 능가했다. 모델 기반 위험 순위는 관측된 근본 원인 심각도 패턴과 강하게 일치했다(rho = 0.983, p = 1.936e-6). 이러한 결과는 텍스트-표 형식 학습이 확장 가능한 보고 후 리콜 선별, 규제 의사결정 지원, 모델 기반 근본 원인 위험 분석을 지원할 수 있음을 나타낸다.

원문 초록

Medical device recalls are a critical regulatory mechanism for protecting patient safety. The growing volume of FDA recall records presents challenges in post-report recall triage, severity assessment, and root-cause interpretation. Existing studies mostly address recall occurrence prediction or root-cause analysis separately, while joint modeling of recall severity and root-cause categories has received limited attention. We develop an automated recall triage framework using 54,165 FDA medical device recall records from openFDA, covering the period from 2002 to October 2025. We first evaluate classical machine learning and boosting-based models for recall severity and root-cause category prediction. We then develop RecallRisk-BERT, a multi-task model that combines PubMedBERT-based textual representations of recall narratives with embedding-based representations of structured categorical features, including product code, regulation number, and medical specialty. The model simultaneously predicts recall severity (Class I/II/III) and a consolidated root-cause category (9 classes). Performance was evaluated using accuracy, macro-averaged precision, recall, F1-score, and ROC-AUC. In single-task severity prediction, our LightGBM-based text--tabular configuration achieved the strongest performance, with an accuracy of 0.963, macro-F1 of 0.856, and ROC-AUC of 0.974. In the multi-task setting, RecallRisk-BERT substantially outperformed the single-task PubMedBERT baseline. Model-derived risk rankings were strongly consistent with observed root-cause severity patterns (rho = 0.983, p = 1.936e-6). These findings indicate that text--tabular learning can support scalable post-report recall triage, regulatory decision support, and model-based root-cause risk analysis.

요약

FDA 의료기기 리콜 보고 후 선별에서 심각도(Class I/II/III)와 근본 원인(9개 범주)을 동시에 예측하는 다중 태스크 프레임워크 RecallRisk-BERT를 제안하며, PubMedBERT 기반 리콜 서술 표현과 제품 코드·규정 번호·의료 전문 분야 등 구조화 특징을 결합한다. openFDA 54,165건(2002–2025) 평가에서 단일 태스크 심각도 예측은 LightGBM 텍스트-표 형식 구성이 가장 우수했고(정확도 0.963, macro-F1 0.856), 다중 태스크에서는 RecallRisk-BERT가 단일 태스크 PubMedBERT 기준선을 크게 능가했으며 모델 위험 순위는 관측된 근본 원인 심각도 패턴과 강하게 일치했다(ρ=0.983).

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.27174v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27262v2cs.CL공통 태그 Text Classification, Transfer Learning, Multi-Task Learning

하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.

arXiv:2610.10648v1cs.LG공통 태그 Transfer Learning, Multi-Task Learning

알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습

Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research

알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.

arXiv:2609.22081v2cs.CL공통 태그 Text Classification, Transfer Learning

부문 간 안전 분석을 위한 직업 재해 서사 구조화: 사고 과정 역할 분류의 전이 가능성

Structuring occupational accident narratives for cross-sector safety analysis: Transferability of accident-process role classification

서론: 직업 재해 서사는 작업 상황, 불리한 조건, 사고 사건 및 결과를 기술하지만, 용어와 보고 관행의 차이가 부문 및 조직 간 체계적 분석을 저해한다. 본 연구는 한 직업 부문에서 개발된 모델이 보지 못한 부문 및 보고 환경에서 동일한 사고 과정 정보를 식별할 수 있는지 검토하였다. 방법: 프랑스어 재해 서사를 사실 단위로 분절하고, 작업 상황, 명시적으로 보고된 불리한 조건, 사고 사건 또는 이탈, 또는 보고된 결과로 전문가 주석을 부여하였다. 모델은 6,040건의 건설 부문 서사에서 추출한 42,244개 사실 단위로 개발하였으며, 재학습 없이 야금, 화학-플라스틱, 그리고 독립적으로 수집한 기업 코퍼스에서 평가하였다. TF-IDF 기반 어휘 모델, 고정된 사전학습(pre-training) 텍스트 표현, 과제 적응(task-adapted) 사전학습 모델을 비교하였다. 결과: TF-IDF의 평균 균형 정확도(balanced accuracy)는 75.0%, 고정 사전학습 표현은 76.9%, 과제 적응 후 약 85.7%였다. 반복 실행에서 선도적인 적응 접근법은 전반적으로 유사한 성능을 보였으며, 어떤 방법도 다른 방법을 지속적으로 능가하지는 않았다. 기업 코퍼스에서는 성능이 더 낮고 변동성이 컸으며, 여기서 전이는 서로 다른 보고 환경과 데이터 원천을 수반하기도 하였다. 결론: 건설 서사에서 학습한 사고 과정 역할은 다른 부문 및 독립적인 조직 환경에서도 식별 가능했다. 실용적 응용: 해당 프레임워크는 보조 코딩, 전문가 검토, 부문 간 분석, 대규모 재해 보고 수집물에 대한 예방 지향 분석을 지원할 수 있다.

arXiv:2609.27811v1cs.SI공통 태그 Text Classification, Transfer Learning

언어 모델을 활용한 브라질 YouTube 10년간의 기후 양극화

A Decade of Climate Polarization on Brazilian YouTube using Language Models

온라인 플랫폼은 기후 변화에 대한 공적 논쟁의 장이 되어, 과학적 지식·부정·불확실성이 어떻게 표현되고 다투어지는지를 형성해 왔다. 그러나 YouTube, 특히 포르투갈어 담화에 대한 종단적 증거는 여전히 제한적이다. 이 공백을 메우기 위해, 우리는 브라질 중심의 기후 관련 검색을 통해 수집한 대규모 포르투갈어 YouTube 댓글 말뭉치에서 시간에 따른 기후 입장의 표현과 논쟁 양상을 규명한다. 노이즈가 많고 불균형하며 저자원(low-resource)인 환경에서의 분석을 뒷받침하기 위해, 2014년부터 2024년 사이에 게시된 24만 건 이상의 댓글을 수집하고, 입장 탐지(stance detection)를 3-way 분류 과제(Believer, Denier, Inconclusive)로 공식화한다. 우리는 Llama 3.1 기반의 확장 가능한 자기학습(self-training) 파이프라인을 통해 입장 귀속(stance attribution)을 운영화하며, Low-Rank Adaptation(LoRA)과 하이브리드 인스턴스 선택을 사용해 클래스 다양성을 유지하면서 고신뢰도 의사 라벨(pseudo-labeled) 예시로 학습 세트를 확장한다. 이 접근은 소수 클래스 및 수사적으로 복잡한 클래스에 대한 커버리지와 클래스 균형을 개선하여, 광범위한 수동 주석 없이 대규모 입장 귀속을 가능하게 한다. 결과는 양극화가 상호작용적 비대칭(interactional asymmetries)으로 뚜렷이 나타남을 보여준다. 부정론(denialist) 댓글은 덜 흔하지만, 상대적으로 더 높은 비율의 교차 입장 논쟁(cross-stance contestation)과 연관되며, 합의 지지(pro-consensus) 담화는 동일 입장(homogeneous) 스레드 내에서 더 강하게 강화된다.

arXiv:2609.27067v1cs.LG공통 태그 Transfer Learning, Multi-Task Learning

ChipMEM: EDA 에이전트를 위한 검증 기반 메모리

ChipMEM: Verification-Grounded Memory for EDA Agents

대규모 언어 모델(LLM) 기반 에이전트는 합성 및 검증 피드백 하에서 레지스터 전송 수준(RTL) 설계를 생성·수정하기 위해 전자 설계 자동화(EDA) 도구를 사용한다. 최근 방법들은 실행 추적에서 재사용 가능한 스킬을 지식 증류(distillation)하거나 EDA 도구에서 파생된 보상으로 학습하여 이 피드백으로부터 학습한다. 두 방법 모두 일반적으로 해당 경험을 생성한 태스크에서 평가된다. 동일 태스크에 대한 벤치마크 피드백에 반복적으로 접근하면 전이 가능한 재사용 지식을 만드는 것보다 태스크 특화 수정을 보상할 수 있다. 우리는 EDA 에이전트를 위한 검증 기반 메모리 층인 ChipMEM을 제안한다. ChipMEM은 태스크 간 절차적 메모리와 궤적 내 통계적 안내를 결합한다. 절차적 구성요소는 모델 자기 평가에 의존하지 않고, 합성·시뮬레이션 또는 형식(formal) 검사를 통과한 뒤에만 스킬을 증류하여 저장한다. 베이지안 구성요소는 도구 호출 결과에 대한 계층적 Beta 추정을 유지하고, 유사한 오류 조건에서 성공한 복구 전략을 순위화한다. 공통 어댑터는 각 도메인의 도구와 수용 기준을 보존하면서 동일한 메모리 인터페이스를 RTL 최적화 및 테스트벤치 생성 에이전트에 적용한다. 우리는 학습 태스크에서 성능을 측정하고, 학습된 스킬이 보지 못한 태스크로 전이되는지 평가한다. RTLRewriter-Bench에서 일치하는 모델·도구 설정 하에 ChipMEM은 메모리 없을 때 35/54 대비 채점된 54개 설계 중 39개에서 동등성 통과 출력을 낸다. 49개 설계 단축 스위트에서는 평균 면적(area) 개선이 5.66% 대비 8.69%이다. 보류(hold-out) CVDP 태스크에서 고정(frozen) 절차적 라이브러리를 사용한 ChipMEM은 설정당 단일 평가에서 메모리 없을 때 18/20 대비 20/20의 수용 결과를 달성한다.

arXiv:2609.27232v1cs.LG공통 태그 Transfer Learning, Multi-Task Learning

fMRI 파운데이션 모델에 대한 스케일링 연구

A Scaling Study for fMRI Foundation Models

스케일링 법칙은 컴퓨터 비전(CV)과 자연어 처리(NLP)에서 대규모 모델 개발을 이끌어 왔지만, 기능적자기공명영상(fMRI) 파운데이션 모델에서는 데이터, 모델 크기, 연산(compute) 간 관계가 여전히 불분명하다. 본 연구에서는 200개 이상의 소스 데이터셋에서 수집한 사전학습 데이터와 10,000 GPU-hours 이상의 실험을 통해 통제된 실증 연구를 수행한다. 사전학습 프레임워크와 다운스트림 프로토콜을 고정한 채, 사전학습 데이터 규모, 모델 크기, 학습 기간을 변화시킨다. 다운스트림 성능은 일반적으로 연산이 증가할수록 향상되지만, 유사한 연산을 사용하는 모델도 성능이 크게 달라질 수 있다. 추가 사전학습 데이터는 모델 크기가 클수록 더 큰 이득을 가져오며, 데이터와 모델 크기를 함께 스케일링해야 함을 시사한다. 동일한 연산에서 사전학습 데이터를 늘리는 것이 모델 크기를 늘리는 것보다 더 많은 태스크에 이롭지만, 패턴은 태스크마다 다르다. 이어서 분포 내(ID) 다운스트림 성능을 이용해 두 가지 고정 연산 예산에서 사전학습 데이터 규모, 모델 크기, 학습 기간의 조합을 선택한다. 이렇게 선정된 모델은 분포 외(OOD) 평가 전에 확정(locked)된다. 이 모델들은 비교 대상 fMRI 파운데이션 모델 중 평가된 OOD 태스크 전반에서 최고 평균 성능을 달성하면서 사전학습 연산은 더 적게 사용한다. 전반적으로, 연산만으로는 fMRI 스케일링을 특징짓지 못하며, 성능은 사전학습 데이터, 모델 크기, 학습 기간이 어떻게 결합되느냐에 달려 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.