Integrating ChatGPT into Secure Hospital Networks: A Case Study on Improving Radiology Report Analysis
원문 초록
This study demonstrates the first in-hospital adaptation of a cloud-based AI, similar to ChatGPT, into a secure model for analyzing radiology reports, prioritizing patient data privacy. By employing a unique sentence-level knowledge distillation method through contrastive learning, we achieve over 95% accuracy in detecting anomalies. The model also accurately flags uncertainties in its predictions, enhancing its reliability and interpretability for physicians with certainty indicators. These advancements represent significant progress in developing secure and efficient AI tools for healthcare, suggesting a promising future for in-hospital AI applications with minimal supervision.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
표현 차이 증류
Representational Difference Distillation
지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.
실패로부터의 학습: 준지도 실제 악천후 제거에서 신뢰할 수 없는 예측 활용
Learning from Failure: Leveraging Unreliable Predictions in Semi-Supervised Real-World Adverse Weather Removal
악천후 이미지 복원은 비, 연무, 눈 및 기타 기상 유발 인공물로 인해 열화된 이미지를 복구하여 야외 비전 시스템의 강건성을 향상시키는 것을 목표로 합니다. 기존의 통합 복원 모델들은 합성 지도(synthetic supervision)에 의존하고 의미적 제약이 불충분하여 실제 환경 장면에 대한 일반화 성능이 제한적입니다. 본 논문에서는 두 가지 문제를 모두 해결하는 새로운 학생-교사(student-teacher) 준지도 프레임워크를 제안합니다. 구체적으로, 대조 학습을 위한 정보성 높은 음성 샘플(negative samples)로서 실패한 교사 예측을 보존하는 신뢰할 수 없는 데이터베이스를 도입하는 한편, 신뢰할 수 있는 데이터베이스에는 고품질 교사 예측을 양성 샘플(positive samples)로 저장합니다. 신뢰할 수 있는 의사 실측값(pseudo-ground truths)과 신뢰할 수 없는 교사 출력을 함께 활용함으로써, 제안된 프레임워크는 흔히 발생하는 실패를 피하면서 바람직한 복원 특성을 강화하도록 학습합니다. 나아가 계산 비용이 큰 텍스트 기반 지도를 효율적이며 자연스럽게 정렬된 의미적 사전 정보로 대체하는 위상 스펙트럼 기반 의미적 제약을 제안합니다. 또한 열화의 심각도에 따라 열화된 입력과 교사의 의사 실측값 간의 지도를 동적으로 균형 맞추는 적응형 위상 일관성 손실(adaptive phase consistency loss)을 설계했습니다. 실제 벤치마크에 대한 광범위한 실험을 통해 제안하는 방법이 실제 악천후 조건에 대해 더 강력한 일반화 성능을 보이는 동시에, 복원 품질과 지각적 충실도 측면에서 기존의 최고 수준(SOTA) 접근법들을 일관되게 능가함을 입증합니다.
Omni-Embed-Mini: 조밀 증류를 통해 망각 없이 모달리티를 결합하기
Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation
텍스트 임베딩 모델을 새로운 모달리티로 확장하는 것은 일반적으로 텍스트 검색 품질을 저하시키며, 기존의 옴니모달(omni-modal) 임베더들은 수십억 개의 매개변수로 이를 보완합니다. 본 논문에서는 텍스트 측 매개변수를 전혀 업데이트하지 않고도 텍스트, 음성, 오디오, 이미지, 비디오, 시각적으로 풍부한 문서를 단일 공유 코사인 공간으로 매핑하는 0.9B 매개변수 모델인 Omni-Embed-Mini를 제시합니다. 우리의 핵심 통찰은 교사 신호에 별도의 임베딩 모델이 필요하지 않다는 점입니다. 즉, 각 미디어 샘플은 조밀한 연쇄 캡션(dense cascaded caption)과 쌍을 이루며, 교사 목표는 동결된 백본 자체의 해당 캡션 임베딩일 뿐입니다. 교사와 학생이 동일한 백본 가중치를 공유하므로 이들은 바이트 단위로 동일한 기하학적 구조를 가지며, 정렬에는 모달리티 인코더의 경량 프로젝터와 단계별 LoRA 어댑터만으로 충분합니다. 학습은 Matryoshka SigLIP 대조 손실과 인코더가 향상됨에 따라 하드 네거티브가 정교해지는 온라인 하이브리드 하드 네거티브 마이너(hard-negative miner)를 결합합니다. 이 레시피는 네이티브 비전-언어 백본으로 교체함으로써 2.3B 변형 모델로도 확장됩니다. Omni-Embed-Mini-0.9B는 백본과 비트 단위로 동일한 텍스트 가중치를 유지하므로 학습으로 인해 텍스트 검색 성능이 저하될 수 없으며(MTEB-v2 BEIR-8에서 49.57 nDCG@10), 동시에 5개의 추가 모달리티로 확장되고 비교 대상인 모든 공개 옴니 임베더보다 약 2.7배에서 9.5배 더 작습니다. 2.3B 변형 모델은 비공개 모델인 gemini-embedding-2와 경쟁력이 있으며, 전체 모달리티 평균에서 이를 근소하게 앞섭니다. 모델, 코드, 데이터 및 평가 하네스는 프로젝트 페이지(https://omniembed.cvmbzuai.com)에서 확인할 수 있습니다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
텍스트를 통한 서로소 테이블의 발견 기반 통합
Discovery-Driven Integration of Disjoint Tables via Text
데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.
중요한 곳을 보라: 세밀한 비전-언어 추론을 위한 무료의 레이블 없는 시각적 증거 신호
Look Where It Counts: A Free, Label-Free Visual Evidence Signal for Fine-Grained Vision-Language Reasoning
멀티모달 대규모 언어 모델(MLLM)은 추론을 하지 못해서가 아니라 애초에 증거를 보지 못하기 때문에 세밀한 시각적 질문에서 실패한다: 고해상도 이미지는 인코딩되기 전에 다운샘플링되므로, 모델은 언어적 사전(linguistic prior)에 기반해 답한다. 표준적인 해결책들은 비용이 크다: 주석된 정답(SFT), 수작업으로 설계된 검증기(RLVR), 또는 대규모 외부 교사 모델을 이용한 온-정책 증류(on-policy distillation)가 필요하다. 우리는 시각적 증거 자체가 무료로 이러한 신호를 제공할 수 있는지 묻는다. 우리는 대조적 증거 격차(contrastive evidence gap), 즉 질문과 관련된 영역을 조건으로 했을 때와 관련 없는 영역을 조건으로 했을 때 모델이 자신의 출력에 부여하는 토큰별 로그-가능도 비율을 정식화하고, 이를 V*Bench 상에서 Qwen2.5-VL-7B, Qwen3-VL-8B, Qwen3-VL-30B-A3B 전반에 걸쳐 연구한다. 우리의 주요 긍정적 결과는 학습이 필요 없다는 것이다: 모델의 답변 분포가 가장 뾰족해지는 후보 크롭(crop)을 선택하는 단일 뷰(single-view)의 레이블 없는 기준만으로, 바운딩 박스나 학습, 레이블 없이도 정답을 포함하는 영역을 찾아낼 수 있다. 이는 우연에 비해 목표 영역을 4.4배에서 5.1배 더 정확하게 지역화하며, 추론 시 세밀한 정확도를 70%에서 85%로 끌어올린다. 우리는 또한 이 격차가 모델 자신의 확신도(confidence)와 상호 보완적임을 보인다. 둘을 결합하면 각각을 단독으로 사용할 때보다 정답 여부를 더 잘 예측하며, AUC는 최대 0.99에 이르고, 고확신 하위집합 내에서 자신 있게 틀린 답변을 AUC 0.97~1.00으로 표시해낸다. 이러한 효과는 모두 지각 병목(perception-bottleneck) 질문에 집중되며, 전역 맥락(global-context) 대조군에서는 사라진다. 마지막으로 우리는 정직한 부정적 결과를 보고한다: 동일한 신호를 학습 방법으로 전환한 게이트형 자기 증류(gated self-distillation, SEG-Distill)는 파일럿 규모에서 세 가지 게이트 설계 전반에 걸쳐 기본 모델을 능가하지 못했으며, 더 공격적인 게이팅은 오히려 정확도를 저하시켰다. 이 신호는 실재하지만, 이를 학습 성능 향상으로 전환하는 것은 여전히 열린 문제로 남아 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.