도메인 특화 지식으로 망막 VLM을 앵커링하기 위한 딥 엑스퍼트 인젝션
Deep Expert Injection for Anchoring Retinal VLMs with Domain-Specific Knowledge
한국어 초록
대규모 비전-언어 모델(LVLM)은 자동화된 안과 진단 분야에서 막대한 잠재력을 보여줍니다. 그러나 도메인 특화 지식의 부재로 인해 실제 임상 배치가 심각하게 저해되고 있습니다. 본 연구에서는 신뢰할 수 있는 의료 추론을 방해하는 두 가지 구조적 결함을 규명합니다. 첫째는 범용 비주얼 인코더가 미세한 병리학적 단서(예: 미세동맥류)를 분해해 내지 못하는 '인식 격차(Perception Gap)'이며, 둘째는 트랜스포머(transformer)의 더 깊은 레이어에서 희소한 시각적 근거가 방대한 언어 사전 확률에 점진적으로 압도되어 근거 없는 환각(hallucination)으로 이어지는 '추론 격차(Reasoning Gap)'입니다. 이러한 격차를 해소하기 위해, 본 논문에서는 딥 엑스퍼트 인젝션(Deep Expert Injection) 메커니즘을 통해 망막 VLM을 전문가 지식에 앵커링하도록 설계된 데이터 효율적인 프레임워크인 EyExIn을 제안합니다. 제안하는 아키텍처는 시각적 표현을 해부학적 맥락을 위한 일반 스트림과 병리학적 의미를 위한 특화된 전문가 스트림으로 분리하는 전문가 인지 듀얼 스트림(Expert-Aware Dual-Stream) 인코딩 전략을 채택합니다. 높은 충실도의 통합을 보장하기 위해 무관한 배경 노이즈를 필터링하면서 미세한 병변 신호를 동적으로 증폭하는 시맨틱 적응형 게이트 융합(Semantic-Adaptive Gated Fusion) 모듈을 설계했습니다. 나아가, 융합된 시각적 특징을 잔차 편향(residual bias) 형태로 중간 LLM 레이어에 직접 통합함으로써 지속적인 '비전 앵커(Vision Anchors)'를 내장하는 적응형 딥 엑스퍼트 인젝션을 도입합니다. 이 메커니즘은 추론 스택이 시각적 근거에 엄격하게 그라운딩(grounding)된 상태를 유지하도록 강제하는 시각적 숏컷을 생성합니다. 4개의 벤치마크에 걸친 광범위한 실험을 통해 제안하는 모델(model)이 방대한 상용 독점 시스템을 일관되게 능가함을 입증했습니다. EyExIn은 도메인 특화 지식 임베딩(embedding)을 크게 향상시키고 안과 시각적 질의응답에서 최고 수준의 정밀도(precision)를 달성하여 신뢰할 수 있는 안과 AI의 발전을 촉진합니다.
원문 초록
Large Vision Language Models (LVLMs) show immense potential for automated ophthalmic diagnosis. However, their clinical deployment is severely hindered by lacking domain-specific knowledge. In this work, we identify two structural deficiencies hindering reliable medical reasoning: 1) the Perception Gap, where general-purpose visual encoders fail to resolve fine-grained pathological cues (e.g., microaneurysms); and 2) the Reasoning Gap, where sparse visual evidence is progressively overridden by massive language priors in deeper transformer layers, leading to ungrounded hallucinations. To bridge these gaps, we propose EyExIn, a data-efficient framework designed to anchor retinal VLMs with expert knowledge via a Deep Expert Injection mechanism. Our architecture employs an Expert-Aware Dual-Stream encoding strategy that decouples visual representation into a general stream for anatomical context and a specialized expert stream for pathological semantics. To ensure high-fidelity integration, we design a Semantic-Adaptive Gated Fusion module, which dynamically amplifies subtle lesion signals while filtering irrelevant background noise. Furthermore, we introduce Adaptive Deep Expert Injection to embed persistent "Vision Anchors" by integrating fused visual features as residual biases directly into intermediate LLM layers. This mechanism creates a visual shortcut that forces the reasoning stack to remain strictly grounded in visual evidence. Extensive experiments across four benchmarks demonstrate that our model consistently outperforms massive proprietary systems. EyExIn significantly enhances domain-specific knowledge embedding and achieves state-of-the-art precision in ophthalmic visual question answering, advancing the development of trustworthy ophthalmic AI.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.07131v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.