arXiv:1902.09934

A Fully-Automatic Framework for Parkinson's Disease Diagnosis by Multi-Modality Images

Jiahang Xu, Fangyang Jiao, Yechong Huang, Xinzhe Luo, Qian Xu, Ling Li, Xueling Liu, Chuantao Zuo, Ping Wu, Xiahai Zhuang

제출 2019-02-26

원문 초록

Background: Parkinson's disease (PD) is a prevalent long-term neurodegenerative disease. Though the diagnostic criteria of PD are relatively well defined, the current medical imaging diagnostic procedures are expertise-demanding, and thus call for a higher-integrated AI-based diagnostic algorithm. Methods: In this paper, we proposed an automatic, end-to-end, multi-modality diagnosis framework, including segmentation, registration, feature generation and machine learning, to process the information of the striatum for the diagnosis of PD. Multiple modalities, including T1- weighted MRI and 11C-CFT PET, were used in the proposed framework. The reliability of this framework was then validated on a dataset from the PET center of Huashan Hospital, as the dataset contains paired T1-MRI and CFT-PET images of 18 Normal (NL) subjects and 49 PD subjects. Results: We obtained an accuracy of 100% for the PD/NL classification task, besides, we conducted several comparative experiments to validate the diagnosis ability of our framework. Conclusion: Through experiment we illustrate that (1) automatic segmentation has the same classification effect as the manual segmentation, (2) the multi-modality images generates a better prediction than single modality images, and (3) volume feature is shown to be irrelevant to PD diagnosis.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22760v1cs.AI공통 태그 Segmentation, Diagnostic

CTSpinoPelvic1K: 단일 좌표계의 척추·골반·늑골·대퇴골, 요천추 전환부 해부학 주석

CTSpinoPelvic1K: spine, pelvis, ribs and femora in one coordinate frame, annotated for lumbosacral transitional anatomy

목적: 요천추 접합부 천추는 전체 척추 영상에서 C2부터 caudal 방향으로 세어 이름을 붙이지만, 요추 수술 계획은 C2 없이 요추만 영상(T12–S1)으로 세운다. 복부·골반 CT는 그 구간에 최하위 늑골과 골반까지 포함한다. 요천추 전환 천추(lumbosacral transitional vertebra, LSTV)가 개수를 바꾸면 국소 해부는 모호해진다. 늑골 없는 천추가 네 개이면 요추 늑골을 동반한 L1일 수도 있고 천골에 동화된 L5일 수도 있으며, 여섯 개이면 제6요추, 무형성 늑골을 동반한 T12, 또는 요추화된 S1일 수 있다. CTSpinoPelvic1K는 개수 없이 국소 형태만으로 이를 판별할 수 있는지 묻는다. CTSpine1K의 천추와 CTPelvic1K의 골반은 동일 환자를 각각 다뤘으나 결합되지 않았고, 본 공개판은 한 시리즈에서 이를 결합하고 어느 쪽에도 없던 골을 추가한다. 802건의 CT 기록을 제공하며, 레벨별 늑골·대퇴골, 최하위 늑골 부착 천추와 S1에 고정된 레벨, L6·T13·분리된 S1·요추 늑골 클래스를 두어 이상을 그대로 기록한다. 취득 및 검증 방법: 각 환자의 골량이 가장 많은 시리즈에서 VerSe-native 체계 하에 CTSpine1K와 CTPelvic1K 라벨을 짝지었다. 검증은 기하 불변량(802/802 통과), 5,749개 늑골에 대한 늑골–천추 대응(0.035% 오차), 문헌값과 일치하는 척골–골반 측정을 포함했다. 데이터 형식 및 사용 안내: 환자 단위 그룹·LSTV 계층화 5-fold 분할과 로더가 있는 NIfTI 영상/라벨 쌍; https://doi.org/10.5281/zenodo.22139642 에 보관. 잠재적 응용: 국소 특징으로부터 천추 분류, cadaveric 형태계량 갱신, 척골–골반 평가, 기회적 스크리닝, 공개 수술 전 요추 코호트가 없는 상황에서의 수술 계획 연구(377건 prone). 한계: 흉추 ground truth는 시야(field-of-view) 제한, 자세 각도는 supine, 별도 test set 없음, 늑골은 triaged-review 의사라벨, Castellvi 등급은 33건에 대한 두 판독자 합의.

arXiv:2609.24838v1cs.AI공통 태그 Segmentation, Diagnostic

MedRSI: 임상적으로 정렬된 자기 진화를 통한 의료용 에이전트의 재귀적 자기 개선

MedRSI: Recursive Self-Improvement for Medical Agents via Clinically Aligned Self-Evolution

의료용 에이전트(agent)는 범용 추론 모델과 특화된 임상 도구를 점진적으로 결합하고 있으나, 그 능력은 배포 전 임상의와 엔지니어가 설계한 수준에 대부분 고정되어 있습니다. 재귀적 자기 개선(Recursive Self-Improvement, RSI)은 에이전트가 자신의 실패로부터 학습(training)하고 자율적으로 능력을 확장하는 다른 패러다임을 제공하지만, RSI를 의료 분야에 직접 적용하는 것은 근본적인 안전성(safety) 문제를 초래합니다. 본 논문에서는 도구 조합과 태스크별 모델 학습을 통해 진단 실패를 새로운 임상 능력으로 지속적으로 전환하는 최초의 의료용 재귀적 자기 개선 프레임워크인 MedRSI를 소개합니다. 임상 진료 현장에서 영감을 얻은 MedRSI는 임상적으로 정렬(alignment)된 자기 진화를 위한 두 가지 메커니즘을 도입합니다. 첫째, 임상 비용 인식 기반 실패 우선순위화(clinical-cost-aware failure prioritization)는 단순한 빈도 대신 잠재적인 임상적 결과에 따라 오류에 대한 개선 방향을 설정합니다. 둘째, 신속한 발견과 보수적 등록(fast discovery with slow registration)은 빠른 능력 창출과 보수적 도입을 분리하여, 후속 환자 코호트 전반에서 지속적인 이점을 입증한 후에만 새로운 도구가 영구 에이전트에 반영되도록 합니다. 공개 녹내장 및 심장 질환 벤치마크(benchmark)와 두 가지 비공개 임상 태스크 전반에서 MedRSI는 분할, 측정, 예측, 멀티모달 추론 및 생성 능력을 점진적으로 발전시키며, 수작업으로 설계된 의료용 에이전트를 능가하고 원래 설계자가 예상하지 못한 임상 문제에 대한 솔루션을 자율적으로 발견합니다. 본 연구 결과는 의료용 에이전트가 배포 전에 지정된 능력에 국한될 필요가 없음을 보여줍니다. 즉, 무엇을 개선하고 무엇을 유지할지 통제하는 임상적으로 기반을 둔(grounded) 메커니즘을 통해 진단 경험으로부터 새로운 능력을 지속적으로 구축, 검증 및 축적할 수 있습니다. 코드는 https://github.com/ImprintLab/MedRSI 에서 확인할 수 있습니다.

arXiv:2607.24743v4cs.CV공통 태그 Diagnostic

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

arXiv:2610.15929v1cs.CV공통 태그 Segmentation

트래커가 실패할 때: 강건한 비디오 객체 분할을 위한 VLM 유도 검증 및 복구

When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation

SAM(Segment Anything Model)과 같은 파운데이션 모델을 기반으로 구축된 최근의 트래커들은 메모리를 통해 객체 마스크를 전파함으로써 뛰어난 성능을 달성합니다. 그러나 이러한 장점은 동시에 주요 실패 원인이 되기도 합니다. 가림, 재등장, 방해 요소가 발생하는 상황에서 잘못된 예측이 추적 루프에 유입되어 시간에 따라 전파되면 지속적인 아이덴티티 드리프트(identity drift)가 발생할 수 있습니다. 기존 접근법들은 개선된 메모리 및 시간 모델링을 통해 이러한 실패를 방지하고자 하지만, 일단 실패가 발생하면 트래커에는 이를 인식하거나 수정할 수 있는 명시적인 메커니즘이 없습니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 먼저 비전-언어(vision-language) 검증 에이전트가 시공간적 컨텍스트를 추론하여 트래커가 여전히 대상을 추적하고 있는지 판단합니다. 실패가 감지되면, 수정 에이전트가 시간적 컨텍스트를 활용하여 추적이 계속되기 전에 대상을 복구합니다. 수정 에이전트는 실제 SAM3 실패 사례를 바탕으로 학습되었으며, 복구 과정에서 까다로운 모호성에 노출되도록 목표 지향적 아이덴티티 전환 및 방해 요소 섭동을 적용하여 증강되었습니다. LVOS-v2 및 SecVOS에서 Dual-Agent는 SAM3의 성능을 각각 1.2 및 2.7 $J\&F$ 향상시킵니다. 중요한 점은 제안된 프레임워크가 재학습 없이도 SAM2.1, SeC, Cutie뿐만 아니라 LaSOT-ext, TNL2K, VOT-LT2022를 포함한 장기 비디오 객체 추적 벤치마크로 전이된다는 것입니다. 우리의 결과는 추적이 언제 실패하고 어떻게 복구할 것인지를 명시적으로 추론하는 것이 단순히 전파 성능을 개선하는 것을 넘어 강건한 추적을 달성하기 위한 상호보완적인 경로를 제공함을 보여줍니다. 프로젝트 페이지: valaybundele.github.io/Dual-Agent.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.