Evaluation of Algorithms for Multi-Modality Whole Heart Segmentation: An Open-Access Grand Challenge
원문 초록
Knowledge of whole heart anatomy is a prerequisite for many clinical applications. Whole heart segmentation (WHS), which delineates substructures of the heart, can be very valuable for modeling and analysis of the anatomy and functions of the heart. However, automating this segmentation can be arduous due to the large variation of the heart shape, and different image qualities of the clinical data. To achieve this goal, a set of training data is generally needed for constructing priors or for training. In addition, it is difficult to perform comparisons between different methods, largely due to differences in the datasets and evaluation metrics used. This manuscript presents the methodologies and evaluation results for the WHS algorithms selected from the submissions to the Multi-Modality Whole Heart Segmentation (MM-WHS) challenge, in conjunction with MICCAI 2017. The challenge provides 120 three-dimensional cardiac images covering the whole heart, including 60 CT and 60 MRI volumes, all acquired in clinical environments with manual delineation. Ten algorithms for CT data and eleven algorithms for MRI data, submitted from twelve groups, have been evaluated. The results show that many of the deep learning (DL) based methods achieved high accuracy, even though the number of training datasets was limited. A number of them also reported poor results in the blinded evaluation, probably due to overfitting in their training. The conventional algorithms, mainly based on multi-atlas segmentation, demonstrated robust and stable performance, even though the accuracy is not as good as the best DL method in CT segmentation. The challenge, including the provision of the annotated training data and the blinded evaluation for submitted algorithms on the test data, continues as an ongoing benchmarking resource via its homepage (\url{www.sdspeople.fudan.edu.cn/zhuangxiahai/0/mmwhs/}).
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RSNA 뇌동맥류(RSNA-ICA) 데이터셋
The RSNA Intracranial Aneurysm (RSNA-ICA) Dataset
뇌동맥류 파열은 상당한 이환율 및 사망률과 관련이 있지만, 특히 작은 병변이거나 비혈관조영 일반 영상 검사에서는 동맥류 탐지가 여전히 까난한 과제로 남아 있습니다. 뇌동맥류 탐지 및 위치 식별을 위한 인공지능(AI) 알고리즘의 개발과 평가를 지원하고자 북미영상의학회(RSNA)는 미국신경영상의학회(ASNR), 신경중재수술학회(SNIS), 유럽신경영상의학회(ESNR)와의 협력을 통해 RSNA 뇌동맥류(RSNA-ICA) 데이터셋을 구축했습니다. 2025 RSNA 뇌동맥류 탐지 챌린지(RSNA Intracranial Aneurysm Detection Challenge)를 위해 개발된 RSNA-ICA는 5개 대륙 12개국 21개 기관에서 수집한 4,278명의 성인 환자로부터 얻은 7,202건의 CTA, MRA 및 MRI 시리즈로 구성된 대규모의 공개 전문가 주석 데이터셋입니다. 이 데이터셋은 낭상 뇌동맥류가 있거나 없는 환자들의 CTA 2,566건, MRA 2,166건, MRI 2,470건 시리즈를 포함하여 상당한 지리적 및 영상학적 다양성을 제공합니다. 전문가 주석에는 동맥류의 유무와 위치가 모두 표시되어 있으며, 178건의 시리즈에는 챌린지에서 정의한 혈관 위치에 대한 3차원 분할(segmentation)이 추가로 포함되어 있습니다. RSNA-ICA는 2025 RSNA 뇌동맥류 탐지 챌린지에서 알고리즘을 개발하고 평가하는 데 사용되었습니다. 7,202건의 영상 시리즈 중 5,041건은 MIRA를 통해 공개되어 있으며, 나머지는 챌린지의 공개 및 비공개 테스트 세트로 사용되었습니다. 이 데이터셋은 비상업적 용도에 한해 연구 커뮤니티에 무료로 제공되며, 혈관조영 검사와 일반 신경영상 검사 전반에서 AI 기반 동맥류 탐지를 발전시키기 위한 종합적인 리소스를 제공합니다.
Multi-Depth Fusion Network for Whole-Heart CT Image Segmentation
ArrivalBench: 에이전트가 생성한 데이터 파이프라인은 단 한 번만 올바르고 시간에 따라 틀린다
ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time
에이전트가 생성한 데이터 작업을 평가하는 기존 벤치마크는 고정된 스냅샷에 대해 파이프라인을 한 번 실행하여 채점합니다. 이와 달리 ArrivalBench는 적대적이지만 재현 가능한 전달 스케줄(지연, 중복, 순서 뒤바뀜, 재시도된 레코드) 하에서 에이전트가 남긴 파이프라인을 재실행하며, 최종 상태가 전체 로그에 대한 배치 재계산 결과와 동일할 것을 요구합니다. 오라클이 분류하는 대신 재계산하기 때문에, 잘못된 테이블과 비정상 종료(crash)는 명확히 구분된 판정으로 취급됩니다. 즉, 비정상 종료는 팀이 이미 운영 중인 모니터링을 통해 감지할 수 있지만 잘못된 테이블은 감지되지 않습니다. 저자들이 구축한 40개 작업에서 단일 실행 채점을 재구현한 결과 11개 모델이 생성한 파이프라인의 86~100%가 통과 판정을 받았으나, 동일한 산출물을 재실행하자 통과된 것 중 7.0~79.2%가 조용히 틀린 결과를 내는 것으로 나타났습니다. 이러한 격차는 복구 루프 때문에 발생하는 것이 아닙니다. 동일한 모델과 작업 내에서 스냅샷 테스트를 거쳐 수정된 파이프라인은 처음에 통과한 파이프라인과 거의 비슷한 빈도로 재실행에 실패합니다. 모든 모델에서 멱등성 위험(idempotency hazard)이 순서 관련 위험보다 더 자주 실패를 유발했습니다. 오답과 비정상 종료를 분리하는 것은 개입(intervention)의 해석 방식도 바꿉니다. 한 모델의 경우 위험 경고를 통해 무음 실패(silent failure)를 48.2%에서 10.5%로 줄였지만 비정상 종료율은 9.0%에서 37.0%로 증가하여 전체 실패율은 51.0%에서 44.0%로 소폭 이동하는 데 그쳤습니다. 11개 실험군 모두 독립적으로 재실행되었으며, 실패율 변동은 최대 5.9%포인트에 불과했습니다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
ELMA: 장기 텍스트 기반 모션 생성을 위한 조응적 구성 벤치마킹
ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation
텍스트 기반의 장기 인간 동작 생성은 지속적으로 작동하는 디지털 아바타와 같은 응용에 필수적이다. 짧은 클립에 대해서는 최근 진전이 있었음에도, 기존 모델은 이전 구간에서 설정된 제약이 시간에 걸쳐 유지되어야 하는 조응(anaphora)을 포함한 다중 구간 지시문에서 어려움을 겪는다. 본 논문에서는 이러한 조응적 구성으로부터의 장기 동작 생성이라는 새로운 과제를 도입한다. 이 격차를 해소하기 위해 구간 간 의존성을 보존하는 조밀한 구간 수준 주석을 갖춘 에피소드형 장기 동작 데이터셋 ELMA를 제시한다. 완전 자동화된 수집 및 필터링 파이프라인으로 구축된 ELMA는 실환경 영상에서 고품질의 연속적인 30초 클립을 추출하여 장거리 상태 모델링에 필요한 에피소드형 서사를 담는다. ELMA를 사용하여 독립적 지시문 설정과 조응적 지시문 설정에서 대표적인 장기 동작 생성 모델을 벤치마크하고, 맥락적 미세 조정이 장거리 상태 모델링을 향상시키는지 연구한다. 폭넓은 실험을 통해 기존 모델이 맥락 의존적 지시문을 처리하는 능력과 한계에 대한 통찰을 제공한다. 이러한 결과는 구간 간 의존성 모델링의 어려움을 부각하며, 더 일관되고 의미적으로 정합적인 장기 동작 생성 모델 개발을 위한 유의미한 방향을 제시한다.
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
외부 도구를 호출하는 LLM 에이전트는 도구 호출이 시간 초과될 때 어떻게 할지 결정해야 한다. 재시도는 중복 부작용의 위험이 있고, 재시도하지 않으면 작업이 미완료로 남을 수 있다. 본 연구는 도구를 사용하는 LLM 에이전트의 재시도 결정과 실패 복구를 위한 평가 프로토콜인 RetryBench를 제시한다. 각 결정은 관측과 일치하는 모든 숨겨진 실행 세계에서 재생하여 재시도 허용 여부(재시도가 멱등성 키 보장이나 미실행 증명으로 정당화되는가?), 확정된 효과(중복과 누락), 완료 여부에 대해 채점된다. 네 가지 합성 소프트웨어 엔지니어링 과제에서 두 가지 통제된 프롬프트 민감도 연구(1,728건의 결정)를 수행한다. 연구 1(멱등성 키 설명): 계약을 고정한 상태에서 GPT-5.6 Luna는 추가 키가 "Candidate recovery key"로 설명될 때 40건 중 10건에서 유효한 멱등성 키를 재사용하지만, "Alternative key string"으로 설명될 때는 40건 중 39건에서 재사용한다. 계열별로 세 가지 표현을 추가했을 때 격차는 27/120 대 113/120이다. GPT-5.6 Sol과 Terra는 상한에 도달해 있다(40/40). 연구 2(행동 순서): 조회 보장이 불충분하게 명시된 조건에서, 재시도가 먼저 나열될 때 GPT-5.6 Terra와 GPT-5.4의 재시도율이 주로 두 과제에서 17~27 퍼센트포인트 낮아지며(선택지 순서 편향), 어느 행동이 더 나은지에 대해서는 주장하지 않는다. 연구 결과는 연구자가 선택한 표현, 네 가지 과제, 고정되지 않은 모델 별칭에 한정된다. 코드와 모든 모델 응답을 공개한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.