Not again! Data Leakage in Digital Pathology
원문 초록
Bioinformatics of high throughput omics data (e.g. microarrays and proteomics) has been plagued by uncountable issues with reproducibility at the start of the century. Concerns have motivated international initiatives such as the FDA's led MAQC Consortium, addressing reproducibility of predictive biomarkers by means of appropriate Data Analysis Plans (DAPs). For instance, repreated cross-validation is a standard procedure meant at mitigating the risk that information from held-out validation data may be used during model selection. We prove here that, many years later, Data Leakage can still be a non-negligible overfitting source in deep learning models for digital pathology. In particular, we evaluate the impact of (i) the presence of multiple images for each subject in histology collections; (ii) the systematic adoption of training over collection of subregions (i.e. "tiles" or "patches") extracted for the same subject. We verify that accuracy scores may be inflated up to 41%, even if a well-designed 10x5 iterated cross-validation DAP is applied, unless all images from the same subject are kept together either in the internal training or validation splits. Results are replicated for 4 classification tasks in digital pathology on 3 datasets, for a total of 373 subjects, and 543 total slides (around 27, 000 tiles). Impact of applying transfer learning strategies with models pre-trained on general-purpose or digital pathology datasets is also discussed.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
fMRI 파운데이션 모델에 대한 스케일링 연구
A Scaling Study for fMRI Foundation Models
스케일링 법칙은 컴퓨터 비전(CV)과 자연어 처리(NLP)에서 대규모 모델 개발을 이끌어 왔지만, 기능적자기공명영상(fMRI) 파운데이션 모델에서는 데이터, 모델 크기, 연산(compute) 간 관계가 여전히 불분명하다. 본 연구에서는 200개 이상의 소스 데이터셋에서 수집한 사전학습 데이터와 10,000 GPU-hours 이상의 실험을 통해 통제된 실증 연구를 수행한다. 사전학습 프레임워크와 다운스트림 프로토콜을 고정한 채, 사전학습 데이터 규모, 모델 크기, 학습 기간을 변화시킨다. 다운스트림 성능은 일반적으로 연산이 증가할수록 향상되지만, 유사한 연산을 사용하는 모델도 성능이 크게 달라질 수 있다. 추가 사전학습 데이터는 모델 크기가 클수록 더 큰 이득을 가져오며, 데이터와 모델 크기를 함께 스케일링해야 함을 시사한다. 동일한 연산에서 사전학습 데이터를 늘리는 것이 모델 크기를 늘리는 것보다 더 많은 태스크에 이롭지만, 패턴은 태스크마다 다르다. 이어서 분포 내(ID) 다운스트림 성능을 이용해 두 가지 고정 연산 예산에서 사전학습 데이터 규모, 모델 크기, 학습 기간의 조합을 선택한다. 이렇게 선정된 모델은 분포 외(OOD) 평가 전에 확정(locked)된다. 이 모델들은 비교 대상 fMRI 파운데이션 모델 중 평가된 OOD 태스크 전반에서 최고 평균 성능을 달성하면서 사전학습 연산은 더 적게 사용한다. 전반적으로, 연산만으로는 fMRI 스케일링을 특징짓지 못하며, 성능은 사전학습 데이터, 모델 크기, 학습 기간이 어떻게 결합되느냐에 달려 있음을 보여준다.
정확도 너머: 템플릿 문서 추출에서 비전-언어 모델의 견고성, 비용, 거버넌스 트레이드오프
Beyond Accuracy: Robustness, Cost, and Governance Trade-offs for Vision-Language Models in Templated Document Extraction
비전-언어 모델(VLM)은 사업 문서에서 구조화된 필드를 추출하는 데 점점 더 많이 쓰이지만, 대부분의 평가는 깨끗한 벤치마크上的 정확도만 보고하며, 주어진 작업 복잡도에 맞는 접근을 고르는 실무자에게 거의 안내를 주지 않는다. 우리는 측정에 기반한 연구와 오픈소스 공개로 이 공백을 메운다. 11개 시스템(상용 3종, 추론형 2종, 사전학습 및 미세조정 형태의 오픈소스 VLM 5종, 비LLM OCR→정규식 하한선)을 합성 수표 750건의 홀드아웃 풀에서 채점한 결과, 3K 샘플 미세조정은 최고 오픈소스 VLM을 F1 0.98 이상으로 끌어올려 이 작업에서 모든 제로샷 상용 시스템을 넘어서게 한다—한편 GPT-5는 상용 풀에서 F1을 선도하고 Claude Sonnet 4.5는 Date에서 붕괴한다. 이 측정을 실행 가능한 선택으로 바꾸기 위해, 작업 프로필(품질, 지연 시간, 거버넌스, 처리량)을 필터링과 총비용 최소화를 통해 권장 접근에 매핑하는 실무자 지향 선택 프레임워크를 제안하며, 이를 가상의 중간 처리량 문서 추출 시나리오로 설명한다.
DecoupleMix: 확장 가능한 VLM 데이터 레시피를 위한 분리형 비율 탐색 및 볼록 할당
DecoupleMix: Decoupled Ratio Search and Convex Allocation for Scalable VLM Data Recipes
비전-언어 모델(VLM)의 데이터 큐레이션(data curation)은 점점 활발해지고 있지만, 사전학습 혼합(mixture) 구성에 대한 공개된 관행은 여전히 대체로 휴리스틱(heuristic)에 의존한다. 실무자들은 품질 필터를 통과한 데이터셋을 쌓아 올리고, 도메인 간 비율은 직관에 따라 설정하며, 새로운 데이터를 편입할 원칙적이고 귀속 가능(attributable)한 기준을 갖추지 못한 채 최첨단 레시피는 공개되지 않은 상태로 남아 있다. 우리는 데이터 구성을 체계적인 혼합 최적화(mixture-optimization) 문제로 공식화하고, 혼합을 두 개의 직교(orthogonal) 하위 문제—역량(capability) 간 클래스 간(inter-class) 비율과 카테고리 내 클래스 내(intra-class) 비율—로 분리함으로써 이를 재현 가능한 엔지니어링 절차로 전환한다. 클래스 간 할당에는 단일 변수 반복 탐색을 사용하고, 클래스 내 구성에는 다차원의 데이터셋 수준 평가로 품질(Quality)과 난이도(Difficulty)를 점수화한 뒤, 다양성(diversity) 목표를 갖춘 제약 볼록 최적화(constrained convex optimization)로 선택 문제를 공식화한다. DecoupleMix 프레임워크는 두 가지 핵심 기능을 제공한다: 다음에 수집할 데이터를 안내하고, 데이터셋 검증을 통제 가능하고 귀속 가능한 실험으로 만든다. 실험 결과, 우리 접근법은 휴리스틱 기준선(baseline)을 일관되게 능가한다. 더 나아가, 소규모 프록시(proxy)에서 발견한 최적 비율은 재조정(retuning) 없이 더 큰 규모로 원활히 이전(transfer)된다. 800억(80B) 개의 추가 멀티모달 지속 사전학습(continue-pretraining) 토큰을 사용하여, 우리 VLM은 훨씬 더 큰 멀티모달 예산으로 학습된 강력한 오픈소스 모델과 경쟁력 있는 성능을 보인다.
Source Model Selection for Deep Learning in the Time Series Domain
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.