Experimenting with Knowledge Distillation techniques for performing Brain Tumor Segmentation
원문 초록
Multi-modal magnetic resonance imaging (MRI) is a crucial method for analyzing the human brain. It is usually used for diagnosing diseases and for making valuable decisions regarding the treatments - for instance, checking for gliomas in the human brain. With varying degrees of severity and detection, properly diagnosing gliomas is one of the most daunting and significant analysis tasks in modern-day medicine. Our primary focus is on working with different approaches to perform the segmentation of brain tumors in multimodal MRI scans. Now, the quantity, variability of the data used for training has always been considered to be crucial for developing excellent models. Hence, we also want to experiment with Knowledge Distillation techniques.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RobU-Net: a heuristic robust multi-class brain tumor segmentation approaches for MRI scans
3D-DDA: 3D Dual-Domain Attention for Brain Tumor Segmentation
Flexible Fusion Network for Multi-modal Brain Tumor Segmentation
Transfer learning for automatic brain tumor classification Using MRI Images.
EasyOPD: 대규모 언어 모델을 위한 사용하기 쉬운 온-정책 지식 증류 프레임워크
EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models
기존의 언어 모델 지식 증류는 고정된 교사 생성 데이터에 의존하는 경우가 많은데, 이는 진화하는 학생 정책이 마주치는 상태를 충분히 포괄하지 못할 수 있다. 온-정책 지식 증류(OPD)는 대신 학생이 생성한 롤아웃에 대해 교사 또는 평가자의 감독을 수집한다. 그러나 기존 OPD 방법들은 감독 형식, 토크나이저 호환성, 교사 접근 방식, 감독 세분성 면에서 크게 상이하여, 재현 및 확장이 어려운 파편화된 구현들로 이어졌다. 우리는 대규모 언어 모델을 위한 분산 강화학습 프레임워크인 verl 위에 구축된 온-정책 지식 증류 프레임워크 EasyOPD를 제시한다. EasyOPD는 사용자 측 설정, 방법별 감독 로직, verl 기반 실행을 분리한다. 방법 모듈은 손실 구성, 롤아웃 메타데이터, 보상 처리, 토크나이저 정렬, 교사 측 연산을 위한 확장 경계를 통해 공유 백엔드에 연결된다. 우리는 교차-토크나이저 OPD, 온-정책 자기 지식 증류, 단계별 OPD의 세 가지 OPD 설정에 대한 대표 방법을 구현한다. 추론, 코드 생성, 과학 지식, 도구 사용 벤치마크에서의 실험 결과, 이 구현들이 방법별 목표와 과제 의존적 성능 프로파일을 유지하면서 동일한 verl 기반 백엔드를 통해 실행될 수 있음을 보여준다. 우리는 실행 가능한 YAML 설정, 문서, 설치 가능한 시연 패키지 및 영상과 함께 EasyOPD를 공개한다.
모델 크기 보간에서의 층 패칭 이해
Understanding Layer Patching in Model Size Interpolation
레이어 패칭(layer patching)은 대규모 언어 모델(LLM)의 모델 크기 보간을 위한 핵심 기법으로, 증류된 학생 모델의 레이어 일부를 대응하는 교사 모델의 레이어로 대체하여 추가 학습 없이 중간 크기의 모델을 구성한다. 기존 연구는 레이어를 패치하는 순서를 대체로 무시하였으나, 우리는 이 순서가 결과 모델의 성능과 신뢰성에 극적인 영향을 미칠 수 있음을 보인다. 본 연구에서는 모델 크기 보간에서 레이어 패칭의 역할을 연구한다. 우리는 각 모델 크기에 대한 최적의 레이어 부분집합을 찾는 문제를 최적화 문제로 정식화하고, 이것이 특정 비순환 그래프에서의 최단 경로 문제로 볼 수 있음을 증명한다. 실험에서 패칭이 보간 거동을 크게 좌우하며 그 효과가 모델 계열에 따라 상당히 다름을 보인다. 또한 첫 번째 레이어에서 마지막 레이어로, 또는 마지막에서 첫 번째로 패치하는 단순한 순차 전략이 실제로 놀라울 만큼 강한 성능을 내는 경우가 많음을 발견한다. 나아가 KL 발산에 기반한 탐욕적 패칭 알고리즘인 KLPatch를 도입하는데, 이는 마지막에서 첫 번째로 패치하는 방식보다 성능이 향상되는 경우가 많으며 최적화 문제를 근사적으로 푼다. 종합하면 우리의 결과는 레이어 패칭이 모델 크기 보간에 어떻게 영향을 미치는지에 대한 원리적 이해를 제공하며, 거의 최적에 가까운 보간 모델을 구성하기 위한 실용적 지침을 제시한다. 코드와 모델은 https://github.com/dcml-lab/boomerang-distillation 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.