Virtual Thin Slice: 3D Conditional GAN-based Super-resolution for CT Slice Interval
원문 초록
Many CT slice images are stored with large slice intervals to reduce storage size in clinical practice. This leads to low resolution perpendicular to the slice images (i.e., z-axis), which is insufficient for 3D visualization or image analysis. In this paper, we present a novel architecture based on conditional Generative Adversarial Networks (cGANs) with the goal of generating high resolution images of main body parts including head, chest, abdomen and legs. However, GANs are known to have a difficulty with generating a diversity of patterns due to a phenomena known as mode collapse. To overcome the lack of generated pattern variety, we propose to condition the discriminator on the different body parts. Furthermore, our generator networks are extended to be three dimensional fully convolutional neural networks, allowing for the generation of high resolution images from arbitrary fields of view. In our verification tests, we show that the proposed method obtains the best scores by PSNR/SSIM metrics and Visual Turing Test, allowing for accurate reproduction of the principle anatomy in high resolution. We expect that the proposed method contribute to effective utilization of the existing vast amounts of thick CT images stored in hospitals.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고
Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning
3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.
FSFVE: 퓨샷 압축 얼굴 비디오 향상
FSFVE: Few Shot Compressed Face Video Enhancement
화상통화(videocalling)는 오늘날 전 세계적으로 널리 사용되는 통신 수단이 되었으며, 많은 기업들이 무료 서비스를 제공하고 있다. 그러나 대역폭 제한으로 인해 여전히 전 세계 수백만 명이 낮은 품질의 화상통화를 경험하고 있다. 이는 대부분의 사람들이 필요한 하드웨어를 갖추고 있음에도 불구하고 발생하는 문제이다. 본 논문에서는 고도로 압축된 화상통화를 향상시키기 위한 새로운 프레임워크를 제안한다. 단 10프레임의 얼굴 영상만으로도 100초 이내에 신속하게 모델을 학습시켜 해당 화상통화 인스턴스를 향상시킬 수 있음을 보인다. 모델은 통화 전 또는 통화 중에 학습될 수 있으며, 더 나은 품질의 영상을 생성하여 이후 통화를 향상시킨다. 화상회의 애플리케이션을 수정할 필요가 없으며, 기성(off-the-shelf) 제품을 그대로 사용하되 빠르게 학습한 후 화상회의 애플리케이션(예: Zoom)이 평소대로 실행되도록 하는 상위 층(layer)으로 우리 시스템을 적용할 수 있다. 우리 시스템은 영상이 화면에 표시되기 전에 이를 가로채어 개선한다. 모델은 일반적인 노트북 CPU와 같은 저성능 기기에서 실시간으로 실행되도록 설계되었다. 실험을 통해 해당 모델이 압축된 얼굴 비디오의 품질을 정량적으로 및 지각적으로 모두 크게 향상시킴을 보인다. 코드는 https://github.com/varun-jois/FSFVE 에서 확인할 수 있다.
임의 의료 슬라이스 초해상도를 위한 이중 사전 가이드 영공간 학습과 스플라인 혼합
Dual-Prior Guided Null-Space Learning with Mixture-of-Splines for Arbitrary Medical Slice Super-Resolution
임의 슬라이스 초해상도(arbitrary slice super-resolution)는 임의 배율의 중간 슬라이스를 합성하여 이방성(anisotropic) 임상 촬영으로부터 등방성(isotropic) 볼륨을 재구성한다. 그러나 이러한 불안정한(ill-posed) 역문제(inverse problem)를 제약 없는 잔차 기반 회귀(residual-based regression)로 다루면, 해부학적으로 타당하지 않은 구조를 환각(hallucination)하거나 원래 관측된 데이터를 변형할 위험이 있다. 이 두 가지 우려를 해결하기 위해, 본 논문은 이중 사전 영공간 학습(Dual-Prior Null-space Learning, DP-NSL) 프레임워크를 제안하며, 이는 두 가지 상보적 사전(prior)에 의해 안내되는 제약 복원(constrained recovery) 과정으로 과제를 재공식화한다. 측정 일관성 투영(Measurement-Consistent Projection, MCP)은 결정론적 관측 사전(Deterministic Observation Prior)을 강제한다: 재구성은 획득된 모든 슬라이스를 오차 없이 정확히 재현하는 직교 투영(orthogonal projection)을 거치며, 학습된 모든 세부 정보를 관측 불가능한 영공간(null space)에 한정한다. 이 영공간 내에서 스플라인 혼합(Mixture-of-Splines, MoS) 모듈은 서로 다른 해석적 차수의 B-스플라인 전문가를 동적으로 혼합하여 기하학적 연속성 사전(Geometric Continuity Prior)을 부과하며, 각 해부학적 영역을 내용 인지(content-aware) 수준의 연속성으로 모델링할 수 있게 한다. 공간적 일관성을 높이기 위해, 국소 공간 일관성 디코더(Local Spatial Consistency Decoder, LSCD)가 국소 귀납적 바이어스(local inductive bias)를 추가로 주입한다. 세 개의 CT와 하나의 MRI 벤치마크(benchmark)에서의 실험은 DP-NSL이 측정 일관성(measurement consistency)을 엄격히 보존하면서 기존 접근법을 능가함을 보여준다. 코드는 https://github.com/DeepMed-Lab-ECNU/Medical-Image-Reconstruction 에서 이용할 수 있다.
Satellite Image Small Target Application Based on Deep Segmented Residual Neural Network
Multi-Frame Super-Resolution Combining Demons Registration and Regularized Bayesian Reconstruction
Image Super-Resolution Improved by Edge Information
토론
이 논문과 연결된 포럼 글이 아직 없습니다.