2.5D Deep Learning for CT Image Reconstruction using a Multi-GPU implementation
원문 초록
While Model Based Iterative Reconstruction (MBIR) of CT scans has been shown to have better image quality than Filtered Back Projection (FBP), its use has been limited by its high computational cost. More recently, deep convolutional neural networks (CNN) have shown great promise in both denoising and reconstruction applications. In this research, we propose a fast reconstruction algorithm, which we call Deep Learning MBIR (DL-MBIR), for approximating MBIR using a deep residual neural network. The DL-MBIR method is trained to produce reconstructions that approximate true MBIR images using a 16 layer residual convolutional neural network implemented on multiple GPUs using Google Tensorflow. In addition, we propose 2D, 2.5D and 3D variations on the DL-MBIR method and show that the 2.5D method achieves similar quality to the fully 3D method, but with reduced computational cost.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
고차원 잠재 표현의 확산 가능성에 관하여
On the Diffusibility of High-Dimensional Latents
표현 오토인코더(RAE)는 확산 모델이 사전학습된 시각 인코더의 특징 공간에서 동작하도록 한다. 그러나 많은 기성 인코더는 충실한 재구성을 위해 최적화되어 있지 않아 세밀한 시각적 세부를 버린다. 예상대로, 이미지 재구성을 위해 이러한 인코더를 파인튜닝하면 해당 세부가 복원된다. 그러나 직관에 반하게, 이 절차는 결과 표현의 유효 차원을 줄이며, 변경된 기하학은 생성에 하류 영향을 미친다. 구체적으로, 우리는 이 고차원 공간에서 flow matching의 표준 velocity 예측을 사용하면 모델이 저차원 신호 매니폴드 밖의 직교 노이즈 방향에 맞춰야 하여 최적화가 비효율적임을 보인다. 이에 따라 대신 clean data parameterization($\boldsymbol{x}_{0}$-prediction)을 사용하도록 동기가 생기며, 이는 기저 신호 매니폴드上的 학습에 초점을 맞춘다. 강한 재구성 인코더 여러 개에 걸친 실험에서, $\boldsymbol{x}_{0}$-prediction이 텍스트-이미지 생성 성능을 일관되게 향상시킴을 보인다.
Flash-dLLM: 빠르고 메모리 효율적인 확산 대규모 언어 모델을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩
Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
확산 대규모 언어 모델(dLLM)은 비자기회귀(non-autoregressive) 텍스트 생성을 가능하게 함으로써 자기회귀 LLM의 유망한 대안으로 최근 부상했습니다. 그러나 효과적인 Key-Value(KV) 캐싱 및 확장 가능한 병렬 디코딩 메커니즘의 부재로 인해 비효율적인 추론(inference)이 발생하여 실제 배포에는 여전히 한계가 있습니다. 기존 가속 방법들은 대개 KV 캐싱과 병렬 디코딩을 개별적으로 연구하여, 캐시 재사용과 병렬 토큰(token) 검증을 결합하여 적용할 때 발생하는 I/O 병목 현상을 간과합니다. 본 연구에서는 빠르고 메모리 효율적인 dLLM을 위한 학습(training) 불필요 추론 가속 프레임워크인 $\textbf{Flash-dLLM}$을 소개합니다. Flash-dLLM은 먼저 GPU 메모리 I/O가 KV 캐시 기반 dLLM 추론에서 주된 병목임을 확인하고, 중복 메모리 이동을 줄이는 I/O 인식 융합 KV 캐시 커널(kernel)을 통해 이를 해결합니다. 이러한 최적화된 캐시 메커니즘을 기반으로, Flash-dLLM은 dLLM 자체가 보조 모델(model) 없이 초안 작성기(drafter)이자 검증기(verifier) 역할을 하는 효율적인 KV 캐시 기반 초안 작성 및 검증(draft-and-verify) 디코딩 전략을 추가로 제안합니다. 이 통합 설계는 생성 품질을 유지하면서 더 빠른 디코딩을 가능하게 하고, 더 긴 시퀀스와 더 큰 배치(batch) 크기에 대한 확장성을 개선합니다. 수학적 추론 및 코드 생성 벤치마크에 대한 광범위한 실험을 통해 Flash-dLLM이 추론 속도와 메모리 효율성 모두에서 기존 최고 수준의 dLLM 가속 방법들을 일관되게 능가함을 입증합니다. 특히 이전의 가장 강력한 기준선(baseline)인 Elastic-Cache 대비 GSM8K 및 HumanEval에서 각각 $5.1\times$ 및 $11.0\times$의 속도 향상을 달성합니다.
단일 광자 비디오 촬영을 위한 시공간 플럭스 프로빙
Spatiotemporal Flux Probing for Single-Photon Videography
본 연구에서는 극단적인 광자 희소성 환경의 동적 장면에서 고속 비디오를 복원하는 문제를 다룹니다. 기존 방법들은 신호 대 잡음비(SNR)를 개선하기 위해 국소 시공간 윈도우 내에서 광자 검출을 집합하는 방식에 의존하지만, 이러한 국소적 그룹화는 전역적 구조를 버리게 되어 공간과 시간 모두에서 광자 검출이 희소한 극저조도 환경에서는 실패합니다. 본 연구에서는 모션과 조도를 모두 복원하는 데 필요한 정보가 광자 도달의 전체 시공간 패턴에 걸친 상관관계(correlation)에 인코딩되어 있음을 보입니다. 이러한 통찰을 바탕으로, 광자 스트림으로부터 기저 광 강도의 푸리에 계수(Fourier coefficients)를 직접 추정하는 시공간 플럭스 프로빙(spatiotemporal flux probing) 이론과 알고리즘을 개발합니다. 실험을 통해 본 접근법이 (1) 이전 방법보다 훨씬 적은 수의 광자로 빠른 모션과 시간적 조도 변화를 복원하고, (2) 감지된 특정 모션에 비디오의 초점을 자동으로 맞추는 속도 선택적 비디오 촬영을 가능하게 하며, (3) 단일 광자, 이벤트 및 스파이크 카메라를 포함한 다양한 센싱 모달리티 전반에 걸쳐 일반화됨을 입증합니다.
PixelART: 잠재 표현 또는 텍스트-이미지 사전학습 없이 이미지-층 분해
PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining
이미지-층 분해는 평탄화된 이미지를 편집 가능한 RGBA 층으로 변환하여 디자인 워크플로에서 요소 단위 편집을 가능하게 한다. 기존 확산(diffusion) 기반 시스템은 일반적으로 대규모 사전학습된 텍스트-이미지(T2I) 모델을 적응시키고 RGBA 오토인코더 또는 가변 층 아키텍처 모듈을 도입한다. 우리는 이 설계 선택을 재검토하며, 층 분해가 정말로 이러한 고중량 구성 요소를 필요로 하는지 묻는다. 우리는 이미지-층(I2L) 분해를 위해 처음부터 학습된 픽셀 공간 rectified-flow 트랜스포머인 PixelART를 제안한다. PixelART는 단일 스트림 멀티모달 확산 트랜스포머로 영역 RGBA 픽셀 패치를 직접 디노이징하며, RGBA-VAE, 사전학습 T2I 백본, 층별 디코더를 사용하지 않는다. 우리는 이 과제의 핵심 특성을 밝힌다. 고노이즈 타임스텝은 층 할당과 거친 층 구조를 결정하고, 저노이즈 타임스텝은 주로 색상, 알파, 텍스처, 경계를 정제한다. 이 관찰에 기반하여 고노이즈 층 할당 구간에서 학습 커버리지를 높이기 위해 terminal-boosted 타임스텝 샘플링 전략을 제안한다. 400만 개의 다층 디자인 템플릿으로 학습된 PixelART는 Design-Multi-Layer-Bench와 LICA에서 최근 Qwen-Image-Layered 모델 대비 파라미터 80% 이상 감소, 지연 시간 98% 감소, 메모리 85% 감소로 최첨단 층 분해 및 합성 재구성 성능을 달성한다. Ablation 실험은 픽셀 공간 $\mathbf{x}$-prediction, terminal-boosted 타임스텝 샘플링, 데이터/모델 스케일링이 핵심적임을 보여 주며, T2I 사전학습은 I2L 과제에 미미한 이득만 가져온다.
토카막 디버터에서 중성 입자 방출 단층촬영의 가시광선 영상 진단: 효율적인 트랜스포머 기반 대리 모델
Visible-Light Imaging Diagnosis of Neutral Particle Emission Tomography in the Tokamak Divertor: An Efficient Transformer-based Surrogate Model
최근 핵융합은 상당한 진전을 이루었으며, 글로벌 에너지 과제를 해결하는 가장 중요한 경로 중 하나가 될 것으로 기대된다. 본 논문은 가시광선 카메라를 이용해 플라즈마를 관측하고, 시공간적 운동 단서를 분석하며, 광 강도의 2차원 공간 분포를 예측하는 데 초점을 맞춘다. 이는 심층 신경망을 활용한 향후 과학 실험을 위한 기초 토대를 제공하는 것을 목표로 한다. 구체적으로, 우리는 미분 트랜스포머를 중심으로 한 새로운 백본 네트워크인 Delta-InvFormer를 제안한다. 핵심 통찰은 연속적인 비디오 프레임을 입력으로 사용하면 플라즈마의 역학을 더 잘 포착할 수 있다는 것이다. 또한 공간 및 시간 미분 셀프 어텐션(self-attention)은 노이즈 신호의 간섭을 효과적으로 완화하여 고품질 특징 추출을 보장한다. 이러한 특징은 이후 압축적이고 정보가 풍부한 표현으로 융합되며, 디코더 네트워크에 입력되어 분포를 예측한다. 대규모 과학 시설인 실험용 고온 초전도 토카막(Experimental Advanced Superconducting Tokamak, EAST)에서 수집한 실제 실험 데이터를 바탕으로, 제안된 모델이 분포 예측을 위한 전통적 방법을 상당히 가속할 뿐만 아니라 경쟁력 있는 재구성 정확도를 달성함을 보여준다. 본 논문의 소스 코드는 https://github.com/Event-AHU/OpenFusion 에서 공개될 예정이다.
전자현미경 이미징에서 현실감과 충실도의 균형을 위한 주파수 인식 이중 스트림 학습
Frequency-Aware Dual-Stream Learning for Balanced Realism and Fidelity in Electron Microscopy Imaging
전자현미경은 나노 스케일의 세포 시각화를 가능하게 하지만, 이미징 해상도와 획득 속도 사이의 트레이드오프에 직면한다. 기존 학습 기반 방법은 단일 스트림 아키텍처에 의존하며, 지각적 현실감과 정량적 충실도 사이의 균형을 맞추는 데 어려움을 겪어, 세부를 과도하게 평활화하거나 비현실적인 환각을 생성한다. 본 연구는 이 갈등을 해결하기 위해 주파수 적응형 이중 스트림 아키텍처를 제안한다. 이산 웨이블릿 변환(discrete wavelet transform)을 사용하여 이미지를 저주파 구조와 고주파 세부로 분해한 다음, 현실적인 전역 합성을 위해 조건부 확산 모델(conditional diffusion model)을, 정밀한 세부 복원을 위해 트랜스포머 네트워크를 사용한다. EMDiffuse 데이터셋에서의 실험은 본 방법이 우수한 LPIPS와 resolution ratio를 달성하며, 기존 접근법을 크게 능가함을 보여준다. 본 방법은 또한 다양한 생물학적 샘플에 걸쳐 강한 일반화를 보이며, 구조 생물학 및 나노기술 응용을 위한 빠르고 신뢰할 수 있는 전자현미경 이미징을 지원한다. 소스 코드와 관련 데이터셋은 추가 연구를 촉진하기 위해 공개적으로 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.