arXiv:1805.02165

Joint CS-MRI Reconstruction and Segmentation with a Unified Deep Network

Liyan Sun, Zhiwen Fan, Yue Huang, Xinghao Ding, John Paisley

제출 2018-05-06

원문 초록

The need for fast acquisition and automatic analysis of MRI data is growing in the age of big data. Although compressed sensing magnetic resonance imaging (CS-MRI) has been studied to accelerate MRI by reducing k-space measurements, in current CS-MRI techniques MRI applications such as segmentation are overlooked when doing image reconstruction. In this paper, we test the utility of CS-MRI methods in automatic segmentation models and propose a unified deep neural network architecture called SegNetMRI which we apply to the combined CS-MRI reconstruction and segmentation problem. SegNetMRI is built upon a MRI reconstruction network with multiple cascaded blocks each containing an encoder-decoder unit and a data fidelity unit, and MRI segmentation networks having the same encoder-decoder structure. The two subnetworks are pre-trained and fine-tuned with shared reconstruction encoders. The outputs are merged into the final segmentation. Our experiments show that SegNetMRI can improve both the reconstruction and segmentation performance when using compressive measurements.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23555v2eess.IV공통 태그 Image Reconstruction, Decoder

하이브리드 신경 비디오 표현을 위한 해상도 유연 디코딩

Resolution-Flexible Decoding for Hybrid Neural Video Representations

신경 비디오 표현(NVR)은 신경망 파라미터와, 하이브리드 방식에서는 프레임별 잠재 임베딩을 사용하여 비디오를 표현한다. 기존의 하이브리드 NVR에서는 프레임별 잠재 임베딩의 공간 크기와 디코더 업샘플링 스케줄이 목표 해상도에 의존하여, 크고 균일하지 않은 업샘플링 배율이 필요할 수 있다. 본 논문에서는 하이브리드 NVR을 위한 해상도 유연 디코더 프레임워크를 제안한다. 이 디코더는 균일한 \(2\times\) 업샘플링 단계로 구성되며, 각 단계의 목표 특징 크기는 최종 출력 해상도로부터 공간 해상도를 역으로 추적하여 얻는다. 각 업샘플링 단계 이후, 필요한 경우 최소한의 패딩 또는 크롭으로 특징 맵을 목표 크기에 맞춘다. 이러한 점진적 디코딩 과정을 지원하기 위해, 중간 복원 지도와 최근 프레임별 손실에 기반한 복원 난이도 인식 프레임 샘플링 전략을 추가로 사용한다. 이 프레임워크는 하이브리드 NVR의 기본 표현 형식을 유지하므로 서로 다른 백본에 적용할 수 있다. \(1080\times1920\) 및 \(810\times1440\) 해상도의 UVG 데이터셋에서 수행한 실험은 제안한 접근법이 해당 NVR 기준선보다 복원 품질을 향상시킴을 보여준다.

arXiv:2610.11004v1physics.plasm-ph공통 태그 Image Reconstruction, Decoder

운영 영역 전반에 걸친 다중 스케일 플라즈마 동역학 재구성

Reconstruction of Multiscale Plasma Dynamics Across Operating Regimes

적은 수의 센서로부터 공간적으로 분해된 플라즈마 동역학을 재구성하는 것은 진단, 축소 모델링(reduced-order modelling) 및 제어에 필수적이지만, 희소한 측정값이 다중 스케일이면서 영역에 의존적인 자유도를 불완전하게 제약하기 때문에 여전히 어려운 과제로 남아 있다. Shallow Recurrent Decoder(SHRED)는 측정 이력(measurement history)을 활용하여 공간적 희소성(sparsity) 문제를 부분적으로 해결하지만, 완전 연결(fully connected) 디코더는 스케일 전반에 걸친 공간 구조를 해석하거나 명시적인 매개변수(parameter) 의존성을 다루는 명시적 메커니즘을 제공하지 않는다. 본 연구에서는 Recurrent Multiscale Affine-modulated Inference Network(ReMAIN)를 제안한다. 이는 SHRED의 순환적(recurrent) 시간 인코딩을 유지하면서도, 디코더를 U-Net으로 대체하여 특징(feature) 계층 구조가 특징별 선형 변조(feature-wise linear modulation)를 통해 순환 상태(recurrent state)에 의해 조건화되도록 한다. 시간적 표현(temporal representation)은 U-Net 전반에 걸쳐 조밀한 사전 정보(dense prior)와 스케일별 변조를 동시에 제공한다. 매개변수적 확장(parametric extension)은 운영 조건과 센서 이력을 함께 임베딩하여, 지배 동역학이 운영 영역(operating regime)에 따라 변화할 때 재구성이 이에 적응할 수 있도록 한다. ReMAIN은 먼저 다양한 동역학을 대표하는 6개의 1차원 비선형 편미분방정식(PDE)에 대해 SHRED와 벤치마크(benchmark) 비교된다. 모든 벤치마크에서 ReMAIN은 미학습(unseen) 궤적에 대한 재구성 오차를 줄이고, 급격한 전환(sharp transition), 국소 극값(localized extrema), 미세 스케일 변화를 더 충실하게 해석한다. 이후 매개변수 조건화 모델(parameter-conditioned model)은 수직 축방향 전기장과 반경 방향 자기장을 받는 무충돌(collisionless) E × B 플라즈마에 대해 시연되며, 이때 전기장 강도가 운영 매개변수(operating parameter) 역할을 한다. ReMAIN은 고차원의 다중 스케일 플라즈마 상태를 재구성하며, 학습(training)에서 제외된 전기장 강도에서도 영역에 의존적인 시공간적 동역학을 복원한다. 종합적으로, ReMAIN은 희소 센서 기반의 전체 상태 재구성을 개선하며, 매개변수 조건화를 통해 플라즈마 운영 영역 전반에 걸쳐 일반화된다.

arXiv:2609.03641v2cs.CV공통 태그 Image Reconstruction, Decoder

Tree-VQ: 사전학습된 벡터 양자화기 기반 점진적 이미지 압축

Tree-VQ: Progressive Image Compression from Pretrained Vector Quantizers

점진적 이미지 압축(progressive image compression)은 수신된 접두 문맥(prefix)을 원본 소스의 재인코딩 없이 디코딩할 수 있는 단일 임베디드 표현을 필요로 한다. 최신 벡터 양자화(vector-quantized, VQ) 이미지 모델은 강력한 이산 종단점 표현을 제공하지만, 기존의 평면적인 코드워드 인덱스는 신경망 디코더에 의미 있는 중간 상태를 정의하지 못한다. 우리는 Tree-VQ를 제안한다. 이는 사전학습된 평면 VQ 토크나이저를, 인코더 할당과 학습된 모든 리프 벡터를 보존하면서, 세밀하고 임의 접두 문맥(arbitrary-prefix) 기반의 점진적 표현으로 사후 변환(post-hoc conversion)하는 방법이다. 핵심 아이디어는 원본 코드북을 균형 이진 계층 구조로 조직화하고, 내부 노드에 명시적 표현을 연결하며, 분기 결정을 깊이 우선(depth-major) 순서로 전송하는 것이다. 그 결과 이미지 헤더가 확보된 이후에는 모든 페이로드 접두 문맥이 유효한 잠재 상태를 고유하게 지정하게 된다. 즉, 추가되는 분기 비트 하나마다 정확히 하나의 토큰(token)이 정제되며, 따라서 전송은 소수의 단계 경계에서만이 아니라 사실상 임의의 페이로드 위치에서도 절단될 수 있다. 더 나아가 우리는 이러한 임의 절단에서 나타나는 전체 깊이 및 혼합 깊이 잠재 상태에 대해 하나의 공유 디코더를 적응시킴으로써, 이렇게 촘촘하게 배치된 접두 문맥들이 단순히 구문적으로 디코딩 가능할 뿐 아니라 재구성에도 실질적으로 유용하도록 만든다. Kodak 데이터셋에서 Tree-VQ는 ProGIC 대비 DISTS 기반 BD-rate 52.1% 절감을 달성하는 동시에, 단일 임베디드 비트스트림으로부터 수천 개의 유효한 임의 접두 문맥 동작점(operating point)을 제공한다.

arXiv:2609.24088v2cs.CV공통 태그 Image Reconstruction, Decoder

잠재 생성 모델의 평가 및 개선을 위한 잠재 분포 관점

A Latent Distribution Perspective on Evaluating and Improving Latent Generative Models

잠재 생성 모델(latent generative models)에서는 일반적으로 재구성 품질이 생성 성능과 상관관계가 있다고 가정합니다. 그러나 재구성 FID(rFID)는 생성 FID(gFID)와 약한 상관관계를 보이거나 심지어 음의 상관관계를 나타내기도 합니다. 본 연구에서는 이러한 불일치가 잠재 분포 불일치(latent distribution mismatch)에서 기인한다고 봅니다. 즉, 재구성은 인코더가 유도한 잠재 공간에서 디코더를 평가하는 반면, 생성은 생성 모델이 만든 잠재 변수 상에서 동일한 디코더를 사용하기 때문입니다. 이러한 분포 변화를 규명하기 위해, 인코더 잠재 변수에 노이즈를 더해 섭동을 주고 디코딩 전에 생성 모델을 통해 노이즈를 제거함으로써 표준 재구성에서 생성으로 이어지는 연속적인 궤적을 구축하는 생성 인지 재구성(generation-aware reconstruction, GAR)을 제안합니다. GAR은 이 궤적을 따라 디코더의 동작을 탐색하여 인코더 분포에서 생성 시점의 잠재 분포로 전환되는 과정을 관찰하고 진단할 수 있게 합니다. 그 결과 도출된 궤적 기반 진단 지표인 GAR-FID는 다양한 토크나이저와 스케일 전반에서 gFID와 강력한 실증적 상관관계를 보여줍니다. 중요한 점은, 중간 단계의 GAR 잠재 변수가 원본 이미지와의 대응 관계를 보존하면서도 생성 과정을 더 잘 인지하게 되며, 이를 통해 완전 생성된 잠재 변수에는 부재한 쌍(paired) 지도 학습 신호를 유지한다는 것입니다. 이러한 대응 관계 덕분에 중간 GAR 잠재 변수 상에서 디코더 적응(adaptation)이 가능해져, 모델 스케일 전반에서 생성 품질이 일관되게 향상됩니다. 종합적으로, 잠재 분포 불일치는 잠재 생성 모델을 평가하고 개선하기 위한 유용한 관점을 제공합니다.

arXiv:2609.27729v1q-bio.NC공통 태그 Image Reconstruction, Decoder

인지-정서 신경조절 표적의 in silico 설계를 위한 AI 기반 신경 대리 모델

AI-Driven Neural Surrogates for In Silico Design of Cognitive-Affective Neuromodulation Targets

신경정신의학에서 1차 목표는 종종 뇌 활동을 해독하는 것에 그치지 않고, 예를 들어 부정적 정서 바이어스나 과도하게 두드러진 기억을 줄이는 것처럼 그 활동을 바꾸는 데 있다. 제어 이론(control theory)에 동기를 얻어, 우리는 후보 표상 변화를 제안하고 물리적 자극 없이 자극 유발 fMRI 활동의 스냅샷으로부터 그 예측된 지각 효과를 검증하는 AI 기반 신경-대리( neural-surrogate) 프레임워크를 개발한다. 이 프레임워크는 fMRI 디코딩, 심층 생성 모델링, 제약 잠재공간(latent-space) 조향(steering)을 결합한다. Valence와 memorability는 작업 예시로만 사용된다. 네 명의 깊이 샘플링된 Natural Scenes Dataset 참가자로부터 36,000건 이상의 이미지-fMRI 관측을 사용하여, 피험자별 모델은 시각 반응 피질에서 거친 생성 구조를 복원했다(양방향 동일시, 0.79–0.88; 우연, 0.5). 단계적 perturbation은 이미지로 재구성되었고, 18명 참가자의 7,200시행에 대한 자동 채점기와 인간 평가로 평가되었다. 주 VDVAE 모델에서 valence는 -0.61에서 +1.03 SD로, memorability는 -1.34에서 +1.45 SD로 이동했으며, 이후 Versatile Diffusion 정제(refinement)는 이러한 효과를 줄이거나 바꾸었다. 다섯 perturbation 수준에 걸쳐, 인간 valence 평점은 선형 시간 보정 모델에서 예측 방향으로 이동했다(평균 기울기, alpha 단위당 0.038 SD; 95% CI, 0.003–0.074; 18명 중 16명에서 양의 방향). 지각된 memorability는 신뢰할 만하게 변하지 않았다. 자동 평가자와의 기준선 일치는 valence에서 시사적(r = 0.30)이었고 memorability에서는 약했다(r = 0.10). 극단적 perturbation은 원래 자극에서 drift했으므로, 의도한 변화는 충실도(fidelity) 손실과 함께 저울질되어야 한다. 이러한 결과는 정신의학에서 미래 신경조절을 위한 후보 표상 표적을 설계하고 행동적으로 검증할 수 있는 반증 가능한 upstream 방법을 제공하면서, 현재 정적 근사의 한계를 표시한다.

arXiv:2609.24468v1cs.CV공통 태그 Image Reconstruction, MRI Reconstruction

MIGA: 가속화된 3D 다중에코 MRI를 위한 암시적 진폭 모델링 기반 공유 기하학 가우시안 표현

MIGA:Shared-Geometry Gaussian Representation with Implicit Amplitude Modeling for Accelerated 3D Multi-Echo MRI

3차원(3D) 다중에코(multi-echo) MRI는 풍부한 해부학적 및 정량적 정보를 제공하지만, 반복적인 볼륨 인코딩으로 인해 획득 시간이 길어져 k-공간(k-space) 언더샘플링(undersampling)이 요구됩니다. 언더샘플링된 다중에코 데이터를 재구성하려면 에코에 따른 신호 변화를 보존하면서 공유된 해부학적 구조를 활용해야 합니다. 또한 전체 볼륨 모델링은 상당한 연산 및 메모리 부담을 초래합니다. 본 논문에서는 공유된 비등방성 가우시안 기하학, 좌표 조건부 다중 출력 진폭 네트워크, 명시적인 에코별 위상 변수로 구성된 스캔 맞춤형 프레임워크인 MIGA를 제안합니다. 가우시안 기하학은 여러 에코에 걸쳐 공통의 공간적 지지(spatial support)를 제공하고, 암시적(implicit) 네트워크는 공간적으로 구조화된 진폭 변화를 모델링하며, 위상 변수는 에코별 복소 신호 정보를 유지합니다. 모든 구성 요소는 획득된 다중 코일 k-공간만을 사용하여 공동으로 최적화(optimization)되며, 완전 샘플링된 학습(training) 데이터를 필요로 하지 않습니다. 실험 결과, MIGA는 다양한 영상화 작업 및 가속 계수 전반에서 비교 방법들을 일관되게 능가했으며, 언더샘플링이 강할수록 더 큰 향상을 보였습니다. 또한 MIGA는 평가된 전체 볼륨 다중에코 방법들 중에서 우수한 품질 대비 비용 균형을 달성했습니다. 이러한 결과는 가속화된 3D 다중에코 MRI 재구성을 위해 공유 가우시안 기하학과 암시적 에코 의존 진폭 모델링을 결합하는 것의 효과성을 뒷받침합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.