arXiv:2404.03126

GaSpCT: Gaussian Splatting for Novel CT Projection View Synthesis

Emmanouil Nikolakakis, Utkarsh Gupta, Jonathan Vengosh, Justin Bui, Razvan Marinescu

제출 2024-04-04

원문 초록

We present GaSpCT, a novel view synthesis and 3D scene representation method used to generate novel projection views for Computer Tomography (CT) scans. We adapt the Gaussian Splatting framework to enable novel view synthesis in CT based on limited sets of 2D image projections and without the need for Structure from Motion (SfM) methodologies. Therefore, we reduce the total scanning duration and the amount of radiation dose the patient receives during the scan. We adapted the loss function to our use-case by encouraging a stronger background and foreground distinction using two sparsity promoting regularizers: a beta loss and a total variation (TV) loss. Finally, we initialize the Gaussian locations across the 3D space using a uniform prior distribution of where the brain's positioning would be expected to be within the field of view. We evaluate the performance of our model using brain CT scans from the Parkinson's Progression Markers Initiative (PPMI) dataset and demonstrate that the rendered novel views closely match the original projection views of the simulated scan, and have better performance than other implicit 3D scene representations methodologies. Furthermore, we empirically observe reduced training time compared to neural network based image synthesis for sparse-view CT image reconstruction. Finally, the memory requirements of the Gaussian Splatting representations are reduced by 17% compared to the equivalent voxel grid image representations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02208v3cs.CV공통 태그 Image Reconstruction, Image Generation

Sphere Encoder 2

Sphere Encoder 2

Sphere Encoder는 고차원 잠재 구(high-dimensional latent sphere)에서 무작위 포인트를 디코딩하여 이미지를 생성하는 오토인코더(autoencoder)입니다. 본 논문에서는 생성 품질을 저하시키는 기존 수식의 두 가지 한계점을 규명합니다. 첫째, 인코딩된 잠재 공간에서 극(pole)을 기준으로 무작위 포인트들이 적도(equator) 부근에 집중되지만, 학습 회전은 이 영역에 도달하지 못해 격차가 발생하며 이는 원스텝(one-step) 생성을 제한합니다. 둘째, 픽셀 단위 재구성 손실로 생성 학습을 수행하면 디코더가 그럴듯한 이미지들을 평균화하도록 유도되어 고주파 세부 정보(high-frequency details)가 결여된 흐릿한 이미지가 생성됩니다. 이러한 두 가지 한계를 해결하기 위해 Sphere Encoder 2를 제안하며, 오토인코더의 속도와 단순성을 유지하면서도 이미지 생성 품질을 대폭 향상시킵니다. 모델은 https://github.com/kaiyuyue/sphere2 에서 공개됩니다.

arXiv:2609.24088v2cs.CV공통 태그 Image Reconstruction, Image Generation

잠재 생성 모델의 평가 및 개선을 위한 잠재 분포 관점

A Latent Distribution Perspective on Evaluating and Improving Latent Generative Models

잠재 생성 모델(latent generative models)에서는 일반적으로 재구성 품질이 생성 성능과 상관관계가 있다고 가정합니다. 그러나 재구성 FID(rFID)는 생성 FID(gFID)와 약한 상관관계를 보이거나 심지어 음의 상관관계를 나타내기도 합니다. 본 연구에서는 이러한 불일치가 잠재 분포 불일치(latent distribution mismatch)에서 기인한다고 봅니다. 즉, 재구성은 인코더가 유도한 잠재 공간에서 디코더를 평가하는 반면, 생성은 생성 모델이 만든 잠재 변수 상에서 동일한 디코더를 사용하기 때문입니다. 이러한 분포 변화를 규명하기 위해, 인코더 잠재 변수에 노이즈를 더해 섭동을 주고 디코딩 전에 생성 모델을 통해 노이즈를 제거함으로써 표준 재구성에서 생성으로 이어지는 연속적인 궤적을 구축하는 생성 인지 재구성(generation-aware reconstruction, GAR)을 제안합니다. GAR은 이 궤적을 따라 디코더의 동작을 탐색하여 인코더 분포에서 생성 시점의 잠재 분포로 전환되는 과정을 관찰하고 진단할 수 있게 합니다. 그 결과 도출된 궤적 기반 진단 지표인 GAR-FID는 다양한 토크나이저와 스케일 전반에서 gFID와 강력한 실증적 상관관계를 보여줍니다. 중요한 점은, 중간 단계의 GAR 잠재 변수가 원본 이미지와의 대응 관계를 보존하면서도 생성 과정을 더 잘 인지하게 되며, 이를 통해 완전 생성된 잠재 변수에는 부재한 쌍(paired) 지도 학습 신호를 유지한다는 것입니다. 이러한 대응 관계 덕분에 중간 GAR 잠재 변수 상에서 디코더 적응(adaptation)이 가능해져, 모델 스케일 전반에서 생성 품질이 일관되게 향상됩니다. 종합적으로, 잠재 분포 불일치는 잠재 생성 모델을 평가하고 개선하기 위한 유용한 관점을 제공합니다.

arXiv:2609.36756v3cs.CV공통 태그 Image Reconstruction, Image Generation

NesTok: 자기회귀 이미지 생성을 위한 중첩 자기정렬 1D 토크나이저

NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation

1차원(1D) 가변 길이 시각적 토크나이저는 토큰 수를 달리하여 적응형 압축을 가능하게 하므로, 다운스트림 자기회귀(AR) 모델이 단일 토크나이저를 사용해 생성 품질과 계산 비용 간의 트레이드오프를 유연하게 조율할 수 있도록 돕습니다. 그러나 중첩 드롭아웃(nested dropout)에 기반한 기존 접근법들은 토크나이저의 표현 능력을 완전히 활용하지 못하는 경우가 많아 이미지 재구성 및 생성 모두에서 차선의 성능을 초래합니다. 본 연구에서는 동적 시각적 토크나이저에 맞춤화된 중첩 자기정렬 프레임워크인 NesTok을 소개합니다. NesTok은 토큰 길이에 걸친 재구성을 공동으로 최적화하는 동시에 전체 길이 시퀀스를 활용하여 더 짧은 시퀀스를 유도하는 교차 길이 학습(cross-length training)을 도입함으로써, 더 짧은 토큰 시퀀스가 전체 길이 시퀀스의 재구성 품질에 근접할 수 있도록 합니다. ImageNet에서 NesTok은 표준 학습 대비 실질적인 개선을 이루어내며 0.98의 rFID 점수를 달성합니다. 다운스트림 이미지 생성 작업에서는 기존의 가변 길이 자기회귀 이미지 생성 방식 중 ImageNet 256$\times$256에서 최고 수준인 1.46의 gFID 점수를 기록합니다. 코드는 https://github.com/Jiawei804/NesTok 에서 제공될 예정입니다.

arXiv:2609.27779v1cs.CV공통 태그 Image Generation, Novel View Synthesis

구조화된 패치 잠재 흐름을 활용한 융합 인지 직접 3D 가우시안 생성

Fusion-Aware Direct 3D Gaussian Generation with Structured Patch Latent Flows

클래스 조건부(class-guided) 3D 객체 생성은 지능형 콘텐츠 제작, 가상 환경, 디지털 에셋 디자인에서 중요합니다. 3D 가우시안 스플래팅(3DGS)은 명시적이고 렌더링 효율적인 표현 방식을 제공하지만, 가우시안 프리미티브(Gaussian primitive)가 순서가 없고 크기가 가변적이며 국소적으로 밀집되어 있고 렌더링에 매우 민감하기 때문에 3D 가우시안 객체를 직접 생성하는 것은 어렵습니다. 기존의 3DGS 생성 방법들은 주로 다중 뷰 합성, 재구성, 또는 승격된(lifted) 2D 사전 확률(prior)에 의존하여, 3D 가우시안 객체의 본질적인 구조적 분포를 모델링하기보다는 관측된 뷰의 정보를 주로 융합합니다. 본 논문에서는 렉티파이드 플로우(rectified flow)를 통해 클래스 조건부 3DGS를 직접 생성하기 위한 융합 인지(fusion-aware) 계층적 가우시안 패치 표현을 제안합니다. 불규칙한 가우시안 집합은 정규 국소 패치로 분해되어 구조화된 토큰으로 인코딩됩니다. 그 결과 형성된 계층적 잠재 공간(latent space)은 전역 클래스 의미론(semantics), 패치 수준의 기하학 및 외형, 공간적 대응성, 렌더링 민감 단서들을 융합합니다. 이를 바탕으로, 패치 위치 조건화, 전역-국소 결합 속도 예측, 밀도 인지 속도 가중치를 갖춘 구조 인지 렉티파이드 플로우 모델을 설계하여 수 초 내에 클래스 조건부 3DGS 객체를 잠재 공간에서 직접 생성할 수 있도록 합니다. 또한 렌더링 피드백 융합 전략을 통해 잠재 흐름 학습을 디코딩된 다중 뷰 렌더링 품질과 추가로 정렬합니다. 실험 결과에 따르면, 제안된 방법은 기준선 잠재 생성 모델들에 비해 더 일관된 기하학적 구조, 더 선명한 국소 세부 표현, 더 뛰어난 다중 뷰 일관성을 갖춘 3D 가우시안 객체를 생성합니다. 소거 연구(ablation study)를 통해 전반적인 실용적 샘플링 효율성을 유지하면서 계층적 정보 융합, 전역-국소 결합, 밀도 인지 지도(supervision), 렌더링 피드백 학습의 기여도를 확인했습니다.

arXiv:2609.27729v1q-bio.NC공통 태그 Image Reconstruction, Image Generation

인지-정서 신경조절 표적의 in silico 설계를 위한 AI 기반 신경 대리 모델

AI-Driven Neural Surrogates for In Silico Design of Cognitive-Affective Neuromodulation Targets

신경정신의학에서 1차 목표는 종종 뇌 활동을 해독하는 것에 그치지 않고, 예를 들어 부정적 정서 바이어스나 과도하게 두드러진 기억을 줄이는 것처럼 그 활동을 바꾸는 데 있다. 제어 이론(control theory)에 동기를 얻어, 우리는 후보 표상 변화를 제안하고 물리적 자극 없이 자극 유발 fMRI 활동의 스냅샷으로부터 그 예측된 지각 효과를 검증하는 AI 기반 신경-대리( neural-surrogate) 프레임워크를 개발한다. 이 프레임워크는 fMRI 디코딩, 심층 생성 모델링, 제약 잠재공간(latent-space) 조향(steering)을 결합한다. Valence와 memorability는 작업 예시로만 사용된다. 네 명의 깊이 샘플링된 Natural Scenes Dataset 참가자로부터 36,000건 이상의 이미지-fMRI 관측을 사용하여, 피험자별 모델은 시각 반응 피질에서 거친 생성 구조를 복원했다(양방향 동일시, 0.79–0.88; 우연, 0.5). 단계적 perturbation은 이미지로 재구성되었고, 18명 참가자의 7,200시행에 대한 자동 채점기와 인간 평가로 평가되었다. 주 VDVAE 모델에서 valence는 -0.61에서 +1.03 SD로, memorability는 -1.34에서 +1.45 SD로 이동했으며, 이후 Versatile Diffusion 정제(refinement)는 이러한 효과를 줄이거나 바꾸었다. 다섯 perturbation 수준에 걸쳐, 인간 valence 평점은 선형 시간 보정 모델에서 예측 방향으로 이동했다(평균 기울기, alpha 단위당 0.038 SD; 95% CI, 0.003–0.074; 18명 중 16명에서 양의 방향). 지각된 memorability는 신뢰할 만하게 변하지 않았다. 자동 평가자와의 기준선 일치는 valence에서 시사적(r = 0.30)이었고 memorability에서는 약했다(r = 0.10). 극단적 perturbation은 원래 자극에서 drift했으므로, 의도한 변화는 충실도(fidelity) 손실과 함께 저울질되어야 한다. 이러한 결과는 정신의학에서 미래 신경조절을 위한 후보 표상 표적을 설계하고 행동적으로 검증할 수 있는 반증 가능한 upstream 방법을 제공하면서, 현재 정적 근사의 한계를 표시한다.

arXiv:2609.22282v1cs.CV공통 태그 Image Reconstruction, Image Generation

뇌-이미지 생성: 생성적 적대 신경망을 이용한 뇌파 기반 시각 자극 재구성

Brain-to-Image Generation: Reconstructing Visual Stimuli from EEG using Generative Adversarial Networks

뇌파(EEG)로부터 시각 자극을 재구성하는 것은 두피 측정이 높은 시간 해상도를 갖지만 공간 해상도가 제한적이고, 짝지어진 EEG-이미지 데이터셋이 현대 생성 모델(generative model) 학습 코퍼스에 비해 여전히 작기 때문에 어렵습니다. 본 논문에서는 EEG가 시각 임베딩 공간에서 피험자가 본 자극을 검색할 수 있는지에 대한 보다 타당한 질문을 먼저 검증하는 THINGS-EEG2 기반의 재현 가능한 단일 피험자 기준선(baseline)을 제시합니다. 소형 시공간 합성곱 인코더(temporal-spatial convolutional encoder)는 반복 평균된 EEG(63 x 250)를 사전에 제공된 512차원 ViT-B/32 이미지 특징에 매핑합니다. 모델 선택에는 개념이 분리된 검증 분할을 사용하며, 최종 평가에는 공식 200개 이미지, 200개 개념의 테스트 갤러리를 사용합니다. 세 가지 학습 시드에 걸쳐, 제안 모델은 1, 5, 10에서의 이미지 재현율(recall) 각각 12.83 ± 0.58%, 39.17 ± 1.76%, 58.00 ± 1.73%(평균 ± 표본 표준편차)를 달성하여 0.5%, 2.5%, 5.0%인 이론적 무작위 확률 수준(chance level)과 비교되는 성능을 보였습니다. 세션 균형 제거 연구(ablation study)는 더 많은 테스트 반복을 평균화할수록 전반적으로 순위 매김이 향상됨을 보여줍니다. 적응 과정 없이 피험자 01의 모델을 다른 9명의 피험자에게 적용하면 성능이 급격히 저하되어 피험자 특이성이 드러납니다. 나아가 외부 시각 가중치 없이 학습된 직접 조건부 생성기(direct conditional generator)에 대한 탐색적 스트레스 테스트를 보고합니다. 단일 피험자 및 10명 피험자 변형 모델은 노이즈가 지배적인 출력을 생성하며, 초기 검증 성능 개선은 1~4 에포크 후에 반전되었습니다. 마지막으로 사전학습된 확산 사전확률(diffusion prior)을 사용하는 시맨틱 렌더링과 직접 재구성을 구별합니다. 결과는 폐쇄 집합(closed-set) 및 반복 평균화 프로토콜 하에서 무작위 수준을 넘어서는 대략적인 시맨틱 디코딩은 지지하지만, 자극 픽셀의 충실한 복원은 지지하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.