arXiv:2406.01299

Enhancing Dynamic CT Image Reconstruction with Neural Fields and Optical Flow

Pablo Arratia, Matthias Ehrhardt, Lisa Kreusser

제출 2024-06-03

원문 초록

In this paper, we investigate image reconstruction for dynamic Computed Tomography. The motion of the target with respect to the measurement acquisition rate leads to highly resolved in time but highly undersampled in space measurements. Such problems pose a major challenge: not accounting for the dynamics of the process leads to a poor reconstruction with non-realistic motion. Variational approaches that penalize time evolution have been proposed to relate subsequent frames and improve image quality based on classical grid-based discretizations. Neural fields have emerged as a novel way to parameterize the quantity of interest using a neural network with a low-dimensional input, benefiting from being lightweight, continuous, and biased towards smooth representations. The latter property has been exploited when solving dynamic inverse problems with neural fields by minimizing a data-fidelity term only. We investigate and show the benefits of introducing explicit motion regularizers for dynamic inverse problems based on partial differential equations, namely, the optical flow equation, for the optimization of neural fields. We compare it against its unregularized counterpart and show the improvements in the reconstruction. We also compare neural fields against a grid-based solver and show that the former outperforms the latter in terms of PSNR in this task.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08770v1cs.CV공통 태그 Image Reconstruction, Optical Flow Estimation

LongE2V: 비디오 확산 모델을 활용한 장기 이벤트 기반 비디오 복원, 예측 및 프레임 보간

LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models

희소 이벤트 스트림에서 고품질 비디오를 복원하는 것은 어려운 과제이다. 회귀 방법은 텍스처를 흐릿하게 만드는 경향이 있으며, 기존 생성 모델은 장기 안정성 확보에 어려움을 겪는다. 우리는 사전학습된 비디오 확산 사전 지식(prior)을 활용하여 이벤트 기반 비디오 복원, 예측, 프레임 보간을 통합적으로 처리하는 새로운 접근법인 LongE2V를 제안한다. 기반 비디오 모델을 미세조정함으로써, 우리의 접근법은 높은 데이터 효율성과 우수한 지각적 품질을 달성한다. 극도로 긴 시퀀스에서의 시간적 드리프트를 완화하기 위해 자기회귀적 언롤링(Autoregressive Unrolling)과 적응형 컨텍스트 전환(Adaptive Context Switching)을 도입한다. 또한 프레임 보간 시 정밀한 양방향 일관성을 보장하기 위해 교차 잔차 보정을 포함한 재인코딩 정렬(Reencoding Alignment with Cross Residual Correction)을 제안한다. 나아가, 이벤트 복셀 밀도 증강(Event Voxel Density Augmentation)은 다양한 센서 해상도에 걸쳐 강건성을 보장한다. 실세계 벤치마크에서의 광범위한 실험을 통해 LongE2V가 세 가지 과제 모두에서 최첨단 방법을 능가하며, 뛰어난 시간적 일관성과 제로샷 일반화 능력을 보임을 입증한다. 프로젝트 페이지: https://cdfan0627.github.io/LongE2V-page/

arXiv:2606.26636v1cs.CV공통 태그 Image Reconstruction, Optical Flow Estimation

FracEvent: 분수 완화 픽셀 동역학 기반 이벤트 카메라 시뮬레이션

FracEvent: Event-Camera Simulation via Fractional-Relaxation Pixel Dynamics

이벤트 카메라는 마이크로초 수준의 시간 해상도로 밝기 변화를 비동기적으로 보고하지만, 특수 센서, 정밀한 동기화, 과제별 어노테이션이 필요하기 때문에 실제 이벤트 데이터를 대규모로 수집하기는 여전히 어렵다. 따라서 이벤트 카메라 시뮬레이션은 이벤트 기반 비전 과제에 중요하다. 대부분의 실용 시뮬레이터는 대비 임계값(contrast-threshold) 기반 이벤트 생성을 기반으로 하며, 일부는 추가 필터링, 확률적 노이즈, 또는 수동 튜닝 센서 파라미터를 포함한다. 효과적이지만, 이러한 방식은 각 픽셀의 수명 주기에서 생성되는 시간적 구조를 종종 단순화하여 이벤트 타이밍을 왜곡하고 다운스트림 전이 성능을 약화시킬 수 있다. 본 논문은 분수 완화(fractional-relaxation) 전압 동역학으로 이러한 픽셀 수준 수명 주기를 모델링하는 이벤트 시뮬레이터 FracEvent를 제안한다. 로그 강도(log-intensity) 궤적이 주어지면, FracEvent는 간결한 완화 모드(relaxation modes) 스택을 구동하고, 그 응답을 전압 상태로 결합하며, 연속 전압 궤적에서 임계값 교차(threshold crossings)를 국소화하여 ON/OFF 이벤트를 발생시키고, 기저 메모리 모드(memory modes)를 유지하면서 기준(reference)을 갱신한다. 이 유지된 상태는 잔여 전압 응답을 이후 이벤트 타이밍과 연결한다. FracEvent를 이벤트 스트림 비교와 이미지 재구성 및 광학 흐름(optical flow) 추정에서의 다운스트림 전이를 통해 평가한다. 여러 데이터셋에서 FracEvent는 생성된 이벤트의 시간적 구조를 개선하고 경쟁 시뮬레이터 베이스라인보다 더 강한 다운스트림 전이 결과를 달성하여, 이벤트 카메라 시뮬레이션의 실용적 가치를 보여준다.

arXiv:2607.00047v3cs.MM공통 태그 Image Reconstruction

Vertigo Vertigo: 예측 AI 분신을 통한 영화적 이상의 재구성

Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double

Vertigo Vertigo는 히치콕의 「현기증」(Vertigo, 1958)을 장면 단위로 AI가 재구성한 작품으로, 원본 영화 프레임의 2.78%만으로 생성되었다. 이처럼 희소한 키프레임 앵커를 사용하여 대규모 비디오 확산 모델로 첫 프레임과 마지막 프레임 사이를 보간함으로써 그 사이의 장면들을 예측한다. 「현기증」은 그 자체가 인위적 이상(理想)에 대한 집착적 재구성을 다룬 영화이며, Vertigo Vertigo는 이러한 논리를 영화의 질료로 확장하여, 정전(正典)이 된 텍스트를 생성 시스템 내부에 부호화된 고전 영화의 규범적 관습을 탐색하는 프로브로 취급한다. 미디어 이론가들(Lev Manovich, Shane Denson, Kevin L. Ferguson)의 비평적 피드백과 계산적 분석을 통해 평가한 결과, 이 결과물은 놀라운 구조적 충실도를 보인다. 프레임의 73.1%가 「현기증」의 그럴듯한 재현으로 인식되며, 치명적으로 실패한 프레임은 3.6%에 불과하다. 이러한 충실도는 영화적 규범이 모델의 잠재 사전분포 안에 깊이 압축되어 있음을 시사한다. 미학적으로 이 재구성물은 원본 영화와 그 예측된 그림자 사이의 불안정한 오버레이로 구현되며, 관객의 인식 속에서 진정성에 대한 지속적인 의심, 곧 21세기의 현기증을 불러일으킨다. 이 작업은 생성 미디어가 영화로부터의 패러다임 전환이 아니라, 고전 할리우드에서 오늘날 동시대 지각을 재편하고 있는 예측 미디어 환경에 이르기까지 이어지는 욕망과 거짓 진정성이라는 영화의 논리가 가속된 것이라고 주장한다.

arXiv:2607.04926v2cs.LG공통 태그 Inductive Bias

입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구

Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study

정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.

arXiv:2609.24937v3cs.CV공통 태그 Image Reconstruction

흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영

Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs

뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.

arXiv:2607.10681v2cs.LG공통 태그 Inductive Bias

루프 트랜스포머의 스펙트럼 마진과 메모리 라우팅

Spectral Margins and Memory Routing in Looped Transformers

루프 트랜스포머는 하나의 가중치 블록을 반복해서 적용한다. 각 반복은 이전 은닉 상태의 일부인 캐리(carry)를 유지하고 블록의 출력을 더하므로, 정보는 두 경로 중 어느 쪽으로든 반복 사이를 전달될 수 있다. 우리는 Parcae 아키텍처의 소규모 LayerNorm 기반 변형을 연구하며 두 가지 질문을 던진다. 반복되는 상태가 안정화되는가, 그리고 반복에 걸쳐 기억하는 학습에 캐리가 필요한가? 안정성에 관해서, pre-LayerNorm은 캐리가 커질수록 고정점에서 블록의 민감도를 낮추지만 수축을 보장하기에는 충분하지 않다. 스칼라 캐리의 경우 국소적으로 안정한 고정점에서도 섭동이 한 번의 반복에서 커질 수 있다. 이러한 고정점이 안정한 이유는 루프의 야코비안의 스펙트럼 반경이 $1$ 미만으로 유지되기 때문이다. $1$로부터의 거리인 스펙트럼 마진은 캐리가 $1$에 가까워질수록, 그리고 캐리가 높을 때는 너비가 커질수록 좁아지며, 일부 초기화는 반복 예산 내에 안정화되지 않는다. 메모리에 관해서, 고정된 루프 깊이로 학습한 다중 홉 복사 과제는 캐리를 $0.5$, $0.02$, $0$으로 고정했을 때에도 학습된 캐리를 사용했을 때만큼 잘 학습되며, 학습된 캐리는 훈련 중 거의 변하지 않는다. 훈련 중에 깊이를 샘플링하면 캐리가 $0.5$일 때는 여전히 학습되지만 $0.02$와 $0$일 때는 학습되지 않는다. 모든 실험은 소규모이다(학습 시 $d \le 32$).

토론

이 논문과 연결된 포럼 글이 아직 없습니다.