Noise- and Outlier-Resistant Tomographic Reconstruction under Unknown Viewing Parameters
원문 초록
In this paper, we present an algorithm for effectively reconstructing an object from a set of its tomographic projections without any knowledge of the viewing directions or any prior structural information, in the presence of pathological amounts of noise, unknown shifts in the projections, and outliers among the projections. The outliers are mainly in the form of a number of projections of a completely different object, as compared to the object of interest. We introduce a novel approach of first processing the projections, then obtaining an initial estimate for the orientations and the shifts, and then define a refinement procedure to obtain the final reconstruction. Even in the presence of high noise variance (up to $50\%$ of the average value of the (noiseless) projections) and presence of outliers, we are able to successfully reconstruct the object. We also provide interesting empirical comparisons of our method with the sparsity based optimization procedures that have been used earlier for image reconstruction tasks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Vertigo Vertigo: 예측 AI 분신을 통한 영화적 이상의 재구성
Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double
Vertigo Vertigo는 히치콕의 「현기증」(Vertigo, 1958)을 장면 단위로 AI가 재구성한 작품으로, 원본 영화 프레임의 2.78%만으로 생성되었다. 이처럼 희소한 키프레임 앵커를 사용하여 대규모 비디오 확산 모델로 첫 프레임과 마지막 프레임 사이를 보간함으로써 그 사이의 장면들을 예측한다. 「현기증」은 그 자체가 인위적 이상(理想)에 대한 집착적 재구성을 다룬 영화이며, Vertigo Vertigo는 이러한 논리를 영화의 질료로 확장하여, 정전(正典)이 된 텍스트를 생성 시스템 내부에 부호화된 고전 영화의 규범적 관습을 탐색하는 프로브로 취급한다. 미디어 이론가들(Lev Manovich, Shane Denson, Kevin L. Ferguson)의 비평적 피드백과 계산적 분석을 통해 평가한 결과, 이 결과물은 놀라운 구조적 충실도를 보인다. 프레임의 73.1%가 「현기증」의 그럴듯한 재현으로 인식되며, 치명적으로 실패한 프레임은 3.6%에 불과하다. 이러한 충실도는 영화적 규범이 모델의 잠재 사전분포 안에 깊이 압축되어 있음을 시사한다. 미학적으로 이 재구성물은 원본 영화와 그 예측된 그림자 사이의 불안정한 오버레이로 구현되며, 관객의 인식 속에서 진정성에 대한 지속적인 의심, 곧 21세기의 현기증을 불러일으킨다. 이 작업은 생성 미디어가 영화로부터의 패러다임 전환이 아니라, 고전 할리우드에서 오늘날 동시대 지각을 재편하고 있는 예측 미디어 환경에 이르기까지 이어지는 욕망과 거짓 진정성이라는 영화의 논리가 가속된 것이라고 주장한다.
역문제를 위한 확산 기반 최적화기의 원칙적 설계
Principled Design of Diffusion-based Optimizers for Inverse Problems
스코어 기반 확산 모델은 역문제에서 최첨단 성능을 달성하지만, 긴 추론 시간과 번거로운 하이퍼파라미터 튜닝으로 인해 실제 배포가 저해된다. 사전학습된 확산 모델은 재학습 없이 여러 태스크에 재사용할 수 있지만, 노이즈 스케줄과 사후 샘플링 가중치와 같은 추론 시점 하이퍼파라미터는 일반적으로 각 문제 설정마다 임시방편적인 조정이 필요하다. 우리는 불변성을 유도하는 원칙적 재매개화를 제안하여, 동일한 하이퍼파라미터를 재튜닝 없이 여러 문제에 걸쳐 재사용할 수 있게 한다. 또한 사후 샘플링을 최적화 문제로 재구성하는 RED-diff 프레임워크를 바탕으로, OptDiff 파이프라인을 추가로 개발한다. OptDiff는 추론을 가속하기 위한 볼록 최적화 도구의 통합을 용이하게 하는 간소화된 튜닝 프레임워크를 제공한다. 이미지 재구성, 디블러링, 초해상도에 대한 실험은 상당한 속도 향상과 향상된 이미지 품질을 보여준다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.
입력 볼록 신경망 학습을 위한 리프트
A lift for input-convex neural net training
입력 볼록 신경망은 밀도 모델과 수송 사상의 볼록 포텐셜을 매개변수화하며, 그 볼록성을 위해서는 계층 간 가중치가 비음수여야 한다. 투영 경사 하강법은 매 단계 후 투영을 수행하여 이를 강제하는데, 미니배치 잡음 때문에 경계를 무한히 반복해서 넘나들게 되어 투영이 식별하지 못하는 활성 집합이 발생한다. 미분 가능한 대안인 직접 소프트플러스는 소프트플러스 양수화 사상을 통해 자유 잠재 가중치를 최적화한다. 해당 잠재 가중치가 0보다 훨씬 작은 곳에서는 사상의 도함수가 지수적으로 작아 기울기와 그 잡음을 모두 축소시킨다. 이 영역을 어깨(shoulder)라 부르며, 여기에 도달한 가중치는 거의 움직이지 않고 지수적으로 긴 시간 동안 머무른다. 본 연구는 자유 잠재 가중치를 학습 가능한 슬랙과, 학습 배치의 순열 불변 요약을 입력받는 하이퍼네트워크의 출력의 합으로 대체하는 리프트(lift)를 제안한다. 그러면 잠재 가중치가 기울기를 구성하는 바로 그 배치에 따라 변하므로 둘이 결합된다. 이러한 결합이 갱신의 분산에 1차로 한 항을 더함을 보이고, 슬랙, 배치 의존성, 공유 배치가 각각 이를 위해 필요함을 보인다. 결합이 손실 곡률과 양의 방향으로 정렬되는 경우, 어깨에 놓인 가중치는 전조건화 확률적 경사 하강법에서도 직접 소프트플러스보다 리프트에서 손실의 장벽을 더 빨리 넘는다. 여러 응용에서 리프트를 기존 두 방법과 비교한다. 직접 소프트플러스의 제약 가중치가 어깨에 도달하는 경우, 리프트는 직접 소프트플러스보다 목표를 더 가깝게 적합하며 같은 재구성 수준에 약 세 배 빨리 도달한다. 거의 어떤 가중치도 어깨에 도달하지 않는 경우에는 방법들이 서로 일치한다.
궤적 직선성을 이용한 정류된 흐름(Rectified Flows)을 위한 근 선택 고정점 역전
Root-Selecting Fixed-Point Inversion for Rectified Flows via Trajectory Straightness
주어진 데이터 샘플을 생성하는 초기 노이즈를 찾는 일, 즉 역변환(inversion)은 학습이 필요 없는 이미지 편집과 같은 하위 응용의 핵심 요소이다. 기존의 고정점 역변환 방법은 각 역변환 단계를 고정점 문제로 정식화하여 역변환 정확도를 높이지만, 실제로 나타날 수 있는 여러 고정점 해 중에서 선택하기 위한 원리적 메커니즘이 부족하다. 우리는 선택에 따라 서로 다른 역변환 궤적이 만들어지며 그 결과 복원 및 편집 품질에 상당한 차이가 발생함을 관찰한다. 정류 흐름(rectified flow)의 경우, 이러한 차이가 궤적의 직선성과 밀접하게 연관됨을 추가로 발견하였고, 이에 직선성을 원리적인 선택 기준으로 삼는다. 우리는 더 곧은 역궤적을 유도하는 고정점 해를 선택하면서도 표준적인 국소 가정 하에서 정확한 역근(inverse root)으로의 수렴을 유지하는 고정점 역변환 방법인 SelFix를 제안한다. FLUX.1-dev와 PIE-Bench에서의 실험 결과, SelFix는 고정점 역변환을 개선하여 기존 역변환 기준선보다 더 우수한 실제 이미지 복원과 원본을 더 잘 보존하는 프롬프트 기반 편집을 달성하였다. 코드는 https://github.com/seminkim/selfix 에서 확인할 수 있다.
차분 언폴딩: 비디오 스냅샷 압축 영상을 위한 효율적 복원
Differential Unfolding: Efficient Reconstruction for Video Snapshot Compressive Imaging
심층 언폴딩 네트워크(DUN)가 비디오 스냅샷 압축 영상(SCI)에서 주류를 이루고 있으나, 여전히 획일적인 설계 철학에 의해 제한된다. 기존 접근법은 복잡도가 높은 사전 정보를 동일한 구조로 반복적으로 쌓으며, 최적화 경로가 점차 거의 정적인 상태로 수렴한다는 사실을 간과한다. 그 결과 표현 정체가 발생하고, 작은 특징 갱신에 많은 계산 비용이 낭비된다. 이러한 비효율을 해결하기 위해 우리는 반복되는 작업을 무거운 단계와 가벼운 단계의 주기적 일정으로 대체하는 이종 프레임워크인 차분 언폴딩(Differential Unfolding, DU)을 제안한다. DU의 핵심은 차분 진화 프레임워크(Differential Evolutionary Framework, DEF)로, 언폴딩 절차를 구조적 앵커링과 차분 진화라는 두 가지 상호 보완적 역할로 나눈다. 이 방법에서는 매개변수가 많은 일반 단계를 드물게 사용하여 높은 충실도의 특징 기반을 형성한다. 반면 가벼운 차분 단계는 차분 표현 사전(Differential Representation Prior, DRP)을 사용하여 차분 메커니즘으로 이러한 기반 특징을 전달하고 정제한다. 진화하는 어텐션 맵을 위한 차분 표현 어텐션(Differential Representation Attention, DRA)과 특징 보정을 위한 차분 변조 FFN(Differential Modulated FFN, DM-FFN)을 통합함으로써, DRP는 최소한의 오버헤드로 단계 간 변화를 효과적으로 모델링한다. 높은 용량의 계산을 드물게 배치된 일반 단계에 집중하고 점진적 정제를 가벼운 차분 단계에 맡김으로써, DU는 정확도와 효율성 간의 우수한 균형을 달성한다. 광범위한 실험에서 DU-9stg는 최고 수준의 복원 품질을 달성하였고, DU-5stg는 가장 적은 매개변수와 FLOPs로 비교된 모든 방법을 능가하였다. 언폴딩 방법인 DADUN과 비교하면 DU-9stg는 매개변수가 약 절반, FLOPs가 4분의 1 정도만 필요하다. 코드: https://github.com/Muyuan-Zhang/DU
토론
이 논문과 연결된 포럼 글이 아직 없습니다.