흐름 기반 모델을 활용한 역문제 해결을 위한 궤적 스티칭
Trajectory Stitching for Solving Inverse Problems with Flow-Based Models
한국어 초록
흐름 기반 생성 모델(flow-based generative model)은 역문제(inverse problem) 해결을 위한 강력한 사전확률(prior)로 부상했습니다. 한 가지 방법은 흐름 출력물이 역문제를 해결하도록 초기 잠재 코드(노이즈)를 직접 최적화하는 것입니다. 그러나 이 방식은 전체 생성 궤적을 통해 역전파해야 하므로 높은 메모리 비용과 수치적 불안정성을 초래합니다. 본 논문에서는 궤적을 단일 초기 코드가 아닌 중간 잠재 상태들의 시퀀스로 표현하는 MS-Flow를 제안합니다. 국소적으로 흐름 역학을 강제하고 궤적 일치 페널티를 통해 세그먼트들을 결합함으로써, MS-Flow는 중간 잠재 상태를 업데이트하는 것과 관측 데이터와의 일관성을 강제하는 것을 번갈아 수행합니다. 이를 통해 재구성 품질을 향상시키면서 메모리 소비를 줄입니다. 인페인팅, 초해상도(super-resolution), 컴퓨터 단층촬영(CT)을 포함한 이미지 복원 및 역문제에서 기존 방법 대비 MS-Flow의 효과를 입증합니다.
원문 초록
Flow-based generative models have emerged as powerful priors for solving inverse problems. One option is to directly optimize the initial latent code (noise), such that the flow output solves the inverse problem. However, this requires backpropagating through the entire generative trajectory, incurring high memory costs and numerical instability. We propose MS-Flow, which represents the trajectory as a sequence of intermediate latent states rather than a single initial code. By enforcing the flow dynamics locally and coupling segments through trajectory-matching penalties, MS-Flow alternates between updating intermediate latent states and enforcing consistency with observed data. This reduces memory consumption while improving reconstruction quality. We demonstrate the effectiveness of MS-Flow over existing methods on image recovery and inverse problems, including inpainting, super-resolution, and computed tomography.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
관측 불가능한 이미지 구조의 확산 기반 복원을 위한 연속적 사후 확률 융합
Consecutive Posterior Fusion for Diffusive Recovery of Unobservable Image Structures
심각한 부적절성(ill-posed)을 지닌 이미징 역문제(inverse problem)를 해결하기 위해서는 측정치로부터 관측할 수 없거나 약하게 제약된 이미지 구조를 복원해야 합니다. 확산 모델(diffusion model)은 이러한 누락된 정보를 추론(inference)하기 위한 표현력 있는 학습 기반 사전 분포(prior)를 제공하며, 사후 확률 샘플링(posterior sampling)은 역과정(reverse process) 전반에 걸쳐 측정 일관성(measurement consistency)을 결합합니다. 그러나 표준 확산 사후 확률 샘플러는 이전 사후 교정에 포함된 정보를 명시적으로 활용하지 않고 순간적인 측정 인지 추정치에만 의존합니다. 본 논문에서는 재학습이나 추가적인 디노이저(denoiser) 평가 없이도 연속적인 측정 인지 추정치를 융합하여 관측 불가능한 이미지 구조의 확산 기반 복원을 향상시키는 추론 시점 전략인 연속적 사후 확률 융합 노이즈 제거 확산 영공간 모델(CPF-DDNM)을 제안합니다. 우리는 치역/영공간(range/null-space) 분해를 통해 연속적 융합이 측정치에 의해 결정되는 성분을 보존하면서 사전 분포 기반 영공간 추정치에만 배타적으로 작용함을 보여주는 DDNM 내에서 이 원리를 구현합니다. 이를 통해 CPF-DDNM에 대한 기하학적 해석과 외삽(extrapolative) 영역을 포함하여 최적의 시간 의존적 융합 계수를 특성화하는 국소 오차 분석을 제공합니다. 희소각(sparse-view) 및 모의 저선량 컴퓨터 단층촬영(CT), 의료 영상 초해상도(super-resolution)에 대한 실험 결과, DDNM 대비 일관된 개선과 확산 기반 역문제 해결 모델 대비 경쟁력 있는 성능을 보여줍니다.
임의 의료 슬라이스 초해상도를 위한 이중 사전 가이드 영공간 학습과 스플라인 혼합
Dual-Prior Guided Null-Space Learning with Mixture-of-Splines for Arbitrary Medical Slice Super-Resolution
임의 슬라이스 초해상도(arbitrary slice super-resolution)는 임의 배율의 중간 슬라이스를 합성하여 이방성(anisotropic) 임상 촬영으로부터 등방성(isotropic) 볼륨을 재구성한다. 그러나 이러한 불안정한(ill-posed) 역문제(inverse problem)를 제약 없는 잔차 기반 회귀(residual-based regression)로 다루면, 해부학적으로 타당하지 않은 구조를 환각(hallucination)하거나 원래 관측된 데이터를 변형할 위험이 있다. 이 두 가지 우려를 해결하기 위해, 본 논문은 이중 사전 영공간 학습(Dual-Prior Null-space Learning, DP-NSL) 프레임워크를 제안하며, 이는 두 가지 상보적 사전(prior)에 의해 안내되는 제약 복원(constrained recovery) 과정으로 과제를 재공식화한다. 측정 일관성 투영(Measurement-Consistent Projection, MCP)은 결정론적 관측 사전(Deterministic Observation Prior)을 강제한다: 재구성은 획득된 모든 슬라이스를 오차 없이 정확히 재현하는 직교 투영(orthogonal projection)을 거치며, 학습된 모든 세부 정보를 관측 불가능한 영공간(null space)에 한정한다. 이 영공간 내에서 스플라인 혼합(Mixture-of-Splines, MoS) 모듈은 서로 다른 해석적 차수의 B-스플라인 전문가를 동적으로 혼합하여 기하학적 연속성 사전(Geometric Continuity Prior)을 부과하며, 각 해부학적 영역을 내용 인지(content-aware) 수준의 연속성으로 모델링할 수 있게 한다. 공간적 일관성을 높이기 위해, 국소 공간 일관성 디코더(Local Spatial Consistency Decoder, LSCD)가 국소 귀납적 바이어스(local inductive bias)를 추가로 주입한다. 세 개의 CT와 하나의 MRI 벤치마크(benchmark)에서의 실험은 DP-NSL이 측정 일관성(measurement consistency)을 엄격히 보존하면서 기존 접근법을 능가함을 보여준다. 코드는 https://github.com/DeepMed-Lab-ECNU/Medical-Image-Reconstruction 에서 이용할 수 있다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
정확한 가우시안 조건화를 통한 확산 및 흐름 기반 사후 샘플링 포괄
Spanning Diffusion and Flow-based Posterior Sampling via Exact Gaussian Conditioning
흐름 매칭(flow-matching) 및 확산 모델(diffusion model)은 선형 역문제(linear inverse problem)의 사전확률(prior)로 점점 더 많이 활용되고 있으나, 대부분의 방법은 특정 궤적 사전확률 클래스에만 맞춤화되어 있습니다. 플러그 앤 플레이(plug-and-play) 방식들이 제안되었지만, 이들은 유도된 궤적의 상관관계를 암묵적으로 해제하여 데이터가 희소할 때 성능이 저하될 수 있는 넓은 사전확률을 형성합니다. 본 연구에서는 흐름, 확산 및 탈상관된 사전확률을 일반화하는 상관 매개변수 $β$와 경로 분포가 얼마나 강하게 적용되는지를 제어하는 신뢰도 매개변수 $κ$로 색인화된 범용 플러그 앤 플레이 방법인 $β$-Flow를 제안합니다. 각 단계는 노이즈 제거 네트워크의 단 한 번의 순전파 평가만을 필요로 하며, 이후 가우시안 조건화 단계가 이어집니다. 이 조건화 단계는 네트워크 그래디언트에 의존하지 않는 정확한 칼만 업데이트(Kalman update)입니다. 우리는 기존의 많은 가이드 샘플러들이 칼만 이득 대신 서로 다른 궤적 사전확률과 연산자를 암묵적으로 사용하는 본 방법의 인스턴스 또는 근사치로 해석될 수 있음을 보여줍니다. 이러한 관점에서 우리는 암묵적 편향 및 가정의 측면에서 방법들의 정성적 비교를 제공합니다. 또한 4개 데이터셋에 걸친 7개의 역문제에서 PSNR 및 SSIM 기준으로 일관되게 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 아울러 관측 정보가 적을 때는 높은 신뢰도의 강한 상관관계(엄격한 사전확률)가 가장 효과적이며, 관측 정보가 많을 때는 낮은 상관관계가 선호된다는 점을 보여줌으로써 베이즈 추론(Bayesian inference)에서 사전확률과 가능도(likelihood)의 상호보완적 역할을 반영하는 이러한 사전확률 제어의 유용성을 입증합니다.
적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저
Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate
이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.
부적합 역문제에서의 지질학적 텍스트 설명: 학습 기반 수리전도도 역전을 통한 고찰
Geological text descriptions in ill-posed inverse problems: insights from learned hydraulic-conductivity inversion
수리전도도(hydraulic-conductivity) 역전 문제는 부적합(ill-posed) 문제입니다. 완전한 수두 관측치가 주어지더라도 구조적 모호성이 남을 수 있습니다. 지질학적 텍스트 설명은 지하 구조에 대한 추가 정보를 제공하여 재구성을 제약할 수 있습니다. 그러나 설명이 재구성을 개선하는 시점과 솔버가 명시된 내용을 어떻게 활용하는지는 여전히 불분명합니다. 본 논문에서는 관측 밀도와 흐름 방향을 변화시키며, 이상화된 설명이 포함된 합성 다르시 흐름(Darcy-flow) 벤치마크를 활용하여 학습 기반 역전에서 이러한 질문들을 검토합니다. 희소 관측 학습(sparse-observation training) 후, 관측치가 구조적 모호성을 남길 때 설명은 설명 없이 학습된 모델에 비해 재구성을 향상시킬 수 있지만, 그 이득은 조건과 실행에 따라 달라집니다. 인스턴스별 특정 내용은 현장 유형(field-type) 정보를 넘어 재구성을 개선할 수 있습니다. 이 내용을 수정하면 재구성이 선택된 특징의 명시된 기하학적 구조로 이동하며, 관측치가 해당 특징에 대해 더 많은 정보를 제공할수록 이러한 이동은 덜 강하게 나타납니다. 본 연구는 동일한 지질학적 정보를 인코딩하는 수치적 입력 대비 텍스트의 재구성 우위를 입증하지는 않습니다. 마지막으로, 이러한 상호보완성이 측정과 지질학적 지식 획득의 공동 설계를 어떻게 안내할 수 있는지 논의합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.