arXiv:2606.07036v1 cs.CV

STREAM: Stochastic Riemannian Flow Matching with Anisotropic Decoder for Digital Histopathology Image Generation

Won June Cho, Daeky Jeong, Hyeongyeol Lim, Hongjun Yoon

제출 2026-06-05

한국어 초록

합성 병리 이미지 생성은 환자 프라이버시 및 파운데이션 모델을 위한 대규모 학습 데이터 수요 증가 등 계산 병리학의 핵심 과제를 해결합니다. 잠재 확산 모델(latent diffusion model)이 이미지 생성 분야를 주도해왔으며, 최근 연구들은 잠재 공간의 선택이 생성 이미지 품질에 결정적임을 강조하고 있습니다. 병리학 분야의 기존 최신 생성 모델들은 사전학습된 비전 파운데이션 모델(VFM)을 조건 신호로 사용하는데, 이로 인해 조건 신호가 잠재 공간을 지배하여 생성 샘플의 품질과 다양성을 저하시키는 "조건 붕괴(conditioning collapse)" 현상이 발생함을 확인하였습니다. 이에 본 연구에서는 사전학습된 병리학 VFM을 조건 신호 대신 잠재 공간 자체로 활용하여, 풍부한 의미 정보를 인코딩하는 패치 토큰 특징을 이용합니다. 이러한 특징들은 $\ell_2$-정규화되어 단위 초구(unit hypersphere) $\mathcal{S}^{d-1}$ 위에 분포하며 강한 각도 지배성과 내재적 곡률을 가져, 리만(Riemannian) 정식화에 자연스럽게 적합함을 실증적으로 보입니다. 이를 바탕으로, 병리학 분야에 리만 플로우 매칭을 최초로 적용한 프레임워크인 STREAM을 제안합니다. STREAM은 두 단계로 구성됩니다: 1) $\mathcal{S}^{d-1}$ 위에서 토큰별 정류 가능성(rectifiability)을 확립하여 잠재 공간에서 Diffusion 트랜스포머(DiT)를 학습하는 브리지 방식의 확률적 섭동, 2) 속도장 야코비안의 저에너지 방향에는 강건성을 할당하고 고에너지 방향에서는 충실도를 유지하는 새로운 비등방성 디코더. STREAM은 유방암 및 대장암 데이터셋에서 최신 수준의 재구성 및 생성 성능을 달성합니다. 코드는 논문 승인 후 공개될 예정입니다.

원문 초록

Synthetic histopathology image generation addresses critical challenges in computational pathology, including patient privacy and the growing need for large-scale training data for foundation models. Latent diffusion models have dominated the image generation domain, with recent works emphasizing that the choice of latent space is critical to the quality of generated images. Existing state-of-the-art generative models in histopathology use pretrained Vision Foundation Models (VFMs) as conditioning signals, and we observe that this leads to "conditioning collapse," where the conditioning signal dominates the latent space and lowers the quality and diversity of generated samples. Therefore, we instead use pretrained histopathology VFMs as the latent space itself, leveraging their patch-token features that encode rich semantic information. We empirically show that these features are $\ell_2$-normalized and lie on the unit hypersphere $\mathcal{S}^{d-1}$ with strong angular dominance and intrinsic curvature, making them naturally suited for a Riemannian formulation. We therefore present STREAM, the first framework to apply Riemannian flow matching in the pathology domain. STREAM consists of two stages: 1) a bridge-type stochastic perturbation that establishes per-token rectifiability on $\mathcal{S}^{d-1}$ for training a Diffusion Transformer (DiT) in latent space, and 2) a novel anisotropic decoder that allocates robustness to low-energy directions of the velocity-field Jacobian while preserving fidelity along its high-energy directions. Together, STREAM achieves state-of-the-art reconstruction and generation performance on breast and colorectal cancer datasets. The code will be publicly released upon acceptance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.07036v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27729v1q-bio.NC공통 태그 Image Reconstruction, Decoder, Image Generation

인지-정서 신경조절 표적의 in silico 설계를 위한 AI 기반 신경 대리 모델

AI-Driven Neural Surrogates for In Silico Design of Cognitive-Affective Neuromodulation Targets

신경정신의학에서 1차 목표는 종종 뇌 활동을 해독하는 것에 그치지 않고, 예를 들어 부정적 정서 바이어스나 과도하게 두드러진 기억을 줄이는 것처럼 그 활동을 바꾸는 데 있다. 제어 이론(control theory)에 동기를 얻어, 우리는 후보 표상 변화를 제안하고 물리적 자극 없이 자극 유발 fMRI 활동의 스냅샷으로부터 그 예측된 지각 효과를 검증하는 AI 기반 신경-대리( neural-surrogate) 프레임워크를 개발한다. 이 프레임워크는 fMRI 디코딩, 심층 생성 모델링, 제약 잠재공간(latent-space) 조향(steering)을 결합한다. Valence와 memorability는 작업 예시로만 사용된다. 네 명의 깊이 샘플링된 Natural Scenes Dataset 참가자로부터 36,000건 이상의 이미지-fMRI 관측을 사용하여, 피험자별 모델은 시각 반응 피질에서 거친 생성 구조를 복원했다(양방향 동일시, 0.79–0.88; 우연, 0.5). 단계적 perturbation은 이미지로 재구성되었고, 18명 참가자의 7,200시행에 대한 자동 채점기와 인간 평가로 평가되었다. 주 VDVAE 모델에서 valence는 -0.61에서 +1.03 SD로, memorability는 -1.34에서 +1.45 SD로 이동했으며, 이후 Versatile Diffusion 정제(refinement)는 이러한 효과를 줄이거나 바꾸었다. 다섯 perturbation 수준에 걸쳐, 인간 valence 평점은 선형 시간 보정 모델에서 예측 방향으로 이동했다(평균 기울기, alpha 단위당 0.038 SD; 95% CI, 0.003–0.074; 18명 중 16명에서 양의 방향). 지각된 memorability는 신뢰할 만하게 변하지 않았다. 자동 평가자와의 기준선 일치는 valence에서 시사적(r = 0.30)이었고 memorability에서는 약했다(r = 0.10). 극단적 perturbation은 원래 자극에서 drift했으므로, 의도한 변화는 충실도(fidelity) 손실과 함께 저울질되어야 한다. 이러한 결과는 정신의학에서 미래 신경조절을 위한 후보 표상 표적을 설계하고 행동적으로 검증할 수 있는 반증 가능한 upstream 방법을 제공하면서, 현재 정적 근사의 한계를 표시한다.

arXiv:2610.13768v1stat.ML공통 태그 Image Reconstruction, Privacy Preserving

픽셀에서 프라이버시에 민감한 특징까지: 재구성 경계를 위한 정보 이론적 프레임워크

From Pixels to Privacy-Sensitive Features: An Information-Theoretic Framework for Reconstruction Bounds

공격자(adversary)는 DP-SGD로 학습(training)된 모델(model)에서 무엇을 복원할 수 있는가? $(\varepsilon,δ)$ 보장은 이 질문에 직접적인 답을 주지 않는다. 우리는 학습 전에 계산할 수 있으며, 학습 중 매개변수(parameter) 궤적을 관찰하고 다른 모든 학습 레코드와 학습 레코드가 추출된 모집단 분포를 알고 있는 공격자에게도 적용되는 왜곡 경계를 도출한다. 분석자는 오차를 측정하는 표현(representation)을 선택할 수 있어, 경계가 주어진 응용에서 프라이버시에 민감한 재구성 측면을 목표로 하도록 할 수 있다. 우리의 정보 이론적 프레임워크는 두 가지 기여를 분리한다: 조건부 상호 정보량(conditional mutual information)을 통해 측정되는, 학습으로 드러나는 레코드에 대한 정보와, 소스 엔트로피(source entropy)를 통해 측정되는, 데이터 분포에 이미 존재하는 불확실성이다. 속도-왜곡 이론(rate-distortion theory)은 이 둘을 결합하여 모든 재구성 공격의 기대 오차에 대한 하한을 제공한다. DP-SGD의 경우, 유출 경계는 샘플링 비율과 노이즈 배수(noise multiplier)에만 의존하며, 소스 엔트로피는 유한 샘플 신뢰도를 갖는 샘플로부터 하한이 추정된다. 직교 블록 구성은 결과 경계가 고차원 이미지에 대해서도 유의미하도록 유지한다. 우리는 이 프레임워크를 픽셀 공간과 LPIPS 특징(feature) 공간에서 구체화하여, 우리가 아는 한 LPIPS로 직접 측정한 재구성 왜곡에 대한 최초의 하한을 얻는다. 다양한 이미지 데이터셋(dataset)에서 이 경계는 경험적으로 권장되는 프라이버시 예산 범위 내 및 그 이상에서 자명하지 않은 불가피한 기대 재구성 오차를 입증한다. 실험은 이 경계를 강력한 재구성 공격과 비교하고, 남아 있는 격차의 주요 원인을 규명한다.

arXiv:2610.02208v3cs.CV공통 태그 Image Reconstruction, Image Generation

Sphere Encoder 2

Sphere Encoder 2

Sphere Encoder는 고차원 잠재 구(high-dimensional latent sphere)에서 무작위 포인트를 디코딩하여 이미지를 생성하는 오토인코더(autoencoder)입니다. 본 논문에서는 생성 품질을 저하시키는 기존 수식의 두 가지 한계점을 규명합니다. 첫째, 인코딩된 잠재 공간에서 극(pole)을 기준으로 무작위 포인트들이 적도(equator) 부근에 집중되지만, 학습 회전은 이 영역에 도달하지 못해 격차가 발생하며 이는 원스텝(one-step) 생성을 제한합니다. 둘째, 픽셀 단위 재구성 손실로 생성 학습을 수행하면 디코더가 그럴듯한 이미지들을 평균화하도록 유도되어 고주파 세부 정보(high-frequency details)가 결여된 흐릿한 이미지가 생성됩니다. 이러한 두 가지 한계를 해결하기 위해 Sphere Encoder 2를 제안하며, 오토인코더의 속도와 단순성을 유지하면서도 이미지 생성 품질을 대폭 향상시킵니다. 모델은 https://github.com/kaiyuyue/sphere2 에서 공개됩니다.

arXiv:2610.11004v1physics.plasm-ph공통 태그 Image Reconstruction, Decoder

운영 영역 전반에 걸친 다중 스케일 플라즈마 동역학 재구성

Reconstruction of Multiscale Plasma Dynamics Across Operating Regimes

적은 수의 센서로부터 공간적으로 분해된 플라즈마 동역학을 재구성하는 것은 진단, 축소 모델링(reduced-order modelling) 및 제어에 필수적이지만, 희소한 측정값이 다중 스케일이면서 영역에 의존적인 자유도를 불완전하게 제약하기 때문에 여전히 어려운 과제로 남아 있다. Shallow Recurrent Decoder(SHRED)는 측정 이력(measurement history)을 활용하여 공간적 희소성(sparsity) 문제를 부분적으로 해결하지만, 완전 연결(fully connected) 디코더는 스케일 전반에 걸친 공간 구조를 해석하거나 명시적인 매개변수(parameter) 의존성을 다루는 명시적 메커니즘을 제공하지 않는다. 본 연구에서는 Recurrent Multiscale Affine-modulated Inference Network(ReMAIN)를 제안한다. 이는 SHRED의 순환적(recurrent) 시간 인코딩을 유지하면서도, 디코더를 U-Net으로 대체하여 특징(feature) 계층 구조가 특징별 선형 변조(feature-wise linear modulation)를 통해 순환 상태(recurrent state)에 의해 조건화되도록 한다. 시간적 표현(temporal representation)은 U-Net 전반에 걸쳐 조밀한 사전 정보(dense prior)와 스케일별 변조를 동시에 제공한다. 매개변수적 확장(parametric extension)은 운영 조건과 센서 이력을 함께 임베딩하여, 지배 동역학이 운영 영역(operating regime)에 따라 변화할 때 재구성이 이에 적응할 수 있도록 한다. ReMAIN은 먼저 다양한 동역학을 대표하는 6개의 1차원 비선형 편미분방정식(PDE)에 대해 SHRED와 벤치마크(benchmark) 비교된다. 모든 벤치마크에서 ReMAIN은 미학습(unseen) 궤적에 대한 재구성 오차를 줄이고, 급격한 전환(sharp transition), 국소 극값(localized extrema), 미세 스케일 변화를 더 충실하게 해석한다. 이후 매개변수 조건화 모델(parameter-conditioned model)은 수직 축방향 전기장과 반경 방향 자기장을 받는 무충돌(collisionless) E × B 플라즈마에 대해 시연되며, 이때 전기장 강도가 운영 매개변수(operating parameter) 역할을 한다. ReMAIN은 고차원의 다중 스케일 플라즈마 상태를 재구성하며, 학습(training)에서 제외된 전기장 강도에서도 영역에 의존적인 시공간적 동역학을 복원한다. 종합적으로, ReMAIN은 희소 센서 기반의 전체 상태 재구성을 개선하며, 매개변수 조건화를 통해 플라즈마 운영 영역 전반에 걸쳐 일반화된다.

arXiv:2610.02634v1math.OC공통 태그 Image Reconstruction, Medical Image Analysis

자기공명 탄성영상(MRE)에서 점탄성 조직 특성 재구성을 위한 하이브리드 CNN-수반(adjoint) 최적화 프레임워크

A hybrid CNN-adjoint optimization framework for reconstruction of viscoelastic tissue properties in magnetic resonance elastography

자기공명 탄성영상(MRE, Magnetic Resonance Elastography)은 전단파(shear wave) 전파로부터 연조직의 점탄성 특성을 정량화하는 비침습적 영상 기법이다. 측정된 변위장(displacement field)으로부터 복소값 전단 탄성률(shear modulus)을 복원하는 것은, 특히 잡음이 존재하고 경계 가진(boundary excitation)이 제한된 경우 심각하게 비정칙적인(ill-posed) 역문제로 이어진다. 본 연구에서는 수반(adjoint) 기반 최적화, 합성곱 신경망(CNN) 재구성, 그리고 두 접근법을 결합한 하이브리드 프레임워크를 조사한다. 정방향 모델(forward model)은 복소 전단 탄성률을 갖는 수정된 정상(stationary) 스토크스(Stokes) 계의 스칼라 형태를 기반으로 한다. 우리는 정방향 문제의 well-posedness, 최소화자(minimizer)의 존재성, 수반 기반 공식화에 대한 1차 최적성 조건을 확립하고, Armijo 선탐색(line search)을 적용한 비선형 켤레기울기법(conjugate-gradient method)을 구현한다. PDE 제약 최적화(PDE-constrained optimization)는 계수 재구성을 정확하게 정밀화할 수 있지만, 그 성능은 초기화(initialization)에 크게 의존한다. 이에 따라 우리는 복소값 변위 측정값을 공간적으로 변화하는 복소 전단 탄성률 필드로 매핑하여 빠르고 유의미한 초기 재구성을 제공하는 2차원 CNN을 구성한다. 제안된 하이브리드 방법은 CNN 재구성 결과를 사용하여 수반 기반 최적화를 초기화함으로써 더 빠른 수렴(convergence)과 향상된 정확도를 달성한다. CNN은 개별 섭동(perturbation)을 포함하는 계수 필드에 대해 학습되며, 개별 구성과 이전에 보지 못한 복합 구성 모두에 대해 테스트된다. 수치 실험 결과, CNN은 이러한 더 어려운 구성에도 잘 일반화되며, 이후의 PDE 제약 최적화는 재구성된 계수를 추가로 정밀화하는 것으로 나타났다. 이러한 결과는 데이터 기반 초기화와 물리 기반 최적화를 결합하는 것이 효율적이고 정확한 MRE 재구성에 지닌 잠재력을 보여준다.

arXiv:2609.37605v2cs.CV공통 태그 Image Reconstruction, Medical Image Analysis

TomoTransformer: CT 재구성을 위한 파운데이션 모델을 향하여

TomoTransformer: Towards a Foundation Model for CT Reconstruction

지도 심층 학습(supervised deep learning)은 희소 뷰 단층 촬영 재구성(sparse-view tomographic reconstruction) 분야를 발전시켰습니다. 그러나 일반적으로 여과 역투영(FBP) 이미지나 사이노그램(sinogram)을 깨끗한 재구성 이미지로 매핑하는 기존 모델들은 분포 변화(distribution shift)에 취약합니다. 투영 횟수 및 각도, 검출기 해상도 또는 데이터 분포가 변경될 때마다 재학습이 필요하기 때문에, 실제 응용 분야에서의 배포는 여전히 제한적입니다. 이를 해결하기 위해 본 논문에서는 각 국소(local) 여과 투영을 개별 토큰으로 취급하고 셀프 어텐션(self-attention)을 통해 누락된 뷰를 예측하는 트랜스포머 기반 아키텍처인 TomoTransformer를 소개합니다. 결정적으로, TomoTransformer는 공간적 위치 전반에 걸쳐 투영을 분리하는 역투영 공간(back-projection space)에서 작동하므로, 뷰 보간이 기하학적으로 적절한 조건(well-posed)을 갖추고 검출기 크기에 불변하도록 만듭니다. 이러한 설계를 통해 재학습 없이도 임의의 각도 위치 및 검출기 크기에서 임의의 개수의 입력 투영을 처리하고, 임의의 개수의 목표 각도를 쿼리할 수 있는 단일 파운데이션 모델이 구현됩니다. 다양한 의료 CT 해부학적 구조와 자연 이미지를 포괄하는 대규모 데이터셋으로 학습된 TomoTransformer는 여러 해부학적 구조, 재료 및 해상도 전반에 걸쳐 효과적으로 일반화됩니다. 여러 벤치마크 희소 뷰 데이터셋에 대한 광범위한 평가 결과에 따르면, TomoTransformer는 ViewTrans와 같은 동시대의 다목적 모델을 크게 능가하며, 입력 및 목표 투영 수에 완전히 구애받지 않으면서도 강력한 특정 프로토콜 전용 베이스라인과 대등하거나 이를 능가하는 성능을 보입니다. 나아가 이 모델은 X선 방사광 가속기에서 수집된 실제 실험 나노스케일 뇌 데이터에서 강력한 제로샷(zero-shot) 일반화를 입증하여 실제 응용 분야에서의 실용성을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.