CONFLUX: 강화학습 사후 학습을 적용한 3D 흉부 CT 합성을 위한 잠재 확산 모델
CONFLUX: A Latent Diffusion Model for 3D Chest-CT Synthesis with RL Post-Training
한국어 초록
3D 의료 영상의 제어 가능한 생성 모델은 지정된 임상 속성을 가진 볼륨을 합성할 수 있지만, 이를 위해서는 높은 충실도를 지니면서 네이티브 3D이고 요청된 조건에 충실한 샘플이 동시에 요구된다. 우리는 흉부 컴퓨터 단층 촬영(CT)을 위한 잠재 확산 모델인 CONFLUX를 제안한다: 3D 변분 오토인코더(variational autoencoder)가 각 볼륨을 압축하고, 정류 흐름 트랜스포머(rectified-flow transformer)가 잠재 공간에서 생성을 수행한다. 생성은 적응형 층 정규화(adaptive layer normalization)를 통해 구조화된 방사선학적 메타데이터(18가지 이상 소견, 성별, 나이, 재구성 커널)에 대해 조건부로 수행된다. 모델은 삼평면 프레셰 거리(tri-planar Fréchet distance)(FID 32.3 대 MAISI의 74.6)에서 강력한 체적 기준 모델을 능가하는 동시에 임상 속성에 대한 직접적인 제어를 제공한다. 그 제어를 강화하기 위해 온라인 강화학습(RL) 사후 학습 단계(그룹 상대 정책 최적화, group-relative policy optimization)를 추가하였으며, 이는 분류기가 각 생성된 볼륨에서 요청된 소견을 얼마나 신뢰성 있게 복원하는지에 따라 보상을 부여한다. 별도의 독립적인 분류기로 평가한 결과, 사후 학습은 실제 스캔 신뢰도 대비 성능 격차의 47%를 해소한다. 우리는 모델과 다양한 임상 소견에 걸친 조건 메타데이터를 포함하는 약 20만 건의 합성 흉부 CT 데이터셋을 공개한다.
원문 초록
Controllable generative models of 3D medical images can synthesize volumes with specified clinical attributes, but this demands samples that are simultaneously high-fidelity, natively 3D, and faithful to the requested conditioning. We present CONFLUX, a latent diffusion model for chest computed tomography (CT): a 3D variational autoencoder compresses each volume, and a rectified-flow transformer generates in the latent space. Generation is conditioned on structured radiological metadata (18 abnormality findings, sex, age, and reconstruction kernel) through adaptive layer normalization. The model leads strong volumetric baselines on tri-planar Frechet distance (FID 32.3 vs. 74.6 for MAISI) while exposing direct control over clinical attributes. To strengthen that control we add an online reinforcement-learning post-training stage (group-relative policy optimization) that rewards how reliably a classifier recovers the requested findings from each generated volume. Judged by a separate, independent classifier, post-training removes 47% of the shortfall relative to real-scan reliability. We release the model and a ~200k synthetic chest-CT dataset with conditioning metadata spanning a wide variety of clinical findings.
요약
CONFLUX는 흉부 CT 합성을 위한 3D 잠재 확산 모델(latent diffusion model)로, 3D VAE와 정류 흐름 트랜스포머(rectified-flow transformer)를 결합하여 18가지 이상 소견, 성별, 나이 등 구조화된 방사선 메타데이터를 조건으로 볼륨을 생성하며, MAISI 대비 삼평면 FID에서 32.3 대 74.6으로 우수한 품질을 달성했다. 여기에 그룹 상대 정책 최적화(GRPO) 기반 강화학습 사후학습 단계를 추가하여 생성 볼륨과 요청 조건 간의 충실도 격차를 47% 해소하고, 약 20만 건의 합성 흉부 CT 데이터셋을 공개했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.02998v2제출 시각 미확인
- arXiv:2607.02998v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
의료 영상을 위한 변분 위험 최소화 기반 신뢰도 게이팅 클라우드-엣지 캐스케이드 분류
Confidence-Gated Cloud-Edge Cascade Triage via Variational Risk Minimization for Medical Imaging
응급 흉부 X선(CXR) 중증도 분류(triage)에는 구조적인 모달리티 격차가 존재합니다. 즉 판독문은 분류 결정 이후에 도착하지만, 멀티모달 파운데이션 모델은 영상-텍스트 입력을 모두 필요로 합니다. 본 논문에서는 대규모 비전-언어 모델(LVLM)이 생성한 판독문 변형들을 잠재적 임상 해석의 몬테카를로(Monte Carlo) 샘플로 취급하는 지식 증류(distillation) 프레임워크인 변분 위험 최소화(Variational Risk Minimization, VRM)를 제안합니다. 단일 교사 모델의 타깃으로부터 증류하는 대신, VRM은 변분적으로 한계화된(variationally marginalized) 교사 분포로부터 학습하여 모달리티 누락 제약 조건 하에서도 불확실성을 인식하는 감독(uncertainty-aware supervision)을 가능하게 합니다. 동일한 인코더 패밀리 조건에서, VRM은 직접적인 미세조정 베이스라인보다 우수한 성능을 보이며 환각(hallucination) 감독으로부터 강력한 복원력을 보여 캘리브레이션을 개선합니다. 한계화된 감독은 판독문 선택의 불안정성을 완화합니다. 소형 엣지-학생 모델 구현에서, 신뢰도 게이팅 캐스케이드는 20.3%의 클라우드 이관율과 평균 103ms의 지연 시간으로 AUC 0.941을 달성하여, 클라우드-엣지 임상 워크플로우를 위한 명시적인 신뢰성-지연 시간 운용점을 제공합니다.
DOHF: 둡의 $h$-변환 가이던스를 활용한 온라인 확산 모델 미세조정
DOHF: Online Diffusion Fine-tuning with Doob's $h$-transform Guidance
보상(reward) 기반 확산 모델 미세조정(diffusion fine-tuning)은 바람직한 결과가 드물게 발생하거나 조건부 보정(conditioning correction)을 추정하는 데 많은 비용이 들 때 실질적인 한계에 직면합니다. 본 연구에서는 둡의 $h$-변환(Doob's $h$-transform)을 실용적인 온라인 학습 알고리즘으로 전환한 DOHF(Diffusion Online $h$-guidance Fine-tuning)를 제안합니다. DOHF는 생성된 샘플에 최적성 가중치를 부여하고, 현재 롤아웃(rollout) 정책 하에서 정규화된 국소 보정치 $\nabla\log h$를 추정한 후, 이를 생성 모델(generative model)에 직접 증류(distill)합니다. 이론적으로는 통일된 $h$-변환 관점을 통해 모집단 최적 DiffusionNFT 업데이트와 다양한 분류기 없는 가이던스(classifier-free guidance) 기법들을 규명합니다. 방법론적으로 본 프레임워크는 추가적인 네트워크 평가 없이도 블랙박스 및 미분 불가능한 보상을 수용할 수 있습니다. 나아가 세 가지 실험적 시나리오에서 향상된 정렬(alignment) 성능을 입증합니다. 본 연구는 저비용 추정과 반복적 증류를 통한 확률적 조건화의 적용이 통계적 샘플링 및 시각적 생성 전반에서 생성 학습을 어떻게 개선할 수 있는지를 보여줍니다.
펜첼 틸팅: 생성 모델의 효율적인 미세조정을 위한 가중 보정
Fenchel Tilting: Weighted Correction for Efficient Finetuning of Generative Models
사전학습된 생성 모델을 효용 함수로 표현되는 임의의 선호도에 적응시키는 것은 보상 정렬(reward alignment), 유도 설계(guided design), 제약 조건 충족의 기초가 되며 다양한 응용을 가능하게 합니다. 기존의 미세조정(fine-tuning) 방법들은 범용성과 계산 비용 간의 트레이드오프를 겪습니다. 즉, 최적화를 단순하게 유지하기 위해 지원되는 선호도 군을 제한하거나, 효율성을 희생하면서 범용성을 유지합니다. 본 논문에서는 효용 최적화와 생성 모델 피팅을 분리하는 펜첼 틸트 흐름 제어(Fenchel Tilt Flow Control, FTFC)를 제안합니다. FTFC는 먼저 사전학습된 샘플에 대해 유효 보상과 밀도비 가중치를 공동으로 피팅하여 목표 분포에 대해 최적화합니다. 이 방법은 효용의 변분 구조와 펜첼 쌍대성(Fenchel duality)을 결합하여, 보상이 분포 보정 가중치로 변환되는 방식을 결정하는 일반적인 $f$-다이버전스 페널티를 지원합니다. 그런 다음 이러한 가중치를 고정하고, 샘플링 궤적을 통한 미분 없이 단일 단계의 중요도 가중치 디노이징 또는 플로우 매칭에서 확산 또는 플로우 모델을 수정하는 데 사용합니다. 우리는 적절한 조건에서 오목 효용에 대한 정확한 쌍대성을 규명하고, 가중 피팅이 주어진 효용에 대한 최적의 목표 분포를 재현함을 보입니다. 이미지 및 분자 생성 벤치마크 전반에 걸쳐 FTFC는 다양한 선호도 함수에서 베이스라인 대비 성능을 향상시키는 동시에 최대 20배 더 효율적입니다. 제안된 방법은 복잡한 최적화 없이 기대 보상 극대화를 넘어선 적응을 가능하게 하며, 베이스라인과 비교하여 더 일반적인 효용 함수 군에 대한 견고성을 유지합니다.
GPEC: 심장 초음파 비디오 캡션 생성을 위한 효율적인 LLM 사전 가우시안 프로세스 임베딩 보정
GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation
멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.
국소적 반사실적 흉부 방사선 사진 편집을 위한 공간 게이팅 확산 모델
Spatially Gated Diffusion for Localized Counterfactual Chest Radiograph Editing
흉부 방사선 사진(chest radiograph)을 편집하려면 관련 없는 내용을 보존하면서 요청된 변경 사항을 완성해야 합니다. 본 연구에서는 지시문과 무관한 소스 궤적과 지시문 조건부 편집 궤적을 갖춘 잠재 확산(latent diffusion) 편집기를 다룹니다. 학습된 게이트는 실행되는 각 단계에서 샘플러 이후 후보들을 혼합하며, 별도의 이미지 공간 마스크가 디코딩된 제안과 소스를 합성합니다. MIMIC 기반 2,400건의 요청 중 2,244건의 결과물이 목표, 보존, 품질 및 커버리지에 대한 공동 루브릭을 충족했으며(93.5%), 목표 달성률은 97.4%였습니다. 공동 유효성(joint validity)은 매칭된 합성 전용 대조군보다 1.7%p 높았습니다(대응 환자 클러스터 95% 신뢰구간, 0.6--2.8). 고정된 학습 마스크 조건에서 학습된 게이트 제안은 공동 유효성을 1.6%p 향상시켰으며(0.8--2.4), 고정된 학습 제안 조건에서 학습된 마스크는 이를 2.6%p 향상시켰습니다(1.7--3.5). 3개의 학습 시드에 걸친 평균 공동 유효성은 93.5%였으며 표본 표준편차는 0.3%p였습니다. 240건의 요청에 대한 블라인드 평가 결과, 전체 편집기는 93.3%, 합성 전용은 91.7%의 판정된 공동 유효성을 보였습니다. 보호 영역의 평균 절대 오차(MAE)는 원본 제안의 0.0190에서 합성 후 0.0075로 감소했습니다. 이러한 결과는 평가 코호트에서 제안에 미치는 순환 게이팅 효과와 최종 합성을 통한 보존 효과를 명확히 구분해 줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.