arXiv:2409.03977

Bi-modality Images Transfer with a Discrete Process Matching Method

Zhe Xiong, Qiaoqiao Ding, Xiaoqun Zhang

제출 2024-09-06

원문 초록

Recently, medical image synthesis gains more and more popularity, along with the rapid development of generative models. Medical image synthesis aims to generate an unacquired image modality, often from other observed data modalities. Synthesized images can be used for clinical diagnostic assistance, data augmentation for model training and validation or image quality improving. In the meanwhile, the flow-based models are among the successful generative models for the ability of generating realistic and high-quality synthetic images. However, most flow-based models require to calculate flow ordinary different equation (ODE) evolution steps in transfer process, for which the performances are significantly limited by heavy computation time due to a large number of time iterations. In this paper, we propose a novel flow-based model, namely Discrete Process Matching (DPM) to accomplish the bi-modality image transfer tasks. Different to other flow matching based models, we propose to utilize both forward and backward ODE flow and enhance the consistency on the intermediate images of few discrete time steps, resulting in a transfer process with much less iteration steps while maintaining high-quality generations for both modalities. Our experiments on three datasets of MRI T1/T2 and CT/MRI demonstrate that DPM outperforms other state-of-the-art flow-based methods for bi-modality image synthesis, achieving higher image quality with less computation time cost.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.13995v2cs.AI공통 태그 Data Augmentation, Diagnostic

마케팅 연구에서의 합성 데이터: 평가 방법과 신뢰할 수 있는 시점

Synthetic Data in Marketing Research: How to Evaluate and When to Trust

마케팅 연구에서 합성 데이터(synthetic data)에 대한 논쟁은 대규모 언어 모델(LLM)이 인간 응답자를 불필요하게 만든다는 주장과 이를 전면 배제해야 한다는 요구 사이에서 양극화되어 왔습니다. 우리는 두 입장 모두 합성 응답자가 효과가 있는지 여부가 아니라 '언제' 효과가 있는가라는 더 유용한 질문을 흐린다고 주장합니다. Brand, Israeli, and Ngwe (2026)를 기반으로 하여, 본 연구는 세 가지 기여를 제시합니다. 첫째, 세 가지 유형의 합성 데이터(비그라운딩 LLM 응답, 세그먼트 수준 페르소나, 개인 수준 디지털 트윈)를 구분하고 각각이 지원할 수 있는 의사결정과 매핑합니다. 둘째, 정확도 측정 항목을 네 가지 계열의 분류 체계로 정립하고, 거의 완벽한 수준에서 무작위 확률 수준에 이르기까지 보고된 트윈 정확도의 넓은 범위가 방법론의 질적 차이라기보다는 주로 무엇을 측정하고 있는가의 차이를 반영한다는 점을 시사합니다. 집계 측정 지표는 LLM에 제공된 정보가 거의 없을 때도 좋은 성능을 보이는 경우가 많으며, 응답자 수준의 변별력이 전혀 존재하지 않는 현상을 가릴 수 있습니다. 셋째, 현장 연구에서 질문이 누락되는 '누락된 질문 문제(forgotten question problem)'를 기존 데이터를 트윈 기반으로 증강하는 설정으로 도입합니다. 우리는 그라운드 트루스(ground truth)가 필요 없는 사전 답변 가능성 진단법으로, 트윈을 구축하는 데 사용된 데이터로부터 트윈의 출력을 예측하는 랜덤 포레스트의 R^2을 제안합니다. 전국 대표 표본 설문조사(N = 3,063)의 108개 태도 질문 전반에서 R^2 > 0.7 기준으로 스크리닝하면 트윈-인간 간 개인 수준 평균 상관관계가 15% 상승하고 잘못 답변된 질문의 비율이 25.9%에서 4.3%로 감소합니다. 임베딩 유사도와 숙련된 연구자의 판단 또한 상관관계가 있는 스크리닝 기준을 제공하지만 상대적으로 효과가 더 약합니다.

arXiv:2609.23103v1cs.RO공통 태그 Image Generation, Diagnostic

DiagGen: 로봇 시뮬레이션을 위한 시뮬레이션 기반 진단을 활용한 변형 가능 자산의 에이전틱 생성

DiagGen: Agentic Generation of Deformable Assets with Sim-based Diagnostics for Robotic Simulation

시뮬레이션 준비가 완료된 변형 가능 자산(deformable asset)은 컴퓨터 시뮬레이션(in-silico) 기반 로봇 조작 작업에 필수적이지만, 기존 생성 프레임워크는 대개 생성 이후에 물리적 타당성을 평가하므로 객체의 시뮬레이션 반응을 상위 단계의 오류 수정을 위한 피드백으로 활용하지 못합니다. 본 논문에서는 단일 야생 환경(in-the-wild) 이미지를 '생성--시뮬레이션--진단--개선' 루프를 통해 시뮬레이션 준비가 완료된 변형 가능 자산으로 변환하는 에이전틱(agentic) 프레임워크인 DiagGen을 제안합니다. DiagGen은 부위 인식(part-aware) 지오메트리 및 재질 매개변수를 구축한 후, 비전-언어 모델(VLM) 기반 에이전트(agent)를 활용하여 의미적으로 유의미한 영역을 선택하고, 물리 시뮬레이터에서 이를 탐침(probe)하며, 재질 반응을 관찰하고, 근거 기반 수정 신호를 해당 생성 단계로 전달합니다. 40개의 자산을 대상으로 한 실험을 통해 진단 과정이 유용한 수정 신호를 제공하며 생성된 변형 가능 자산의 품질을 일정 수준 향상시킬 수 있음을 보여줍니다. 마지막으로, 시뮬레이션이 불가능할 수 있는 시각 파운데이션 모델 기반 생성 자산과 달리, DiagGen으로 생성된 변형체는 고충실도 물리 시뮬레이터에 직접 투입되어 접촉이 빈번한 집기 및 놓기(pick-and-place) 작업의 계획 및 시뮬레이션에 활용될 수 있음을 보여줍니다. 프로젝트 웹사이트는 https://diaggen.github.io/ 입니다.

arXiv:2609.14856v3cs.CV공통 태그 Image Generation

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.