arXiv:2210.02625

LungViT: Ensembling Cascade of Texture Sensitive Hierarchical Vision Transformers for Cross-Volume Chest CT Image-to-Image Translation

Muhammad F. A. Chaudhary, Sarah E. Gerard, Gary E. Christensen, Christopher B. Cooper, Joyce D. Schroeder, Eric A. Hoffman, Joseph M. Reinhardt

제출 2022-10-06

원문 초록

Chest computed tomography (CT) at inspiration is often complemented by an expiratory CT to identify peripheral airways disease. Additionally, co-registered inspiratory-expiratory volumes can be used to derive various markers of lung function. Expiratory CT scans, however, may not be acquired due to dose or scan time considerations or may be inadequate due to motion or insufficient exhale; leading to a missed opportunity to evaluate underlying small airways disease. Here, we propose LungViT - a generative adversarial learning approach using hierarchical vision transformers for translating inspiratory CT intensities to corresponding expiratory CT intensities. LungViT addresses several limitations of the traditional generative models including slicewise discontinuities, limited size of generated volumes, and their inability to model texture transfer at volumetric level. We propose a shifted-window hierarchical vision transformer architecture with squeeze-and-excitation decoder blocks for modeling dependencies between features. We also propose a multiview texture similarity distance metric for texture and style transfer in 3D. To incorporate global information into the training process and refine the output of our model, we use ensemble cascading. LungViT is able to generate large 3D volumes of size 320 x 320 x 320. We train and validate our model using a diverse cohort of 1500 subjects with varying disease severity. To assess model generalizability beyond the development set biases, we evaluate our model on an out-of-distribution external validation set of 200 subjects. Clinical validation on internal and external testing sets shows that synthetic volumes could be reliably adopted for deriving clinical endpoints of chronic obstructive pulmonary disease.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01956v1cs.CV공통 태그 Image-to-Image Translation, Style Transfer

EndoLive: 내시경 경비강 두개저 수술 비디오를 위한 실시간 스타일 전이

EndoLive: Real-Time Style Transfer for Endoscopic Endonasal Skull Base Surgical Video

내시경 경비강 두개저 수술(endoscopic endonasal skull base surgery)과 같이 주요 해부학적 구조 주변에서 이루어지는 복잡한 수술 절차는 외과의가 실제 환자를 대상으로 수술을 집도하기 전에 상당한 연습과 훈련(training)을 거쳐야 합니다. 카다버(사체) 표본은 살아있는 사람과 동일한 중요 구조를 포함하고 있어 통상적으로 이러한 훈련에 활용됩니다. 그러나 카다버는 살아있는 환자를 완벽히 1대1로 대체하지는 못합니다. 카다버의 사후 보존된 조직은 살아있는 인간의 조직과 색상이 완전히 다르며, 복잡하고 값비싼 펌프 시스템이 없다면 동일한 방식으로 출혈이 발생하지도 않습니다. 그 결과, 이 수술을 매우 복잡하게 만드는 핵심 해부학적 구조를 식별하는 일은 실제 수술 사례와 외과의의 카다버 실습 간에 상당한 차이가 있을 수 있습니다. 본 논문에서는 카다버 내시경 비디오와 살아있는 사람의 내시경 비디오 간 실시간 스타일 전이(style transfer)를 위한 프레임워크인 EndoLive를 제시합니다. 본 연구의 방법은 수술 분야에 사실적인 스타일 전이를 제공하는 ConStructS 생성적 적대 신경망(GAN) 모델과, 복잡한 변환을 학습하여 실시간으로 수행할 수 있는 HyPER-GAN 모델을 결합합니다. 내시경으로 촬영한 비쌍(unpaired) 카다버 및 생체 이미지를 기반으로 EndoLive를 학습(training)하고, 학습된 모델을 다양한 장치에서 카다버 비디오로 테스트합니다. 실험 결과는 EndoLive가 주요 해부학적 구조의 의미적 일관성을 유지하면서도 실시간 처리에 필요한 최소 속도를 훨씬 웃도는 속도로 카다버-생체 변환을 수행할 수 있음을 입증합니다. 소스 코드는 https://github.com/griffhurt/endolive 에서 확인할 수 있습니다.

arXiv:2607.22830v1cs.CV공통 태그 Image-to-Image Translation, Style Transfer

ID-V2V: 정체성 보존 비디오 재스타일화

ID-V2V: Identity-Preserving Video Restylization

시각적 스토리텔링에서 인간의 퍼포먼스는 창의적 의도와 서사적 의미의 핵심이다. 그러나 생성형 비디오 모델은 유연한 시각적 편집을 가능하게 하면서도 인간의 정체성과 퍼포먼스를 보존하는 것이 여전히 어렵다. 우리는 이 과제를 정체성 보존 비디오 재스타일화로 공식화한다. 이는 편집된 키프레임으로 지정된 장면, 조명, 스타일 변화를 소스 비디오 전체에 전파하면서, 표정, 시선, 입술 동기화를 포함한 얼굴 유사성과 퍼포먼스를 보존하는 작업이다. 핵심 장애물은 paired 학습 데이터의 부재인데, 실제 환경에서는 정체성을 보존한 재스타일화 비디오 쌍이 드물기 때문이다. 이를 해결하기 위해 우리는 소스 기반 정체성 보존과 편집 주도 비디오 합성의 분리를 제안한다. 핵심 통찰은 얼굴 외형과 표정은 불변으로 유지되어야 하며, 조명이 주요하게 허용되는 변화라는 점이다. 따라서 정체성 보존을 비디오 재조명 문제로, 시각적 편집 전파는 편집된 키프레임이 안내하는 제어된 비디오 합성으로 모델링한다. 이 공식화를 바탕으로 우리는 ID-V2V를 제안한다. 이는 상호 보완적인 제어 신호를 통합한 비디오-투-비디오 생성 프레임워크로, 재조명된 얼굴 영역과 얼굴 노멀 맵이 얼굴 유사성과 퍼포먼스를 엄격히 제약하고, 편집된 키프레임과 깊이 시퀀스가 유연하고 시간적으로 일관된 생성을 가능하게 한다. 이 설계는 단일 비디오로부터 학습 쌍을 구성할 수 있어 희소한 paired 데이터가 필요 없게 한다. 광범위한 실험 결과 ID-V2V는 얼굴 유사성과 세밀한 얼굴 퍼포먼스 보존에서 기존 방법을 크게 능가하며, 단일 및 다중 피사체 시나리오를 모두 지원하고 높은 시각적 품질을 제공하여, 실제 콘텐츠 제작을 위한 인간 중심 도구로서의 잠재력을 보여준다. 코드는 https://github.com/Eyeline-Labs/ID-V2V 에서 제공된다.

arXiv:2607.20924v1cs.CV공통 태그 Image-to-Image Translation, Style Transfer

MagicMakeup: 고충실도 메이크업 전이를 위한 영역 제어형 확산 트랜스포머

MagicMakeup: A Region-Controllable Diffusion Transformer for High-Fidelity Makeup-Transfer

메이크업 전이는 소스 얼굴의 정체성을 보존하면서 참조 메이크업을 소스 얼굴에 적용하는 작업이다. 확산 기반 방법을 통한 전체 얼굴 편집의 발전에도 불구하고, 강한 영역 제어성, 메이크업 충실도, 정체성 보존은 여전히 어려운 과제로 남아 있다. 그 이유는 (i) 픽셀-어텐션 불일치로 인해 비대상 영역으로의 번짐이 발생하고 영역 제어가 약화되는 것, (ii) 두 이미지 조건부 설정 하에서 전이/보존 개념 분리가 불명확하여 메이크업 속성과 정체성 간 결합이 발생하는 것, (iii) 정체성 일관성과 영역 라벨이 있는 고해상도 데이터셋이 부족하여 세밀한 감독이 어려운 것이다. 본 논문에서는 공간적 제약과 개념 분리에 기반하여, 영역 제어 가능하고 고충실도 메이크업 전이를 위한 확산 트랜스포머 기반 프레임워크인 MagicMakeup을 제안한다. 정체성을 보존하면서 정밀한 영역별 편집을 가능하게 하기 위해, 픽셀 마스크를 어텐션과 정렬하고 영역별 로짓 게이팅을 적용하는 Token-Aligned Region Gating을 제안한다. 전이와 보존 개념을 명확히 하기 위해, 텍스트와 이미지 특징을 정렬하여 교차 모달 개념 인식을 강화하는 Cross-Modal Perception Guidance를 추가로 도입한다. 또한 영역별 메이크업 제거를 통해 1024 x 1024 데이터 쌍을 생성하는 파이프라인을 설계하고, 합성 및 실제 설정에서 통합 벤치마크를 구축한다. 광범위한 정량적 및 정성적 실험 결과, MagicMakeup은 스타일, 인종, 포즈에 걸쳐 강한 견고성을 보이며 영역 제어성, 메이크업 충실도, 정체성 보존을 개선함을 보여준다.

arXiv:2507.18632v2cs.CV공통 태그 Image-to-Image Translation, Style Transfer

SIDA: Synthetic Image Driven Zero-shot Domain Adaptation

초록과 제목을 번역 규칙에 맞춰 정리한 뒤 JSON만 반환합니다. ```json {"title_ko": "SIDA: 합성 이미지 기반 제로샷 도메인 적응", "abstract_ko": "제로샷 도메인 적응(zero-shot domain adaptation)은 타깃 도메인 이미지 데이터를 사용하지 않고 모델을 타깃 도메인에 적응시키는 방법이다. 타깃 이미지 없이 적응을 가능하게 하기 위해, 기존 연구들은 CLIP의 임베딩 공간과 텍스트 설명을 활용하여 타깃과 유사한 스타일 특징을 시뮬레이션한다. 제로샷 도메인 적응에서의 이전 성과에도 불구하고, 우리는 이러한 텍스트 기반 방법들이 복잡한 실세계 변화를 포착하는 데 어려움을 겪으며, 정렬(alignment) 과정으로 인해 적응 시간이 크게 증가한다는 점을 관찰한다. 텍스트 설명에 의존하는 대신, 우리는 다양하고 더 세밀한 스타일 단서를 제공하는 이미지 데이터를 활용한 해결책을 탐구한다. 본 연구에서는 합성 이미지를 활용한 새롭고 효율적인 제로샷 도메인 적응 방법인 SIDA를 제안한다. 합성 이미지를 생성하기 위해, 먼저 상세한 소스 유사 이미지를 생성하고 이미지 변환(image translation)을 적용하여 타깃 도메인의 스타일을 반영한다. 그런 다음 이러한 합성 이미지의 스타일 특징을 타깃 도메인의 대리(proxy)로 활용한다. 이러한 특징을 바탕으로, 실세계 변화의 효과적인 모델링을 가능하게 하는 Domain Mix 및 Patch Style Transfer 모듈을 도입한다. 특히 Domain Mix는 여러 스타일을 혼합하여 도메인 내(intra-domain) 표현을 확장하고, Patch Style Transfer는 개별 패치(patch)에 서로 다른 스타일을 할당한다. 우리는 다양한 제로샷 적응 시나리오, 특히 어려운 도메인에서 최신(state-of-the-art) 성능을 보여줌으로써 방법의 효과를 입증한다. 또한 본 접근법은 전체 적응 시간을 크게 단축함으로써 높은 효율성을 달성한다."} ```

arXiv:2606.21700v1cs.CV공통 태그 Image-to-Image Translation, Style Transfer

VT-DUDA: 확산 유도 비지도 도메인 적응을 위한 시각 토큰 조건화

VT-DUDA: Visual Token Conditioning for Diffusion-guided Unsupervised Domain Adaptation

비지도 도메인 적응(UDA)은 분포 이동(distribution shift) 하에서 레이블이 있는 소스 데이터와 레이블이 없는 타깃 데이터로부터 타깃 도메인 분류기를 학습하는 것을 목표로 한다. 최근 확산 모델 기반 UDA 방법들은 타깃 스타일의 레이블이 있는 이미지를 합성하고 그렇게 생성된 합성 데이터로 학습하여 이 문제에 접근한다. 그러나 이들의 성능은 조건화(conditioning) 설계에 크게 좌우된다. 클래스 프롬프트는 거친 수준의 가이드만 제공하고, 도메인 적응 모듈은 주로 외형을 제어하므로 타깃 스타일 합성이 충분히 구체화되지 않을 수 있다. 우리는 확산 유도 UDA를 위한 시각 토큰 조건화 프레임워크인 VT-DUDA를 제안한다. VT-DUDA는 텍스트 프롬프트에만 의존하는 대신, 소스 이미지를 사용하여 타깃 스타일 합성을 위한 추가적인 인스턴스 수준의 시각적 컨텍스트를 제공한다. 구체적으로 VT-DUDA는 각 소스 이미지를 간결한 시각 토큰 시퀀스로 매핑하고, 잠재 확산 모델(latent diffusion model)의 cross-attention 컨텍스트 차원을 따라 해당 텍스트 임베딩과 이 토큰들을 연결하여 하이브리드 조건화 컨텍스트를 구성한다. 이는 텍스트만으로는 불가능한 인스턴스 의존적 조건화를 제공하며, 합성은 타깃 도메인 어댑터 분기를 통해 수행된다. 가이던스가 토큰 시퀀스로 명시적으로 표현되므로, 동일한 인터페이스는 토큰 선택과 토큰 강도 조절을 통해 조건화 신호를 추론 시점에 조작하는 것도 가능하게 한다. 제안 방법은 표준 확산 목적함수(objective)를 유지하며, 백본을 수정하지 않고도 기존 어댑터 기반 확산 프레임워크에 통합할 수 있다. Office-31, Office-Home, VisDA-2017에서 VT-DUDA는 강력한 판별(discriminative) 및 확산 기반 UDA 베이스라인들보다 평균 타깃 도메인 정확도를 향상시킨다. 결과는 생성(generation) 기반 UDA에서 더 강력한 조건화 인터페이스가 합성 타깃 스타일 데이터의 하류(downstream) 유용성을 향상시킬 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.