Mitigating analytical variability in fMRI results with style transfer
원문 초록
We propose a novel approach to improve the reproducibility of neuroimaging results by converting statistic maps across different functional MRI pipelines. We make the assumption that pipelines used to compute fMRI statistic maps can be considered as a style component and we propose to use different generative models, among which, Generative Adversarial Networks (GAN) and Diffusion Models (DM) to convert statistic maps across different pipelines. We explore the performance of multiple GAN frameworks, and design a new DM framework for unsupervised multi-domain styletransfer. We constrain the generation of 3D fMRI statistic maps using the latent space of an auxiliary classifier that distinguishes statistic maps from different pipelines and extend traditional sampling techniques used in DM to improve the transition performance. Our experiments demonstrate that our proposed methods aresuccessful: pipelines can indeed be transferred as a style component, providing animportant source of data augmentation for future medical studies.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다중 기관 데이터셋에 걸친 유방촬영술 석회화 분류를 위한 비지도 도메인 적응
Unsupervised Domain Adaptation for Calcification Classification in Mammography Across Multi-Site Datasets
심층 학습(deep learning) 기반 컴퓨터 보조 진단(CAD) 시스템은 유방암 진단, 특히 유방촬영술의 분류 작업에서 높은 성능을 보여왔다. 그러나 다중 기관 데이터셋 간의 도메인 이동(domain shift)은 여전히 과제로 남아 있으며, 특히 모델이 미지의 도메인에 적용될 때 두드러진다. 본 연구에서는 다중 기관 유방촬영술 데이터셋에 걸쳐 악성 대 양성 유방 질환 분류를 개선하기 위한 석회화 분류 프레임워크를 제안하였다. 이 프레임워크는 두 가지 구성 요소로 이루어진다: (1) 추가 어노테이션 없이 제조사별 및 촬영 기법별 학습 샘플을 생성하기 위해 스타일 전이 모델(AdaIN 및 CycleGAN)을 기반으로 한 비지도 도메인 적응 모듈, 그리고 (2) Swin Transformer V2를 백본으로 사용하는 지도 분류 모듈. 제안한 방법을 세 가지 데이터셋에서 평가하였다: OPTIMAM(영국 국민보건서비스; n=2994)에 대한 교차 검증, 이후 EMBED(에모리 대학교; n=125) 및 Duke Calcification Dataset v1(n=788)에 대한 외부 검증. 이 데이터셋들은 여러 제조사를 포함하며, 전장 디지털 유방촬영술(full-field digital mammography)과 디지털 유방 단층합성술(digital breast tomosynthesis)에서 파생된 합성 2D 이미지를 모두 포함한다. 제안된 프레임워크는 EMBED(AUC 0.68에서 0.72)와 Duke Calcification Dataset(AUC 0.68에서 0.73) 모두에서 교차 기관 성능을 향상시켰다. 이러한 결과는 도메인 적응이 도메인 이동을 줄이고 다중 기관 데이터셋에 걸친 석회화 분류의 일반화를 개선할 수 있음을 보여준다.
무학습 구조적 초기화와 텍스처 변조를 통한 제어 가능한 병리조직학 이미지 합성
Controllable Histopathology Image Synthesis with Training-free Structural Initialization and Textural Modulation
심층 학습은 고처리량 병리조직학 이미지 분석에서 뛰어난 성과를 보여주었다. 그러나 학습 기반 모델의 성능은 전문 병리의가 수행하는 주석의 품질과 규모에 크게 의존하며, 이는 자원 집약적이고 시간이 많이 소요되는 과정이다. 데이터 부족과 주석 부담이라는 한계를 해결하기 위해, 짝을 이루는 병리조직학 데이터를 합성하는 여러 방법이 제안되었다. 그럼에도 이러한 프레임워크는 일반적으로 학습 중 구조적 제약을 부과하기 위해, 비록 양은 줄더라도 여전히 주석 데이터를 필요로 한다. 본 연구에서는 CHIS를 제안한다. CHIS는 사전학습된 확산 모델의 샘플링 궤적을 두 가지 핵심 단계—시작 시 구조적 초기화와 생성 중 텍스처 변조—를 통해 안내하는 플러그인 프레임워크이다. 초기 노이즈 상태는 주파수 영역에서 사전 마스크의 위상(phase) 정보와 가우시안 노이즈의 진폭(amplitude)을 융합하여 정교화되며, 이를 통해 구조적으로 정보가 반영된 시작점을 얻는다. 역방향 확산 과정 동안, 서로 다른 웨이블릿 분해 수준에서 거시적·미시적 텍스처를 모두 적응적으로 변조한다. 이를 통해 레이블 없는 이미지만으로 사전학습된 확산 모델이 참조 조직 스타일을 유지하면서 사전 구조 마스크와 일치하는 출력을 생성할 수 있다. 광범위한 실험을 통해 CHIS의 생성 충실도 우수성과 하류 분할 작업에 대한 상당한 이점을 입증하였다. 코드는 https://github.com/IBIL-Code/CHIS 에서 이용할 수 있다.
단일 도메인 일반화를 위한 적대적 도메인 프롬프트 튜닝 및 생성
Adversarial Domain Prompt Tuning and Generation for Single Domain Generalization
단일 도메인 일반화(SDG)는 학습에 단 하나의 도메인만 사용할 수 있는 상황에서도, 보지 못한 다양한 도메인에서 잘 작동하는 견고한 모델을 학습하는 것을 목표로 한다. 단일 도메인 일반화를 달성하기 위한 유망한 방향 중 하나는 데이터 증강 또는 이미지 생성을 통해 도메인 외(OOD) 학습 데이터를 생성하는 것이다. AI 생성 콘텐츠(AIGC)의 급격한 발전에 따라, 본 논문은 강력한 사전학습된 텍스트-이미지(T2I) 기반 모델을 활용하여 학습 데이터를 생성하는 방법을 최초로 제안한다. 그러나 가능한 모든 도메인에 대해 이미지를 생성하기 위해 텍스트 프롬프트를 수동으로 설계하는 것은 종종 비현실적이며, 일부 도메인 특성은 언어로 설명하기에는 너무 추상적일 수 있다. 이러한 과제를 해결하기 위해, 본 연구는 사전학습된 확산 모델을 위한 새로운 점진적 적대적 프롬프트 튜닝(Progressive Adversarial Prompt Tuning, PAPT) 프레임워크를 제안한다. 정적인 텍스트 도메인에 의존하는 대신, 본 접근법은 확산 모델의 조건으로 두 세트의 추상 프롬프트를 학습한다: 하나는 도메인 불변 범주(category) 정보를 포착하고, 다른 하나는 도메인 특유의 스타일을 모델링한다. 이 적대적 학습 메커니즘은 T2I 모델이 핵심 범주적 특징을 보존하면서 다양한 도메인 스타일의 이미지를 생성할 수 있게 한다. 광범위한 실험을 통해 제안 방법의 효과를 입증하였으며, 최신 단일 도메인 일반화 접근법들보다 우수한 성능을 달성하였다.
무주석 합성 데이터 생성에서 스타일 다양성의 중요성
The Significance of Style Diversity in Annotation-Free Synthetic Data Generation
의도 분류(intent classification)를 위한 고유틸리티 합성 데이터를 생성하는 데는 일반적으로 사람이 주석을 단 시드 데이터가 필요하지만, 이는 빠르게 변화하는 산업 현장에서는 종종 구하기 어렵습니다. 본 논문에서는 사람이 주석을 단 데이터를 전혀 사용하지 않고 오직 의도 정의(intent definitions)에만 의존하여 작동하는 합성 대화 생성 프레임워크를 제안합니다. 제안된 대화 생성 프레임워크는 데이터 다양성을 향상시키기 위해 두 가지 유형의 주제 및 스타일 속성을 활용합니다. 또한, LLM이 생성한 합성 발화를 더 다양하고 인간과 유사한 언어 스타일로 변환하기 위해 Univ와 Exam이라는 두 가지 새로운 사후 스타일화 모델을 제안합니다. 데이터 품질을 향상시키기 위해 LLM-as-a-judge 필터링 과정을 활용합니다. 산업 및 공용 데이터셋에 대한 실험 결과, 제안된 접근 방식이 사람이 주석을 단 학습 데이터를 사용하여 얻은 성능의 최대 93.3%를 달성함을 보여줍니다. 무엇보다 중요한 점은, 연구 결과가 스타일 다양성이 모델이 허위 스타일 상관관계를 학습하는 것을 방지하므로 합성 데이터의 유용성 측면에서 주제 다양성보다 더욱 중요하다는 것을 밝혀냈다는 것입니다. 더욱이, 이 연구는 생성 과정 중에 스타일 속성을 통합하는 것이 사후 스타일 적응보다 더 효과적임을 보여줍니다.
인터랙티브 게임플레이를 위한 코칭 가능한 에이전트
Coachable Agents for Interactive Gameplay
강화학습은 게임 플레이(Silver et al., 2016; 2017; Wurman et al., 2022)에서 로보틱스(Levine et al., 2016; Andrychowicz et al., 2020; Luo et al., 2025; D\"urr et al., 2026), 파운데이션 모델(Ouyang et al., 2022; Noukhovitch et al., 2024; Sun et al., 2024; Guo et al., 2025)에 이르기까지 첨단 AI 및 로봇 시스템을 만드는 데 유용한 도구임이 입증되었다. 이러한 AI 시스템은 시행착오를 통해 과제를 해결하는 단일한 근사 최적 행동을 학습하는 것이 일반적이다. 그러나 학습이 끝난 후에 과제를 해결하는 방식을 어느 정도 제어하고자 하는 사용 사례가 많다. 우리는 핵심 과제에 대한 이러한 수정을 스타일이라 부른다. 우리는 범용 가치 함수 근사기(UVFA)를 신중하게 선택한 학습 시나리오, 학습 알고리즘, 데이터 증강과 결합하여 복잡한 도메인에서 스타일을 보이는 에이전트를 코칭하기 위한 프레임워크를 만든다. 이 프레임워크의 적용을 AAA 비디오 게임인 Horizon Forbidden West와 Gran Turismo, 그리고 오픈소스 휴머노이드 테스트 도메인에서 시연한다. 자동차 레이싱, 양식화된 게임 전투, 휴머노이드 보행이라는 도메인의 상이한 성격에도 불구하고, 각 에이전트는 해당 도메인의 주요 과제를 충족하면서도 스타일 요청에 대한 강한 일관성을 보인다. 중요하게도 본 논문에서 설명한 기법은 최종 사용자가 실행 시점에 최종 행동을 선택할 수 있게 하여, 최종 수행 성능에 대한 유연한 제어를 제공한다.
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.