Cross-domain feature disentanglement for interpretable modeling of tumor microenvironment impact on drug response
원문 초록
High-throughput screening technology has facilitated the generation of large-scale drug responses across hundreds of cancer cell lines. However, there exists significant discrepancy between in vitro cell lines and actual tumors in vivo in terms of their response to drug treatments, because of tumors comprise of complex cellular compositions and histopathology structure, known as tumor microenvironment (TME), which greatly influences the drug cytotoxicity against tumor cells. To date, no study has focused on modeling the impact of the TME on clinical drug response. This paper proposed a domain adaptation network for feature disentanglement to separate representations of cancer cells and TME of a tumor in patients. Two denoising autoencoders were separately used to extract features from cell lines (source domain) and tumors (target domain) for partial domain alignment and feature decoupling. The specific encoder was enforced to extract information only about TME. Moreover, to ensure generalizability to novel drugs, we applied a graph attention network to learn the latent representation of drugs, allowing us to linearly model the drug perturbation on cellular state in latent space. We calibrated our model on a benchmark dataset and demonstrated its superior performance in predicting clinical drug response and dissecting the influence of the TME on drug efficacy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.
AWR-Net: 3차원 태아 뇌 초음파 합성을 위한 해부학적 구조와 외형 분리
AWR-Net: Decoupling Anatomy and Appearance for 3D Fetal Brain Ultrasound Synthesis
3차원 태아 뇌 초음파(ultrasound)는 비전리 방사선이며 비용 효율적인 영상 기법으로, 포괄적인 해부학적 평가를 위한 풍부한 공간 정보를 제공하지만, 데이터와 주석(annotation)의 부족으로 인해 그 발전이 제한되어 왔다. 이와 대조적으로, 태아 뇌 자기공명영상(magnetic resonance imaging, MRI)은 더 큰 데이터셋과 성숙한 분석 방법에 힘입어 더 발전된 상태이다. 이러한 자원을 활용하기 위해, 해부학적 레이블 맵(label map)은 태아 뇌 MRI에서 초음파로 지식을 전이하기 위한 유망한 모달리티 불변(modality-invariant) 가교 역할을 한다. 그러나 해부학적 구조가 초음파의 외형과 밀접하게 얽혀 있기 때문에 레이블 맵으로부터 초음파 영상을 생성하는 것은 여전히 어려운 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 해부학적 대응 관계 학습과 초음파 외형 적응을 데이터 수준과 모델 수준 모두에서 분리한다. 구체적으로, 우리는 웨이블릿 확산(wavelet diffusion)과 잔차 정제(residual refinement)를 결합한 2단계 프레임워크인 해부학적 웨이블릿 잔차 네트워크(anatomy wavelet residual network)를 제안한다. 첫 번째 단계는 웨이블릿 영역에서 아틀라스(atlas) 쌍을 이용해 레이블 맵으로부터 볼륨을 생성하도록 학습하고, 두 번째 단계는 이미지 영역에서 실제 임상 초음파로부터 유계(bounded) 잔차 보정을 학습한다. 이러한 분리를 통해 정상 및 비정상 해부학적 구조를 일관되게 보존하면서 사실적인 합성이 가능해진다. 실제 태아 뇌 초음파에 대한 실험 결과, 제안하는 방법은 대표적인 합성 방법들보다 우수한 성능을 보였으며, 정규화된 상호상관(normalized cross correlation)은 0.518로 가장 강력한 기준선(baseline)의 0.482 대비 우수했고, 프레셰 인셉션 거리(Fréchet Inception Distance)는 8.905로 가장 강력한 기준선의 13.319 대비 우수했다. 합성 품질을 넘어, 태아 뇌 MRI 레이블 맵으로부터 생성된 볼륨은 특히 중증 비정상 사례에서 다운스트림 분할(segmentation) 성능도 향상시켰다. 종합적으로, 이러한 결과는 제안된 프레임워크가 풍부한 태아 뇌 MRI 자원을 활용하여 3차원 초음파 분석을 발전시킬 잠재력을 지니고 있음을 보여준다.
VISTA: 비디오가 주입된 양식화 텍스트-애니메이션 생성
VISTA: Video-Injected Stylized Text-to-Animation
본 논문에서는 함께 쌍을 이루는 (텍스트, 비디오, 양식화된 모션) 트리플렛(triplet) 없이도 텍스트 프롬프트의 구조적 콘텐츠와 참조 비디오의 표현력 있는 스타일을 융합하여 양식화된 3D 인간 모션을 생성하는 2단계 프레임워크인 VISTA를 제시한다. 먼저 Dual-channel Autoencoder가 모션 시퀀스와 비디오 클립을 공유 잠재 다양체(latent manifold)로 매핑한다. 그런 다음 마스크된 자기회귀 확산(masked autoregressive diffusion) 백본이 이 다양체 내에서 작동하며, 텍스트 조건화된 콘텐츠 구조를 보존하면서 전용 후기 융합(late-fusion) Dual-AdaLN 경로를 통해 비디오 유래 스타일을 주입한다. 잠재 순환 일관성(latent cycle consistency)을 갖춘 교차 배치(cross-batch) 비쌍형 학습(unpaired training) 프로토콜은 의미론적으로 풍부한 데이터셋과 스타일적으로 다양한 분리된 데이터셋 전반에 걸친 공동 학습을 가능하게 한다. 제어 가능한 애니메이션 합성의 개념 증명으로서, 렌더링된 모션 캡처 참조를 통해 VISTA를 검증했다. VISTA는 비디오 조건부 방법 중 가장 높은 스타일 인식 정확도를 달성하는 동시에 경쟁력 있는 콘텐츠 정렬을 유지하며, 분해된 3방향 분류기 없는 유도(classifier-free guidance)를 통해 추론(inference) 시 사용자가 콘텐츠-스타일 균형을 독립적으로 제어하며 보정할 수 있도록 지원한다.
감정 프롬프트를 넘어: Valence-Arousal-Dominance 기반 세밀한 텍스트-투-이미지 생성
Beyond Emotion Prompts: Fine-Grained Text-to-Image Generation Driven by Valence-Arousal-Dominance
텍스트-투-이미지 모델은 대상과 장면을 정확히 묘사할 수 있지만, 창작자는 내용 설명을 다시 쓰지 않고도 이미지가 전달해야 할 세밀한 감정을 지정하기 어렵다. 자연어로 감정을 암시할 수는 있으나, 의미가 안정적이고 강도가 서열화된 제어 척도를 제공하지 않는다. 우리는 EMOTRANS를 제안한다. 이는 심리학적으로 정립된 valence-arousal-dominance(VAD) 좌표를 내용 텍스트와 독립적인 생성 조건으로 변환하고, 디노이징(denoising) 단계 전반에 걸쳐 변조하여 감정적 스타일을 세밀하게 조절 가능한 창작 변수로 만든다. 이 목표를 위해 객관적 내용 설명과 여러 annotator가 별도로 수집한 감정 평가를 짝지은 예술 회화 데이터셋 EMOVAD를 구축한다. 또한 공유 모델을 이용한 이중 분기 학습(dual-branch training)으로 감정 표현과 내용 보존을 조율한다. 객관적 평가와 인간 평가는 이 프레임워크가 3차원 감정 제어의 정확도를 향상시키고, 경쟁력 있는 텍스트 정렬 및 이미지 품질을 유지하면서 지각 가능하고 서열화 가능한 연속적 변화를 만들어냄을 보여준다. 본 연구는 객관적 내용 묘사를 세밀한 감정 조절로 확장하는 실용적인 감정 기반 이미지 생성 접근법을 제공한다.
견고하고 주석 효율적인 식물 스트레스 표현형 분석을 위한 섭동 인식 확산 가이드 하이브리드 분할
Perturbation-Aware Diffusion-Guided Hybrid Segmentation for Robust and Annotation-Efficient Plant Stress Phenotyping
농업 영상에서의 의미 분할(semantic segmentation)은 종종 도메인 내(in-domain) 프로토콜 하에서 평가되지만, 실제 배포에서는 외관 섭동, 제한된 주석, 교차 도메인(cross-domain) 이동에 대한 견고성이 필요하다. 본 논문은 U-Net, DeepLabV3+, SegFormer 백본이 거친 마스크를 생성하고, 이를 Denoising Diffusion Probabilistic Models (DDPM), 잠재 확산(latent diffusion), 또는 의미 가이드 확산(semantic-guided diffusion)으로 정제하는 확산 가이드 하이브리드 분할 프레임워크를 제안한다. 해당 프레임워크는 PlantSegV3에서 3x3 아키텍처 스크리닝 연구를 통해 평가되며, 이어 경계 제약 최적화, 섭동 가이드 재학습, 저데이터 평가, 제약 하이퍼파라미터 스크리닝, 통제된 교차 도메인 적응을 수행한다. PlantSegV3에서 최고로 선정된 하이브리드 모델은 정제된 평균 Intersection-over-Union (mIoU) 71.83%와 정제된 Boundary-F1 26.10%를 달성하며, 선정된 모델들은 감독을 대폭 줄인 조건에서도 안정성을 유지하여 강한 주석 효율성을 보여준다. 섭동 분석은 그레이스케일 변환, 안개, 거친 드롭아웃, 그림자를 가장 파괴적인 외관 변화로 식별하며, 그에 따른 증강 정책이 재학습 동안 견고성을 크게 향상시킨다. 적응된 모델은 제한된 타깃 감독 하에서 외부 농업 데이터셋으로의 효과적인 전이를 추가로 보여주며, 이는 확산 정제와 경계 인식 최적화가 전이 가능한 구조적 사전(prior)을 제공함을 시사한다. 전반적으로, 결과는 섭동 인식 재학습과 결합된 신중하게 매칭된 백본-정제기 쌍이 현실적인 자원 및 분포 제약 하에서 구조적 윤곽화와 견고성을 개선할 수 있음을 보여준다.
RODR: 분리된 매니폴드 표현을 위한 리만 직교 분리 정규화
RODR: Riemannian Orthogonally Decoupled Regularization for Disentangled Manifold Representation
포인트 클라우드 노이즈 제거는 본질적으로 기하학적 복원 과제로, 노이즈가 있는 이산 ambient-space 샘플로부터 R^3에 임베드된 매끄러운 2차원 리만 매니폴드의 고유 구조를 재구성하는 것을 목표로 한다. 기하학적 표현 학습에서 현대의 매니폴드 인식 인코더와 생성적 수송(transport) 모델이 눈부신 진전을 이뤘음에도, 근본적인 목표-기하학 불일치는 여전히 충분히 탐구되지 않았다. 이론적으로, 우리는 이러한 불일치된 결합이 기하학적 그래디언트 간섭을 유발하며, 상충하는 최적화 목표가 구조적 열화와 포인트 군집화를 초래함을 확인했다. 우리는 법선(fitting) 성분과 접선(distribution) 성분을 분리함으로써 최적화 궤적을 재구성하는 리만 직교 분리 정규화(RODR)를 제안한다. 벡터-어텐션 및 엔트로피 인식 적응형 전략의 안내 하에, RODR은 샘플링 균일성을 유지하면서 고충실도 기하학적 세부를 효과적으로 보존한다. 실험 결과 RODR은 최신(state-of-the-art) 베이스라인에 필적하는 성능을 달성하며, 분포 규칙성의 개선과 국소적 응집의 효과적 감소를 시사한다. 본 연구는 포인트 클라우드 처리에서 분리된 기하학적 최적화를 위한 범용적이고 해석 가능한 프레임워크를 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.