arXiv:2312.05176

MRI Scan Synthesis Methods based on Clustering and Pix2Pix

Giulia Baldini, Melanie Schmidt, Charlotte Zäske, Liliana L. Caldeira

제출 2023-12-08

원문 초록

We consider a missing data problem in the context of automatic segmentation methods for Magnetic Resonance Imaging (MRI) brain scans. Usually, automated MRI scan segmentation is based on multiple scans (e.g., T1-weighted, T2-weighted, T1CE, FLAIR). However, quite often a scan is blurry, missing or otherwise unusable. We investigate the question whether a missing scan can be synthesized. We exemplify that this is in principle possible by synthesizing a T2-weighted scan from a given T1-weighted scan. Our first aim is to compute a picture that resembles the missing scan closely, measured by average mean squared error (MSE). We develop/use several methods for this, including a random baseline approach, a clustering-based method and pixel-to-pixel translation method by Isola et al. (Pix2Pix) which is based on conditional GANs. The lowest MSE is achieved by our clustering-based method. Our second aim is to compare the methods with respect to the effect that using the synthesized scan has on the segmentation process. For this, we use a DeepMedic model trained with the four input scan modalities named above. We replace the T2-weighted scan by the synthesized picture and evaluate the segmentations with respect to the tumor identification, using Dice scores as numerical evaluation. The evaluation shows that the segmentation works well with synthesized scans (in particular, with Pix2Pix methods) in many cases.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13978v1cs.CV공통 태그 Segmentation, Clustering

원자적 움직임 기반 음악-춤 생성

Music-to-Dance Generation via Atomic Movements

음악 기반 춤 생성은 음악과 리듬적으로 동기화되고 의미적으로 일관된 인간 움직임을 생성하는 것을 목표로 한다. 최근 신경망 기반 접근법들은 인상적인 시각적 사실성을 달성했지만, 일반적으로 움직임을 연속 신호로 모델링하고 그 구성적 특성을 간과하여 생성된 춤이 구조적으로 비일관적이고 제어하기 어렵게 만든다. 본 연구에서는 안무를 원자적 움직임(atomic movements)의 시퀀스로 모델링하는 구조 인식 프레임워크를 제안한다. 원자적 움직임은 춤의 구성 요소로 작용하는 의미적으로 해석 가능한 동작 이벤트이다. 이 원자적 움직임 어휘를 구축하기 위해, 먼저 대규모 춤 데이터를 분할하고 이를 원자적 움직임 그룹으로 클러스터링한다. 그다음 대규모 언어 모델(LLM)을 사용해 클러스터에 의미적 재라벨링과 정제를 수행하여, 해석 가능하고 재사용 가능한 원자적 움직임 집합을 얻는다. 이러한 원자적 움직임 주석을 바탕으로, 인간의 안무 과정을 반영하는 2단계 생성 프레임워크를 설계한다. 원자적 움직임 계획 단계에서는, 모델이 입력 음악을 조건으로 원자적 움직임의 유형, 지속 시간, 타이밍을 예측하여 상징적 춤 배치를 형성한다. 완성 단계에서는, 전환 인식(transition-aware) 생성기가 계획된 구조를 조건으로 매끄럽고 스타일적으로 일관된 움직임을 합성한다. 광범위한 실험을 통해, 본 방법이 기존 베이스라인 대비 구조적 일관성, 리듬 정렬, 지각적 자연스러움에서 유의미하게 향상된 춤을 생성함을 보였으며, 명시적 구조 표현을 통해 해석 가능성과 제어 가능한 편집을 향상시킨다.

arXiv:2607.12468v1cs.SD공통 태그 Segmentation, Clustering

제2회 MLC-SLM 챌린지를 위한 Omnilingual-ASR 기반 Speech-LLM 시스템

An Omnilingual-ASR-Based Speech-LLM System for the 2nd MLC-SLM Challenge

제2회 MLCSLM 챌린지 Task 1에 대한 우리의 제출을 설명한다. DiariZen-Large-s80(WavLM-Large) 분할(segmentation), CAM++ 임베딩 기반 2화자 클러스터링, LoRA 적응 omniASR LLM 7B v2 인식기를 결합한 계단식 화자 분리(diarization)-후-인식 시스템이며, 테스트 시점에는 oracle 분할이나 화자 레이블을 사용하지 않는다. 공식 Development set(150개 대화, 21개 언어/억양 카테고리)에서 이 시스템은 macro tcpMER 29.27%를 달성했으며, 공식 기준선의 79.15%에 비해 낮다. Evaluation set에서는 50.23%를 기록했다. 또한 tcpMER에 실질적으로 영향을 미치는 두 가지 엔지니어링 선택을 분석한다. 첫째, 임베딩 기반 화자 클러스터링은 ASR <sc> 턴 마커만으로 화자를 할당하는 end-to-end 스타일 대안보다 우수하다. 둘째, 화자 분리 재현율을 높이려는 의도로 도입된 overlap-aware 분할은 겹치는 발화가 두 번 전사되기 때문에 tcpMER를 증가시킨다.

arXiv:2607.21426v2cs.LG공통 태그 Clustering

건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링

Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking

협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.