본 논문에서는 다중모달 상호작용(multimodal interplay)을 중심으로 구축된 대규모 다중모달 모델(large multimodal model)의 새로운 패러다임인 Gestalt를 제안합니다. 급격한 발전에도 불구하고 기존 대규모 다중모달 모델들은 병목에 직면하고 있습니다. 기존 접근 방식들은 각 모달리티의 고유한 특성과 모달리티 간의 관계를 간과한 채 주로 추가적인 모달리티를 수용하는 데만 집중하기 때문입니다. 인간의 다감각 지각이 지닌 다단계 특성에 착안하여, 본 연구는 모달리티별 처리에서 시작하여 교차 모달 정렬(cross-modal alignment)을 거쳐 더 깊은 다중모달 통합으로 나아가는 과정으로 다중모달 모델링을 체계화하는 다중모달 상호작용 피라미드(multimodal interplay pyramid)를 제안합니다. 이 피라미드를 기반으로 Gestalt는 통합된 이산 확산(discrete diffusion) 프레임워크와 상호작용 분할 구조를 채택하며, 학습 가능한 상호작용 토큰이 교차 모달 교환 및 통합을 매개하도록 합니다. 또한 이 피라미드는 데이터 구성 및 학습 전략도 체계화합니다. 이미지 생성, 다중모달 이해, 텍스트 전용 평가 전반에 걸친 뛰어난 성능은 Gestalt가 모달리티별 정보를 보존하면서 교차 모달 통합을 크게 향상시키고, 확산 기반 다중모달 모델의 장점을 효과적으로 활용하여 통합 다중모달 인공지능을 향한 유망한 경로를 제시함을 보여줍니다. 프로젝트 페이지: https://GeWu-Lab.github.io/Gestalt
최근, 대규모 언어 모델(LLM)은 탁월한 적응력과 추론 능력 덕분에 무선 통신, 로보틱스, 자율주행 차량을 포함한 다양한 분야에서 성공적으로 활용되고 있다. 이러한 큰 잠재력에도 불구하고, 이동성 관리에 LLM을 적용하는 연구는 상대적으로 드문데, 이는 무선 측정값 분석뿐만 아니라 동적 사용자 궤적 예측 및 조밀하게 배치된 소형 기지국(SBS) 간 실시간 핸드오버 결정이 요구되기 때문이다. 본 논문에서는 LLM의 기능을 멀티모달 센싱 데이터 처리로 확장한 대규모 멀티모달 모델(LMM)을 기반으로 하는 환경 인식 이동성 관리 기법을 제안한다. LMM을 활용하여, 제안된 기법은 RGB-D 이미지로부터 주변 환경에 대한 맥락 정보를 추출함으로써 사용자 장치(UE)의 이동 패턴을 파악하고, 정적 반사체 및 동적 장애물로 인한 신호 반사 및 차단을 식별한다. 추출된 환경 정보를 바탕으로, 제안된 기법은 UE 및 SBS 위치로부터 채널 용량으로의 내재적 매핑을 학습하며, 이를 채널 용량 맵(CCM)이라 하고, 이로부터 UE 궤적을 따른 미래 채널 용량을 예측한다. 예측된 채널 용량에 기반하여 누적 채널 용량을 최대화하는 선제적 핸드오버 결정을 수행한다. 시뮬레이션 결과는 제안된 기법이 기존의 심층 학습(DL) 기반 접근법 대비 상당한 채널 용량 향상을 달성함을 보여준다.
클라우드 호스팅 대규모 멀티모달 모델(LMM)은 차량과 모든 것의 연결(V2X) 시스템에 강력한 오픈 어휘 인식을 제공할 수 있지만, 엣지에서 클라우드로 전체 해상도 프레임을 단순히 전송하면 심각한 통신 오버헤드와 높은 클라우드 측 프리필 지연 시간이 발생합니다. 본 논문에서는 엣지-클라우드 인식을 위한 클라우드 지원 대역폭 효율적 LMM 기반 인코딩 프레임워크인 CABLE를 제안합니다. CABLE는 에고 모션 보상을 사용하여 엣지에서 이전 클라우드 세그멘테이션 마스크를 전파하고, 잔차 운동 단서로 이를 정제하며, 코리더 엔벨로프를 통해 연결되지 않은 영역을 통합하여 강건한 관심 영역(ROI)을 형성합니다. ROI 마스크가 적용된 이미지만 업로드되며, 클라우드 세그멘테이션 출력은 다음 프레임에 대한 사전 정보(prior)로 피드백되어 마스크-ROI-LMM 피드백 루프를 형성합니다. 5개 데이터셋(nuScenes, WOD-ZB, Waymo, KITTI, CADC)에 대한 실험 결과, 인식 능력을 대부분 유지하면서 일관된 통신 절감 효과를 보여주었습니다. 전체 프레임 추론에 비해 검출 품질의 약간의 트레이드오프를 통해 $73$--$87\%$의 ROI 픽셀 커버리지 감소와 $5$--$8\times$의 추정 LMM 프리필 속도 향상을 달성했습니다.