최근 의료 멀티모달 모델(multimodal model)은 더 큰 말뭉치, 더 넓은 모달리티 적용 범위, 강화된 추론 지향 학습(training)을 통해 발전해 왔으나, 지속 사전학습(continued pretraining, CPT) 및 사후 학습(post-training) 전반에 걸친 효과적인 데이터 설계는 여전히 어려운 과제로 남아 있습니다. 의료 데이터 소스는 구조, 세분성, 정보 밀도가 크게 다르며, 광범위한 지식 습득에서 후기 단계의 통합으로 학습이 진행됨에 따라 그 유용성도 변화합니다. 한편 사후 학습은 단답형 시각적 질문 답변(VQA)이 지배적인 경우가 많아 정보성이 높고 답변과 일치하는 설명을 위한 감독을 충분히 제공하지 못합니다. 본 논문에서는 단계 인식형 데이터 설계를 중심으로 구축된 4B 및 27B 규모의 범용 의료 멀티모달 기반 모델(foundation model) 패밀리인 InfiMed2를 소개합니다. 소스 맞춤형 처리를 통해 광범위한 임상 지식과 문맥이 풍부한 생물의학 시각적 근거를 결합한 556.8억(55.68B) 토큰(token) 규모의 말뭉치를 구축했습니다. 본 CPT 파이프라인은 먼저 비전 인코더를 적응시킨 다음 광범위한 의료 지식을 구축하고, 최종적으로 학습률 감쇠 단계에서 근거 중심의 데이터 혼합으로 전환합니다. 지도 미세조정(SFT)을 위해 답변 안정성, 답변 마스킹 재구성, 정확도 제약 선별을 활용하여 시각적 질문 답변 반응을 재생성함으로써 더 유익하고 답변 일관성을 갖춘 감독 신호를 생성합니다. 4B 모델은 검증 가능한 보상을 통한 강화학습(RLVR)으로 추가 최적화되었습니다. 5개 의료 멀티모달 벤치마크(benchmark) 전반에서 InfiMed2-4B는 RLVR 적용 후 66.73%의 평균 정확도를 달성하여 더 큰 규모의 Qwen3.5-9B를 능가했으며, InfiMed2-27B는 73.72%를 기록하여 평가된 오픈 가중치(open-weight) 모델 중 가장 높은 성능을 달성했습니다.
범용 구현형 에이전트(embodied agent)는 멀티모달 지시를 이해하고, 환경이 어떻게 변화할지 예측하며, 긴 시간 범위에 걸쳐 정밀한 제어 행동을 생성해야 한다. 기존 접근법들은 대개 시각-언어 추론, 비디오 기반 월드 모델링, 또는 행동 생성 중 하나에 특화되어 있으며, 미래 관측을 먼저 합성한 뒤 행동을 추론하는 캐스케이드 파이프라인은 인터페이스 병목과 오류 누적을 야기할 수 있다. 우리는 비전(비디오 및 이미지), 언어, 행동을 단일 Omni 프레임워크 내에서 통합적으로 모델링하는 통합 멀티모달 파운데이션 모델 iFLYTEK-Embodied-Omni를 제안한다. 모달리티별 시각-언어, 비디오 생성, 행동 생성 컴포넌트는 공유된 멀티모달 셀프-어텐션을 통해 상호 소통한다. 이 설계는 뇌-소뇌 협업 구조를 구현한다: 시각-언어 모델(VLM)과 비디오 생성 모델(VGM)은 지시 이해, 태스크 계획, 진행 추적, 미래 시각 상태 예측을 담당하는 고수준 뇌를 형성하며, 행동 생성 모델(AGM)은 계획된 서브골과 공유 멀티모달 컨텍스트를 실행 가능한 행동 청크로 직접 변환하는 저수준 소뇌 역할을 한다. 이러한 능력을 개발하기 위해, 사람 시연 및 로봇 상호작용으로부터 수집한 행동 주석 포함·미포함 구현형 비디오를, 구현형 추론, 구현형 지각, 범용 이미지-텍스트 데이터와 결합하여 포괄적인 데이터셋을 구성하였다. 또한 VLM, VGM, AGM을 순차적으로 학습한 뒤 전체 모델을 공동 미세조정하는 4단계 학습 전략을 채택하였다.
산업 규모의 동영상·라이브 스트리밍 콘텐츠 모더레이션을 위한 AVLM(오디오-비주얼-언어 모델) 개발 과정에서 발생하는 배포 실패를 체계적으로 진단하기 위해, TikTok 연구팀은 관측 가능한 실패 유형을 분류 체계(taxonomy)로 매핑하고 각 유형에 대응하는 개발 개입(intervention) 공간을 연결하는 진단 방법론을 제안한다. 이 방법론을 3단계 학습 파이프라인을 갖춘 AVLM 파운데이션 모델의 전체 개발·정렬 라이프사이클에 적용한 결과, 100개 이상의 지역에서 발생하는 노이즈가 많고 다양한 플랫폼 트래픽을 처리하는 시스템을 구축하였다.
유전자 알고리즘으로 3D 유기 형태를 생성하는 Organic과 Gemini 파운데이션 모델을 결합한 Evolution Foundation(EvolF) 프레임워크를 제안하며, 멀티모달 AI 에이전트가 단계별 미적 선별을 담당해 예술가는 직접 큐레이션 대신 시스템 설계와 의미적 목표 설정에 집중할 수 있게 한다. AI의 미적 추론 감사 추적과 대화형 시각화·진화 서사를 통해 다차원 진화 매개변수 공간에서 의미적 목표에 맞는 미적으로 만족스러운 3D 형태를 탐색할 수 있음을 보인다.