주의 산만이나 스트레스와 같은 사람의 인지 상태, 시선, 행동은 운전 환경과 복잡하게 상호작용한다. AI는 이를 바탕으로 운전자를 지원할 수 있으나, 인지 상태의 수준을 나타내는 정답 레이블을 대규모로 수집하려면 비용이 많이 든다. 운전 능력 저하 예측에 자기지도 목적함수를 추가한 멀티모달 마스크 확산 오토인코더 ID-MAE를 제안한다. 마스킹된 토큰으로 주어진 능력 저하 레이블을 예측하는 동시에 마스킹된 시선과 주행 궤적도 복원한다. 모달리티와 능력 저하 유형이 추론에 미치는 영향을 살펴보기 위해 주행 시뮬레이터 데이터셋 DIVERT를 소개한다. 참여자 109명의 주행 데이터 103시간으로 구성되며, 인지·시각·정서 상태에 영향을 주는 10가지 조건 아래 시선, 차량 상태, 장면 영상을 기록했다. ID-MAE는 DIVERT와 기존 데이터셋 모두에서 운전 능력 저하 추론 성능을 크게 개선했으며, 주행 궤적과 시선 예측 등 추가 과제에서도 높은 성능을 보였다. DIVERT에서 위치를 맞춘 사례 쌍으로 운전 능력 저하를 탐지한 결과, 제안 모델의 쌍별 AUC는 0.706이었다. 복원 손실을 쓰지 않았을 때의 0.590 및 기존 기준선보다 높았다. 입력 모달리티, 마스킹 방식, 위치 인코딩, 어텐션 메커니즘, 디코딩을 바꾸며 설계 선택지를 조사했다. 학습과 추론에서 여러 유형의 능력 저하가 어떻게 상호작용하는지도 검토했으며, 시각적 부담이 큰 주의 분산이 인지적 주의 분산과 구별될 수 있음을 보였다. 코드와 데이터는 논문이 채택되면 공개할 예정이다.
제한된 관측에서 구조화된 건물 모델을 만드는 일은 3D 도시 모델링과 디지털 트윈에 필수적이다. 같은 건물을 관측한 부분 점군은 불완전한 3D 표면 측정값을 제공한다. 상공 영상은 건물의 평면 윤곽, 지붕 기하 구조, 옥상 구조물에 관한 시각적 단서를 제공한다. 따라서 기하 및 시각 단서를 3D 공간에서 정렬해 한 모달리티나 두 모달리티 모두에서 건물을 재구성하는 통합 프레임워크를 만들 수 있다. 이 연관성을 바탕으로 부분 점군, 상공 영상, 또는 둘 모두로 상세 수준 2(LoD2)의 건물을 재구성하는 통합 모델 Any2Building을 제안한다. 필요하면 대략적인 기하 사전 정보를 추가할 수 있다. 핵심은 점유 정보를 기반으로 한 공유 공간 쿼리 표현이며, 사용 가능한 관측을 공통 3D 격자 안에 배치한다. 완전한 건물 표면 복셀로 지도한 쿼리는 관측 근거를 목표 형상과 연결한다. 이를 바탕으로 공유 생성기가 여러 과제에 공통된 구조 사전 정보를 학습할 수 있으며, 누락된 구조를 복원할 때 쓸 공간 단서를 얻는다. 이후 학습된 복셀 조건부 표면 생성과 저폴리곤 메시 재구성 파이프라인이 예측한 구조를 간결한 LoD2 건물 모델로 변환한다. 이 프레임워크를 지원하기 위해 18개 도시의 부분 점군, 상공 영상, LoD2 건물 모델을 서로 짝지은 표본 약 100만 건으로 구성한 BuildingWorld-Image를 소개한다. 여러 벤치마크에서 Any2Building은 단일 및 다중 모달리티 점군 완성, 단일 영상에서의 건물 생성, 사전 정보를 활용한 생성에서 기존 방법보다 기하 재구성 정확도가 높았다. 점군 입력의 품질이 낮아져도 세부 구조를 안정적으로 복원했다.
대규모 로봇 시뮬레이션에는 물리 특성을 시뮬레이터에서 구현할 수 있고 실제와 유사하게 상호작용하는 다양한 변형 가능 물체가 필요하다. 그러나 기존 3D 에셋 모음은 주로 시각적 다양성에 초점을 두며, 물리 모델을 대규모로 구성하고 검증하기는 여전히 어렵다. 시뮬레이션으로 검증한 에셋 83,365개로 구성된 대규모 데이터셋 RFW-S를 소개한다. 부드러운 고체, 천 시트, 얇은 껍질 구조, 의류, 가방이라는 다섯 가지 구조 유형에 걸쳐 일상 물체 485개 범주를 담는다. 참조 자료에 따른 3D 생성, 구조를 고려한 물리 모델링, 대규모 언어 모델(LLM)이 지원하는 매개변수 추정과 보정을 결합한 자동화 파이프라인을 개발했다. 물리 응답의 신뢰성을 확인하기 위해 매개변수 보정에 쓰지 않은 별도의 상호작용 조건에서 물체의 동작을 평가하는 독립 시뮬레이션 검증 방식을 도입했다. 여러 실험에서 독립 검증의 효과를 입증하고, 물리적 설정에 따라 변형 응답이 어떻게 달라지는지 분석했다. 로봇의 물체 집기를 과제 성공 여부와 물체의 손상 여부로 평가했다. 깨지기 쉬운 물체의 조작을 시뮬레이션에서 실제 환경으로 옮겨 재현해 모의 물체의 물리적 사실성도 입증했다. RFW-S는 물리적 근거가 있는 시뮬레이션과 체화 로봇 학습을 대규모로 수행할 토대를 제공한다.
다중 교사 온-정책 증류(MOPD)에서는 학생 모델 하나가 스스로 생성한 응답에서 학습해 여러 도메인 교사의 능력을 흡수할 수 있다. 이미지 기반 STEM, 이미지 인식, 비디오라는 세 추론 영역에서 비전-언어 모델(VLM)을 사후 학습하는 완전 공개 방법 M3OPD-Reasoner(Multimodal Model Multi-Teacher On-Policy Distillation Reasoner)를 제시한다. 지도 미세조정(SFT)용 M3OPD-SFT-1.35M과 검증 가능한 보상 기반 강화학습(RL)용 M3OPD-RL-193K를 구성했다. 두 데이터셋에서 Qwen3.5-9B로 시작하는 여러 사후 학습 방법을 비교한다. 하나는 모든 도메인의 혼합 데이터에 모델 하나를 학습하는 방법(MixSFT와 MixRL)이다. 다른 방법은 그룹 시퀀스 정책 최적화(GSPO)를 바로 적용하거나 SFT 예열 뒤에 적용해 도메인마다 교사를 하나씩 학습하고, MOPD로 교사들을 학생 하나에 증류한다. 학습 데이터에서 평가 문항의 오염을 제거한 뒤 이미지 기반 STEM, 이미지 인식, 비디오 추론 벤치마크 21개에서 평가했다. Qwen3.5-9B에 바로 GSPO를 적용해 얻은 교사들을 MOPD로 증류하는 방식이 가장 우수했다. 학생은 각 교사의 도메인에서 해당 교사와 비슷한 성능을 냈으며, 같은 프롬프트에서 혼합 학습 기준선보다 평균적으로 높은 성능을 보였다. MOPD는 MixRL이 별도로 학습해야 할 도메인 능력을 이미 결합하므로 학생 모델은 RL의 더 나은 출발점이 된다. 같은 데이터로 더 개선할 수 있는지 보기 위해 동일한 프롬프트와 설정으로 MOPD 학생에 MixRL을 추가했다. 우리가 아는 한 기존 VLM 학습 방법에서 이 조합을 연구한 사례는 없다. 같은 프롬프트가 붕괴를 일으키지 않고 MOPD 학생을 추가로 개선해 주 모델인 M3OPD-Reasoner-9B를 얻었다. 따라서 MOPD와 MixRL을 연속된 단계로 적용하면 같은 데이터에서 더 큰 학습 효과를 얻을 수 있다. 모든 데이터와 학습 코드, 각 단계의 체크포인트를 공개한다.
인식 오류가 모두 계획기의 행동을 바꾸는 것은 아니다. 그러나 적응형 해상도 인식은 이미지 단서로 고해상도 연산을 어디에 쓸지 결정한다. 이러한 단서만으로는 저해상도에서 놓친 객체를 신뢰성 있게 찾거나 어떤 객체가 계획기의 결정에 영향을 주는지 알기 어렵다. 실제 객체를 보기 전에도 가상의 객체를 특정 위치에 넣어 행동이 바뀌는지 확인하면, 계획기가 객체에 반응할 위치를 알아낼 수 있다. 의사결정 기반 추측 인식(DGSP)은 저해상도 장면과 그에 따른 행동을 초안으로 삼고, 이런 방식으로 계획기를 시험해 의사결정 민감도 영역을 얻는다. 이 영역은 아직 감지하지 못한 객체가 나타났을 때 행동이 바뀔 위치를 뜻한다. 이 영역과 현재 행동의 근거가 된 탐지 결과만 고해상도에서 검증하며, 행동이 안정될 때까지 반복한다. 계획기 두 계열에 대해, 잘라낸 영역에서의 탐지가 전체 프레임에서의 탐지와 일치하고 해당 영역들이 민감도 영역을 모두 덮으면 DGSP가 전체 프레임 고해상도 인식과 동일한 행동을 반환함을 증명한다. 실제 이미지는 이 조건을 근사적으로 충족한다. 주행 데이터셋 세 개에서 DGSP는 약 4분의 1의 픽셀만 사용해 약 98%의 프레임에서 이 행동을 재현했다. 균일하게 해상도를 낮춘 방식과 같은 픽셀 수를 사용할 때, 고해상도 행동과 다른 초안의 결정을 더 많이 교정했고, 잘못 제동한 경우가 줄었으며, 초안이 놓친 의사결정 관련 객체를 훨씬 더 많이 복원했다.
시각적 대리 표현은 명시적인 월드 상태 시뮬레이션과 실사 수준의 영상 합성을 분리한다. 이를 통해 오프라인 영상 제작과 실시간 대화형 스트리밍을 제어할 수 있다. 실제로 사용할 렌더러에는 두 가지 과제가 있다. 앞 단계에서 오는 대리 표현은 상호작용에 따라 대략적인 배치부터 관절 움직임을 표현한 세밀한 기하 구조까지 다양하다. 스트리밍 추론은 적은 수의 인과적 단계만 사용하면서도 자체 생성한 이력에 드리프트가 누적되지 않아야 한다. 구조적 대리 표현, 외관 참조, 언어를 공통 조건으로 받아들이는 Invoker-Render를 제안한다. 양방향 영상 생성 모델과 인과적 4단계 스트리밍 모델을 결합한다. 서로 정렬된 약 200시간 분량의 여러 세분화 수준의 말뭉치로 학습했다. 세밀한 기하 제약이 주어지면 이를 따르고, 대략적인 대리 표현만 주어지면 그럴듯한 국소 움직임을 생성한다. 따라서 실행 중 입력의 세부 수준을 선택할 수 있다. 생성 단계 압축과 롤아웃 드리프트가 겹치지 않으면서 양방향 생성과 실시간 스트리밍을 연결하기 위해 점진적 포싱(ProForcing)을 도입한다. 먼저 인과적 예측기를 학습하고 학습 영상에서 만든 이력을 사용해 4단계 렌더러로 증류한다. 이후 학습에서 연속적으로 자체 생성한 롤아웃을 사용한다. 파이프라인 방식의 서빙 시스템으로 스트리밍 추론을 효율적으로 수행한다. 실험에서는 다양한 대리 표현 유형, 세부 수준, 카메라 경로에서 제어할 수 있었고 최근 스트리밍 기준선보다 일관되게 나은 결과를 보였다. 30분 길이의 레이싱 롤아웃에서도 장면과 피사체의 외관을 안정적으로 유지했다.
주행 월드 모델은 차량의 센서가 앞으로 기록할 내용을 예측한다. 대부분 카메라 영상을 예측하고 일부는 라이다도 다룬다. 어둠이나 일부 악천후에서도 관측할 수 있는 열화상 카메라를 예측하는 경우는 드물며, 우리가 아는 한 세 센서를 모두 예측하는 월드 모델은 없었다. DSERT-RoLL 데이터셋의 실제 악천후 시퀀스에서 RGB, 열화상, 라이다의 공동 예측을 연구한다. 사전학습한 비디오 월드 모델을 센서별로 사후 학습한다. 라이다는 RGB 카메라에 정렬한 깊이 비디오로 표현하고, 모델의 비디오 토크나이저가 복원할 수 있는 범위에 맞춰 조밀화와 인코딩 방법을 정한다. 세 센서를 함께 처리하는 모델은 모두를 하나의 비디오로 입력받는다. 라이다는 실제 반사 관측값과 비교해 미터 단위로 평가하고, 모델과 같은 토크나이저를 거친 지속성 기준선과 비교한다. 이처럼 조건을 맞추자 안개에서 열화상 모델이 지속성 기준선보다 낮았던 성능 차이가 사라졌다. 여섯 기상 조건의 검증 시퀀스 58개 전체에서 사후 학습한 RGB와 열화상 예측은 압축 조건을 맞춘 지속성 기준선을 앞섰다. 공동 학습은 카메라 영상의 충실도를 소폭 낮추는 대신 2초 후의 라이다 오차를 2.1m 줄였다. 평균 라이다 오차에서 지속성 기준선보다 우수한 모델은 세 센서를 함께 처리하는 모델뿐이었다. 센서 하나의 입력을 비우면 나머지 센서의 예측 성능이 안개보다 눈에서 더 나빠졌다.
CAD 모델을 가공 프로그램으로 바꾸려면 공정 지식과 기하학적 정밀도가 모두 필요하다. 언어 모델은 부품마다 기하 구조와 공구 경로를 정의하는 코드를 작성해 가공 절차를 만들 수 있다. 그러나 이 경우 수치 연산의 실행까지 모델의 과제가 된다. 가공 결정을 기하학적 실행 및 검증과 분리하는 에이전트 MillBill을 소개한다. 경계 표현으로 나타낸 부품, 가공 소재의 형상, 재질을 입력받아 로컬에서 실행되는 중간 규모의 공개 모델이 인덱싱 3축 가공용 작업과 절삭 매개변수를 제안한다. 기하학적 실행 환경은 공구 경로를 생성하고 소재 제거를 시뮬레이션한 뒤 계획을 개선할 피드백을 반환한다. 가공 셋업을 계획할 때는 부위가 보이는지에 더해 사용 가능한 절삭 공구가 실제로 닿을 수 있는지 고려한다. 모의 가공 뒤 지정한 공차에 들어오는 목표 표면적의 비율로 프로그램을 평가했다. 시험한 가공 과제에서 Qwen3.8-27B를 사용한 MillBill은 기하 구조와 공구 경로 처리 절차를 직접 만드는 최첨단 모델 기반 접근법보다 우수했다. 코드는 https://github.com/kulibinai/millbill 에 공개되어 있다.
CAD 실무자는 외부 서비스와 공유하기 어려운 독점 부품을 자주 다룬다. 개인이나 소기업이 내부에서 이 작업을 수행하려면 감당할 수 있는 연산 자원도 필요하다. 메시에서 편집 가능한 CAD를 재구성하는 공개 소스 에이전트 CADMAGEDDON을 소개한다. GPU 한 장을 장착한 시스템이나 최신 노트북에서 로컬로 실행할 수 있다. 복잡한 과제를 무엇을 만들고 무엇을 고칠지 판단하는 단순한 시각 결정의 연쇄로 나눈다. 정밀한 구성은 기하 도구가 지원하므로 에이전트는 시각 추론에 집중한다. 중간 규모의 Qwen3.8-27B를 사용한 CADMAGEDDON은 주요 벤치마크 전체에서 최첨단 모델 기반 시스템을 포함한 기존 방법보다 재구성 품질이 높았다. FreeCAD와 통합돼 실무자의 기존 CAD 워크플로에서 재구성 결과를 사용할 수 있다. 코드는 https://github.com/kulibinai/cadmageddon 에 공개되어 있다.
애니메이션 3D 블록아웃은 사전 시각화에 쓰이며 비디오 생성에 구조 조건을 제공한다. 그러나 참조 영상에서 수작업으로 재구성하는 데 비용이 많이 들어 창작자가 활용하기 어렵고, 영상과 블록아웃을 짝지은 학습 데이터도 만들기 어렵다. 카메라 움직임, 공간 배치, 캐릭터의 위치와 동선을 평가할 수 있도록 영화 샷 50개와 키프레임 416개로 이루어진 MAVEBench를 소개한다. 실제 단위의 관측, 에이전트형 모델링, 근거 기반 검증을 결합해 비디오를 블록아웃으로 바꾸는 MAVE를 제안한다. 먼저 카메라, 사람의 움직임, 기하학적 근거를 실제 단위의 공통 좌표계에서 복원한다. 에이전트는 관측에서 얻은 제약에 따라 편집 가능한 환경을 만들고, 프로그램으로 불일치를 검사해 수정할 부분을 알려 준다. 결과물은 편집 가능한 Blender 장면과 원본 영상의 프레임에 정렬된 블록아웃 비디오다. MAVEBench에서 세 에이전트에 MAVE를 적용했을 때, 각 기본 기준선보다 종합 점수가 27.5~41.1점 높았다. DeepSeek-1017을 사용하면 샷당 평균 API 비용 0.054달러로 73.2점을 얻었다. 가장 우수한 기본 기준선보다 점수가 높았고 총 재구성 시간은 53% 줄었다. 모델 학습을 위한 블록아웃–비디오 쌍 3,000개로 구성된 MAVEData-3K도 만들었으며 공개할 예정이다. 창작자는 시점과 캐릭터 동선을 바꾼 뒤 편집한 장면을 렌더링해 비디오 생성의 조건으로 사용할 수 있다. 코드는 https://github.com/yfChang-cv/MAVE 에 공개되어 있다.
휴머노이드가 협력하면 한 대로는 할 수 없는 과제를 수행할 수 있다. 이를 위해서는 전신을 사용하는 상호작용을 조율하고, 일관성 있게 장기 계획을 세우며, 로봇 사이의 동작을 정밀하게 동기화해야 한다. 여러 휴머노이드가 장시간 협력해 이동하고 물체를 조작하는 분산형 프레임워크 Heave-Ho를 소개한다. 저수준에서는 다중 에이전트 사후 학습으로 휴머노이드 추종용 파운데이션 모델을 로봇 사이에 물리적으로 결합된 상호작용에 적응시킨다. 각 로봇은 국소 관측만으로 조율된 분산 제어를 수행할 수 있다. 고수준에서는 비전-언어 계획기를 학습시키고, 네트워크 통신 없이 분산 실행을 동기화하는 음성 기반 리더–팔로워 조율 기제를 설계한다. 동일한 휴머노이드 두 대로 학습했지만, 재학습 없이 최대 열 대의 팀으로 확장할 수 있고 기종이 다른 팀에도 적용할 수 있다. 기종이 다른 팀을 포함해 휴머노이드 2~10대가 참여하는 과제 12개를 담은 HH-Bench를 소개한다. 체계적인 평가에서 Heave-Ho는 기준선보다 일관되게 성능이 높았으며, 실제 환경 실험에서도 난도 높은 여러 과제에서 강건한 분산 협업을 보였다.
현재 최고 수준의 품질 관리(QC) 기법은 심층 학습(DL) 모델과 카메라 검사를 결합한 머신비전을 사용한다. 하지만 산업 현장에 이런 기법을 도입할 때는 데이터 희소성과 모델 신뢰성에 대한 우려가 걸림돌이 되는 경우가 많다. 합성 데이터는 필요한 데이터를 정확한 주석과 함께 생성할 수 있는 유망한 방법이다. 다만 시뮬레이션과 현실 사이의 격차가 생기면 성능이 저하될 수 있다. 본 연구는 앙상블 기법을 사용해 합성 데이터로 학습한 심층 학습 모델의 예측 불확실성을 추정했다. 실험에서 시뮬레이션에서 현실로 도메인이 바뀌면 예측 불확실성이 높아졌다. 그러나 관찰한 성능 저하의 주된 원인은 앙상블 구성원 간의 불일치보다 시뮬레이션과 현실 사이의 체계적 바이어스였다. 이 결과는 산업 환경에서 합성 데이터를 효과적으로 활용하는 데 기여하고, 품질 관리에 심층 학습을 배포할 때 위험을 평가할 필요가 있음을 보여 준다.
이미지 한 장에서 조류의 3D 자세와 형상을 복원할 때는 다양한 조류 종 중 학습 데이터가 적은 종이 많은 것이 걸림돌이다. 약 1만 종 중 3D 레이블이 있는 학습 데이터를 확보한 종은 수십 종에 그치고, 자연 환경에서 수집한 평가 데이터셋에는 학습에서 보지 못한 종이 흔히 포함된다. 따라서 서로 다른 계통군에 걸친 일반화가 핵심 과제다. 기존 최고 성능 방법인 AniMer+는 과 수준 대조 손실로 이를 완화한다. 하지만 두 종이 같은 과인지 나타내는 이진 지표만 전달하므로, 종 계통수의 연속적 구조를 활용하지 못한다. 본 연구는 조류 매개변수 메시 모델 AVES의 형상 코드에 분류학적 오른슈타인–울렌베크 사전분포를 적용한다. 이 다변량 가우스 분포는 린네식 분류 계급 거리가 멀어질수록 공분산이 지수적으로 감소하며, 선택 강도와 잡음 스케일을 학습할 수 있다. 사전분포는 과 수준 대조 학습을 연속적인 생성 형태로 일반화해, 이진 지표로 나타낼 수 없던 서로 다른 과 사이 및 같은 과 내의 유사도 차이를 반영한다. 이를 통해 학습 데이터가 적은 종에 대해 연속형 비교계통학을 생물학적 근거가 있는 귀납적 바이어스로 활용한다. 제안한 방법은 미학습 종을 평가하는 CowBird 벤치마크의 두 지표와 CtrlAVES3D에서 AniMer+를 앞섰다. 학습에서 본 종을 평가하는 CUB에서는 비슷한 성능을 냈다. 순열을 적용한 구성 요소 비교 실험으로 분류학적 구조의 효과를 일반적인 가우스 평활화와 구분했다. 분류 계급의 세분성을 바꾼 실험에서는 같은 과 여부를 넘어 목 사이를 구별하는 구조가 미학습 종에서 성능 향상의 주된 원인임을 확인했다.
지능형 속도 보조(ISA) 시스템은 카메라로 제한속도 표지판을 인식한다. 그러나 기존 벤치마크는 교외 도로에서 흔히 볼 수 있는, 풍화나 오염의 흔적이 있거나 식물에 뒤덮인 표지판을 충분히 반영하지 못한다. 본 연구는 생성형 이미지 편집으로 실제 도로에서 촬영한 제한속도 표지판 이미지에 여러 유형의 열화를 구현한다. 이렇게 만든 ISA-Wear 데이터셋은 편집 전후의 이미지를 쌍으로 제공한다. 멀티모달 이미지 편집 모델은 텍스트 지시에 따라 도로 이미지 속 제한속도 표지판에 눈, 녹, 식물, 도색 퇴색, 진흙을 세 가지 강도로 적용한다. 필요한 경우 주변 장면도 함께 수정하며 촬영 시점은 유지한다. 편집된 모든 프레임에 대응하는 원본 프레임이 있으며, 원본에서 표지판을 올바르게 인식한 프레임만 평가해 인식 실패를 열화의 영향으로 볼 수 있게 했다. 모델이 편집의 21%에서 표지판의 기하 구조를 바꾸었으므로, 모든 편집 결과에 기하 구조 검사와 수동 검토를 적용해 선별한다. 열화의 강도는 편집 전후 표지판 이미지 사이의 LPIPS 거리로 측정한다. 표지판이 열화된 프레임 716개를 평가한 결과, 탐지한 뒤 판독하는 파이프라인에서는 열화가 판독 단계보다 먼저 탐지 단계의 성능을 저하시켰다. 탐지기는 원본 프레임에서 해당 표지판을 모두 찾았으나 열화된 프레임에서는 62%만 찾았다. 탐지 누락은 판독 실패의 78~87%를 차지했으며, 제로샷 탐지기에서도 같은 경향을 보였다. 표지판 영역을 잘라 쓰는 벤치마크처럼 주석으로 표시한 표지판 경계 상자를 제공하면 분류기는 열화된 표지판의 78%를 판독했으나, 탐지기의 결과에 의존할 때는 56%만 판독했다.
본 연구는 여러 시점에서 촬영해 정합한 가시광 이미지와 열화상으로 고체 물체의 내부 온도 분포를 추정하는 방법을 제시한다. 열화상이 표면의 일부만 포착한 경우에도 적용할 수 있다. 정상 상태 열전도를 라플라스 방정식의 경계값 문제로 정식화하고, 점군 위에서 이산화한 직접 경계 적분 방정식으로 푼다. 가시광 이미지의 가우시안 재구성은 경계의 기하 구조를 제공하고, 열화상은 경계 데이터를 제공한다. 어느 단계에서도 표면이나 체적 메시를 만들지 않는다. 렌더링한 깊이에서 깊이가 불연속인 픽셀을 제외하고 콜로케이션 점을 샘플링하며, 밀도를 빼는 연산을 사용해 표면 바로 근처까지 내부 온도 계산의 정확도를 유지한다. 전체 과정은 미분 가능하다. 이 방법으로 열화상에서 난방 배관의 자세와 깊이, 단열 결함, 균열의 형태를 복원한다. 위상 구조가 복잡한 장면의 합성 데이터와 실제 촬영 데이터를 사용하고, 디리클레 경계만 있는 경우와 디리클레 및 로빈 경계가 혼합된 경계값 문제를 실험해 방법을 검증한다. 실험 결과, 제안 방법의 결과는 해석해와 일치했고 유한요소법(FEM) 솔버보다 정확했다.
단안 동영상에서 동적 공간 추론을 수행하면 비전-언어 모델(VLM)이 3차원 환경이 시간에 따라 어떻게 바뀌는지 이해할 수 있다. 이는 물리 세계의 이해와 체화 지능을 지원한다. 기존 연구는 주로 관측한 동역학의 이해를 다뤘지만, 동적 환경에서 작동하는 에이전트는 관측 범위를 넘어 미래 동역학도 예측해야 한다. 또한 외부 기하 처리와 텍스트 설명으로 연속적인 동역학을 표현하면, 추론이 복잡해지거나 정보가 손실될 수 있다. 이러한 한계는 관측한 동역학을 보존하고 입력 영상 이후까지 예측할 수 있는 공통 내부 상태의 필요성을 보여 준다. 본 연구는 변화하는 4차원 세계를 잠재 공간에서 모델링하는 Pros4D를 제안한다. 과거의 관측 동역학을 이해하는 능력과 앞으로의 동역학을 예측하는 추론을 하나로 통합한다. Pros4D-Engine은 기하 구조에 근거한 감독 신호를 도출하고 두 과제를 위한 짝지은 예제를 구축한다. Pros4D-Bench는 움직이는 카메라, 객체, 장면에 걸친 여덟 가지 공간 과제 범주에서 두 능력을 평가한다. 모델은 관측한 동역학을 잠재 관측 상태로 압축하고, 자기회귀 롤아웃으로 잠재 미래 상태까지 전개한다. 4차원 잠재 상태 정렬(4DLA)은 상호 보완적인 시각·의미 감독과 기하 감독으로 이 상태를 실제 영상과 공간 구조에 연결한다. 공동 언어 감독을 통해 이 상태를 과제 추론과도 연결한다. 여러 벤치마크의 실험에서 두 능력 모두 강력한 기준선보다 일관되게 향상됐다.
비전-언어 모델(VLM)과 의료 비전-언어 모델(Medical-VLM)의 신뢰할 수 있는 평가는, 특히 현실적인 임상 조건에서 보정된 신뢰도를 요구한다. 그러나 기존 연구는 주로 정확도 향상에 집중해 왔고, 의료 영역에서의 보정은 충분히 다루어지지 않았다. 이에 VLM과 Medical-VLM을 활용한 의료 이미지 분류를 위한 보정 중심 벤치마크 MVC-Bench를 제안한다. MVC-Bench는 세 가지 축에서 보정을 평가한다: (i) 모달리티, 백본, 도메인 이동(domain shift)에 대한 강건성 (ii) 보정 전략 및 프롬프트 튜닝(prompt-tuning) 방법의 효과 (iii) 프롬프트 템플릿 및 난수 시드(random-seed) 변화에 따른 안정성. 이 벤치마크는 인-도메인(in-domain) 및 도메인 이동 설정에서 안저 영상(fundus imaging), 조직병리(histopathology), 흉부 X-ray를 포함한 세 가지 의료 모달리티와 여덟 가지 백본을 다룬다. 사후 보정(post-hoc calibration), 학습 시점 보정(train-time calibration), 제로샷(zero-shot) 추론 방법과 여섯 가지 프롬프트 튜닝 방법을 비교한다. 1638회가 넘는 통제 실험에서 정확도와 Expected Calibration Error(ECE)를 주요 지표로 보고하고, Maximum Calibration Error(MCE)와 Adaptive Calibration Error(ACE) 등 보완적 보정 지표 결과도 함께 제시한다. 또한 VLM과 Medical-VLM에서 보정 오류(miscalibration)의 근본 원인을 분석하고, 학습 시점 보정 방법인 Multi-Class Margin(MCM) 정규화를 제안한다. MCM은 인-도메인 12개 설정 중 10개에서 최저 ECE를 달성하며 도메인 이동 하에서도 경쟁력을 유지한다. MVC-Bench는 안전이 중요한(safety-critical) 의료 워크플로에서 보정을 개선하기 위한 구조화된 평가 프레임워크와 실행 가능한 지침을 제공한다.
컴퓨터 지원 설계(CAD)는 현대 공학의 기반이지만, 기존 형상을 편집 가능한 모델로 변환하는 작업은 여전히 전문가의 상당한 노력을 필요로 합니다. 대부분의 AI 시스템은 중간 기하구조를 전혀 점검하지 않은 채 단 한 번에 전체 CAD 프로그램을 생성합니다. 반면, 인간 엔지니어는 특징(feature)별로 부품을 하나씩 구축하며 각 작업 후 모델링해야 할 잔여 부분이 무엇인지 확인합니다. 본 논문에서는 3차원 메시를 파라메트릭 CAD 프로그램으로 재구성하는 모델인 CADENA(스페인어로 '사슬'을 의미)를 소개합니다. CADENA는 작업 시퀀스를 한 번에 하나씩 점진적으로 생성하며, 모든 단계에서 대상 형상과 현재 예측된 기하구조를 비교합니다. 또한 기계 부품에 대한 역공학 기법을 평가하기 위한 벤치마크의 부재를 해결하기 위해, 다양한 범주의 기계 부품 전반에서 성능을 측정하는 벤치마크인 CADENA-Bench를 도입합니다. CADENA는 CADENA-Bench뿐만 아니라 DeepCAD, Fusion 360, MCB 데이터셋에서도 기존 기법들을 능가합니다. 코드는 https://github.com/zhemdi/cadena, 모델 가중치는 https://huggingface.co/kulibinai/cadena, CADENA-Bench는 https://huggingface.co/datasets/kulibinai/cadena-bench 에서 확인할 수 있습니다.
다수의 피사체 간 아이덴티티 일관성 유지와 복잡한 상호작용 모델링 문제를 해결하기 위해, Tencent Hunyuan 팀은 비전-언어 모델(VLM) 기반 이중 스트림 컨디셔닝과 주체 인식 RoPE-Shift 메커니즘을 결합한 통합 비디오 생성 프레임워크 Aura를 제안한다. Aura는 AI 디렉터 수준의 캡션, 4단계 커리큘럼 학습, 추론 시 Progressive-APG를 통해 단일 및 다중 피사체 시나리오 모두에서 최첨단 성능을 달성했다.
연합 도메인 일반화는 원시 데이터를 공유하지 않고 여러 클라이언트 간 협력적 학습을 가능하게 함으로써 이미지 분류에서 유망한 진전을 보여왔다. 그러나 자율주행의 시맨틱 분할에서의 잠재력은 아직 충분히 탐구되지 않았다. 본 논문에서는 자율주행에서 합성-실제 시맨틱 분할을 위한 최초의 원샷 연합 도메인 일반화 프레임워크인 FedS2R을 제안한다. FedS2R은 두 가지 구성 요소로 이루어진다: 불안정한 클래스에 대한 이미지를 생성하는 불일치 기반 데이터 증강 전략, 그리고 특징 융합을 포함한 다중 클라이언트 지식 증류 방식으로 여러 클라이언트 모델로부터 글로벌 모델을 증류한다. Cityscapes, BDD100K, Mapillary, IDD, ACDC 등 다섯 개의 실세계 데이터셋에서의 실험 결과, 글로벌 모델은 개별 클라이언트 모델을 크게 능가하며 모든 클라이언트 데이터에 동시에 접근하여 학습한 모델보다 mIoU 2점만 낮다. 이러한 결과는 연합 학습 하에서 자율주행을 위한 합성-실제 시맨틱 분할에서 FedS2R의 효과를 입증한다.