이벤트 카메라는 시간 해상도가 높고 전력 소비가 낮아 발화 관련 응용에 유용하다. 자동 입술 읽기, 시청각 발화 분석, 사람과 로봇의 상호작용 등에 적용할 수 있으며, 특히 조명이 어둡거나 동적 범위가 큰 환경에서 가능성이 높다. 그러나 이벤트 기반 입술 읽기, 화자 인식, 음성 활동 탐지는 대부분 사람이 지정하거나 데이터셋에서 제공하는 관심 영역(ROI)을 잘라 사용한다. 이 관심 영역을 공간 영역으로 직접 제공하는 이벤트 기반 방법은 없었다. 기존 이벤트 기반 얼굴 분석은 입을 랜드마크로 표현하므로 응용에 필요한 영역과 위치 추정 방식이 맞지 않는다. 이 연구는 이벤트 ‘프레임’ 전체를 입력받아 입술 영역의 조밀한 히트맵을 예측한다. 이벤트를 극성별로 분리한 복셀 격자로 인코딩하고, 두 경로가 있는 연속 시간 순환 신경망(CT-RNN)으로 모든 위치를 처리한다. 이 신경망은 로그 공간에서 범위를 제한해 학습한 시간 상수와 각 시간 구간에서 실제로 경과한 시간을 사용한다. 상태를 유지하지 않는 빠른 경로로 예측을 정제하고, 상태를 유지하는 느린 경로로 예측을 안정화한다. 학습에 없던 화자 네 명에서 모델의 입술 영역 성능은 69.5%였으며, 추적 대상 전환은 초당 2.1회에 그쳤다. 매개변수가 더 많은 합성곱 기준선은 초당 8.9회와 11.0회였다. 공간 인코더를 추가하면 정밀도가 높아졌으나 새로운 얼굴 크기에는 대응하지 못했다. 모의 이벤트만으로 학습하고 실제 이벤트 센서에서 평가했을 때 입술 영역 성능은 제안 모델이 58.0%, 합성곱 신경망(CNN)이 43.2%였다. 제안 모델의 대상 전환 횟수는 CNN의 절반 미만이었다.
학습 기반 무손실 코덱은 널리 쓰이는 전통적 코덱보다 작은 파일을 만든다. 그런데 보관하거나 학습에 쓰는 이미지는 여전히 전통적 코덱을 사용한다. 주된 이유 중 하나는 시간이다. 전통적 코덱은 밀리초 단위로 사진을 열지만 학습 기반 코덱의 디코딩에는 수 초가 걸린다. 학습 기반 코덱을 빠르게 만들면 대개 압축률 이점의 대부분이 사라진다. 이 시간의 상당 부분은 계산보다 대기에서 비롯된다고 본다. 신경망은 조건으로 쓸 값을 기다리고, 산술 디코더는 그 값을 한 번에 하나씩 읽는다. 무손실 이미지 형식 FMT(Fixed-step Multiscale Tree)를 소개한다. 디코딩 순서와 엔트로피 코더를 함께 설계해 이미지가 커져도 두 대기 요인이 늘어나지 않게 했다. FMT는 이미지를 거친 수준에서 세밀한 수준으로 내려가는 트리로 저장하며, 각 단계의 값은 서로 독립적이다. GPU가 한 단계의 값을 한꺼번에 예측한 뒤, 상태를 다음 단계로 넘기는 여러 rANS 레인에서 병렬로 디코딩한다. 따라서 이미지 크기와 관계없이 순차 처리 단계 수가 일정하다. 이 트리로 신경망이 없는 규칙부터 대규모 신경망까지 비트 단위로 정확한 코덱 제품군을 만들었다. 같은 GPU에서 실행한 비교 코덱 중 파일 크기와 속도 모두에서 이 제품군의 어떤 코덱도 앞선 경우는 없었다. 신경망을 쓰지 않는 FMT는 파일 크기와 속도 모두 NVIDIA HTJ2K보다 우수했다. 대규모 신경망을 쓰는 FMT는 동일한 A100에서 실행한 학습 기반 코덱보다 Kodak 사진을 9~61배 빠르게 디코딩했고, 파일은 같은 크기이거나 더 작았다.
해상 수색 구조에서는 물에 빠진 사람의 위치를 빠르게 찾아야 하므로 무인항공기(UAV)로 수색 구역을 살핀다. 비행 중 카메라가 움직이거나 어두운 곳에서 노출 시간이 길어지면 작은 대상이 흐려져 사람을 찾기 어려워진다. 이벤트 카메라는 밝기의 변화를 일어나는 즉시 기록해 긴 노출 시간에 따른 모션 블러를 줄인다. 공개 MOBDrone 구조 영상에서 v2e 이벤트 시뮬레이터로 합성 이벤트를 생성하고 기존 주석을 유지해, 해상 인명 탐지에 이벤트 카메라를 활용할 수 있는지 조사했다. 순환 비전 트랜스포머 RVT-T를, 노출 시간을 맞춘 이미지에서 학습한 YOLOv8n 및 RT-DETR-R18과 비교했다. 따로 보관한 영상에서 나온 테스트 샘플 843개에서 100ms의 합성 노출을 적용한 경우, 인명 탐지 AP50:95는 RVT-T가 15.63%, YOLOv8n이 6.89%, RT-DETR-R18이 9.44%였다. 노출 시간을 50ms에서 200ms까지 늘리자 프레임 기반 탐지의 정확도가 점차 낮아졌고 이벤트 모델과의 차이가 커졌다. 기체에서 직접 처리할 수 있는지 확인하기 위해 Jetson Orin Nano에 탐지기를 배포했다. RVT-T는 정확도를 유지하면서 샘플당 약 136ms와 2.02J를 사용했다. 이는 무인항공기에서 실시간 처리가 가능함을 보여 준다.
경량 사용자 기기에서 시청각 질의응답을 하려면 속도, 메모리 사용량, 개인정보 보호, 통신 비용 사이에서 균형을 잡아야 한다. 한 가지 방법은 서버에서 시청각 인코더를 실행하고 사용자 기기에서 경량 언어 디코더를 실행하는 것이다. 미디어 인코딩을 서버에 맡기면서 질문은 기기 안에 둘 수 있다. 그러나 전체 멀티모달 표현을 전송하고 처리하는 비용은 여전히 크다. 전송 전에 재사용 가능한 작은 메모리를 만드는 토큰 가지치기 프레임워크를 제안한다. 학습이 필요 없고 쿼리에 의존하지 않는다. 비디오의 시공간 블록과 그에 맞춰 정렬한 오디오 윈도를 참여자로 정의하고 몬테카를로 섀플리 값으로 중요도를 추정한다. 임베딩 포괄 범위를 평가하는 목적함수는 쿼리 독립적인 효용과 모달리티 간 중복 보정을 결합한다. 포괄 범위의 한계 증가량으로 개별 모달리티 안의 다양성에도 보상한다. 제한된 토큰 예산 안에서 점수가 높은 참여자의 원래 토큰 임베딩을 유지한다. 이렇게 만든 메모리를 한 번만 전송하고 이후 기기의 여러 질문에서 재사용한다. video-SALMONN 2+(30억 매개변수)와 video-SALMONN 2 Pro(40억 매개변수)를 사용해 Video-MME, Daily-Omni, Video-Holmes에서 실험한 결과, 평가한 모든 설정에서 비교 압축 방법 가운데 질의응답 정확도가 가장 높거나 공동으로 가장 높았다. Daily-Omni에서 video-SALMONN 2+(30억 매개변수)의 토큰을 80% 가지치기했을 때 비교 방법보다 정확도가 12.86~14.62%포인트 높았다. 기기에서 대규모 언어 모델의 프리필과 디코딩 지연 시간이 가장 낮았으며, 비슷한 임베딩 메모리 사용량에서 디코딩 속도가 최대 $1.92\times$ 빨라졌다.
이벤트 카메라는 시간 해상도가 높고 전력 소비가 낮으며 넓은 동적 범위를 제공한다. 그러나 주석이 달린 학습 데이터가 부족해 이벤트 기반 객체 검출 연구에 제약이 있다. 이를 해결하기 위해 Unreal Engine 5.5에서 구현한 합성 데이터셋 생성 파이프라인 UnrealEvent를 소개한다. V2E에서 착안한 이벤트 프레임 생성기와 EasySynth의 의미 렌더링 패스를 결합한다. 이를 통해 렌더링한 레벨 시퀀스를 서로 대응하는 이벤트 표현과 YOLO 형식 경계 상자 주석으로 변환할 수 있으며, 수동 레이블링은 필요하지 않다. 연속 프레임 사이의 픽셀별 로그 휘도 차이에서 이벤트를 생성한다. 실제 센서의 제조 과정에서 생기는 임계값 차이를 모사하기 위해 대비 임계값을 정규분포에서 독립적으로 샘플링한다. 이 파이프라인으로 만든 합성 데이터셋을 제공하고, eTraM에서 YOLOv8 검출기를 평가했다. 합성 데이터에서 평가하는 조건, 실제 데이터에 제로샷으로 적용하는 조건, 실제 데이터로 미세조정하는 조건을 다뤘다. 합성 도메인 내부 성능은 높았으나 실제 도메인으로 옮기면 성능이 크게 떨어졌고, 특히 보행자에서 격차가 컸다. 소량의 실제 데이터로 미세조정하면 실제 도메인 성능이 개선됐다. 남은 격차는 자산의 다양성과 센서 보정이 중요함을 보여 준다.
대규모 로봇 시뮬레이션에는 물리 특성을 시뮬레이터에서 구현할 수 있고 실제와 유사하게 상호작용하는 다양한 변형 가능 물체가 필요하다. 그러나 기존 3D 에셋 모음은 주로 시각적 다양성에 초점을 두며, 물리 모델을 대규모로 구성하고 검증하기는 여전히 어렵다. 시뮬레이션으로 검증한 에셋 83,365개로 구성된 대규모 데이터셋 RFW-S를 소개한다. 부드러운 고체, 천 시트, 얇은 껍질 구조, 의류, 가방이라는 다섯 가지 구조 유형에 걸쳐 일상 물체 485개 범주를 담는다. 참조 자료에 따른 3D 생성, 구조를 고려한 물리 모델링, 대규모 언어 모델(LLM)이 지원하는 매개변수 추정과 보정을 결합한 자동화 파이프라인을 개발했다. 물리 응답의 신뢰성을 확인하기 위해 매개변수 보정에 쓰지 않은 별도의 상호작용 조건에서 물체의 동작을 평가하는 독립 시뮬레이션 검증 방식을 도입했다. 여러 실험에서 독립 검증의 효과를 입증하고, 물리적 설정에 따라 변형 응답이 어떻게 달라지는지 분석했다. 로봇의 물체 집기를 과제 성공 여부와 물체의 손상 여부로 평가했다. 깨지기 쉬운 물체의 조작을 시뮬레이션에서 실제 환경으로 옮겨 재현해 모의 물체의 물리적 사실성도 입증했다. RFW-S는 물리적 근거가 있는 시뮬레이션과 체화 로봇 학습을 대규모로 수행할 토대를 제공한다.
Video-MME-v2 같은 긴 비디오 질의응답 벤치마크는 쿼리마다 필요한 근거의 양이 크게 달라도 보통 모든 질문에 같은 프레임 예산을 적용한다. Video-MME-v2에서 이 불일치를 분석했다. 질문의 하위 집합마다 효과적인 고정 프레임 예산 정책이 달랐고, 모든 질문에서 프레임 수를 똑같이 늘려도 모든 평가지표가 일관되게 개선되지는 않았다. 이를 바탕으로 평균을 고정하는 프레임 예산 라우팅을 제안한다. 질문마다 다른 프레임 예산을 배정하되 평균은 모든 질문에 같은 예산을 적용하는 기준과 맞추는 통제된 추론 조건이다. 추가 학습 없이 테스트 시 적용하는 FrameRouter는 근거 요구량을 판단하는 라우터, 예산 제약을 준수하는 할당 규칙, 고정된 프레임 샘플링 정책 모음을 결합한다. 기반 샘플러는 그대로 두고 각 질문에 제공할 시각적 근거의 양을 조절하므로, 쿼리를 고려한 프레임 선택과 별개로 적용할 수 있다. Video-MME-v2와 여러 긴 비디오 이해 벤치마크에서 FrameRouter는 동일한 평균 시각 정보 예산을 질문별로 더 선별적으로 배분해 긴 비디오 질의응답 성능을 높였다. 코드는 https://github.com/bingjunluo/FrameRouter 에 공개되어 있다.
3D 가우시안 스플래팅(3DGS)을 사용하면 사진처럼 사실적인 장면을 재구성할 수 있다. 기존 3DGS 색상 전이 및 대화형 편집 방법은 참조 이미지와 사용자가 지정한 색상 조정에 의존한다. 하지만 많은 응용에서 사용자가 원하는 것은 시점 간 색과 색조의 일관성을 유지하면서 장면의 색감을 보기 좋게 자동으로 개선하는 것이다. 사전학습한 3DGS 모델의 색감을 참조 이미지 없이 개선하는 프레임워크 ReTouchGS를 제안한다. 우리가 아는 한 이 유형의 첫 프레임워크다. 모델과 그에 대응하는 카메라 매개변수에서 장면 단위 색상 조회 테이블(LUT)을 예측한다. 같은 장면의 편집된 시점 하나와 그에 대응하는 원본 렌더링 결과로 장면 단위 LUT를 적합해 참조 기반 색상 전이도 지원한다. 블렌딩을 고려하는 공유 색상 정제 신경망은 매개변수가 4만 4,700개에 불과하다. 해석적으로 계산한 색상 갱신값을 정제해 두 종류의 색상 매핑을 모두 렌더링 없이 구현한다. 장면의 기하 구조를 보존하고 표준 3DGS 에셋을 수 초 내에 생성한다. 시점에 걸친 색감 개선과 참조 기반 색상 전이를 평가할 수 있도록 ReTouch3D 벤치마크도 설계했다. 실험에서 두 과제 모두 색상 정확도가 높았으며, 학습에 없던 장면에도 잘 일반화됐다.
순전파 방식 3D 재구성 모델은 여러 이미지에서 조밀한 점 지도를 한 번의 순전파로 예측한다. 그러나 명시적인 기하 제약이 없으면 시점 간 예측이 일치하지 않거나 세부 정밀도가 떨어지는 경우가 많다. 최근 방법은 카메라 자세나 깊이 같은 기하 사전 정보를 도입하지만 이를 보조 입력으로만 사용하거나 시점마다 독립적으로 처리하거나 사전 정보가 있는 곳에서만 기하 구조를 정제한다. 운동으로부터의 구조 복원(SfM)으로 얻은 점을 바탕으로 순전파 점 지도를 정제하는 Refin3R을 제안한다. SfM 기하 구조를 이미지 격자 전체에 전파한다. 두 분기로 이루어진 아키텍처에서 2D 분기는 기하 구조를 고려한 백본 특징으로 SfM 기하 구조를 기존 범위 밖까지 확장한다. 3D 분기는 모든 시점의 SfM 점을 함께 분석해 이미지 격자만으로 표현할 수 없는 다중 시점 구조를 포착한다. 두 분기는 양방향으로 정보를 교환하며 각 시점을 공동으로 정제해 조밀하고 정확한 점 지도를 만든다. ScanNet++, ETH3D, Tanks & Temples와 학습 도메인 밖의 사람 및 수술 장면에서 Refin3R은 점 지도 정확도가 기존 순전파 방식과 기하 구조 기반 방식보다 일관되게 높았다. 처리 속도는 성능이 가장 높은 기하 구조 기반 기준선보다 빨랐다.
전 지구 수관 높이 지도는 산림 탄소 추정에 점점 더 많이 쓰이나 지역별 정확도를 평가하는 경우는 드물다. 2024년 브라질 대서양림 전역의 수관 높이(해상도 10m)와 지상부 탄소 밀도(해상도 30m) 지도를 제시한다. Sentinel-2 반사율, Sentinel-1 및 ALOS PALSAR 후방산란, ALOS 고도 데이터를 결합하는 심층 학습 신경망으로 높이를 예측했다. 브라질 상파울루주 전역의 항공 라이다 조사에서 얻은 패치 7,179개로 학습하고 1,793개로 시험했다. 이 패치들은 58,800km$^2$를 포괄한다. 별도로 보관한 테스트 패치에서 평균제곱근오차는 해상도 10m에서 3.05m, 30m에서 2.58m였다. 상파울루주 밖의 라이다 관측 지점 두 곳에서도 모델을 검증했다. 같은 픽셀에서 Meta와 세계자원연구소의 전 지구 지도는 오차가 두 배를 넘었다. 산림 조사구 124곳에 적합한 거듭제곱 법칙으로 수관 높이를 지상부 탄소 밀도로 변환했다. 남아 있는 산림 2,830만 헥타르에는 탄소 1,944Tg이 저장돼 있다. 따라서 탄소 회계에 전 지구 지도를 사용하기 전에 해당 지역에서 검증해야 한다.
Uncovering the Invisible in Routine Radiology: Cross-Modal Detection of MRI-Verified Soft-Tissue Pathologies from CBCT via Physics-Guided 3D Self-Supervised Learning
콘빔 컴퓨터 단층촬영(CBCT) 같은 일상적인 X선 영상은 대비가 높은 광물화 조직에 맞춰져 있다. 연조직 이상은 광자 잡음에 묻혀 사람이 눈으로 구별하기 어렵다. 따라서 석회화되지 않은 병변을 발견하려면 자기공명영상(MRI)을 추가로 촬영해야 한다. 이 연구는 눈으로 식별할 수 없는 연조직 병변의 방사선 영상 신호가 일반 CBCT 영상 안에 물리적으로 남아 있음을 보여 준다. 대응 영상이 극히 적어도 물리 지식을 반영한 목표 지향적 심층 학습 파이프라인으로 신호를 추출해 기존 촬영 자료를 활용한 선별검사에 쓸 수 있다. 턱관절(TMJ)을 사례로 삼아 CBCT와 MRI가 짝지어진 관절 212개를 분석하고, 고용량 3D 신경망의 심한 과적합을 줄이기 위해 2단계 프레임워크를 사용했다. 첫 단계에서는 레이블 없는 CBCT 볼륨 6,550개에서 사전학습한 전체 격자 3D 마스크 오토인코더 BertsWin을 동결해 사용한다. 사전학습에는 GradientConductor(GCond) 옵티마이저와, 그래디언트 흐름을 −300~300 HU 연조직 범위로 유도하는 해부학 기반 목적함수 PhysLoss를 사용했다. 두 번째 단계에서는 하악과두의 가장 높은 지점을 자동으로 찾고 이를 기준으로 결정론적 3D 자르기를 적용해 배경 골조직 변동의 81%를 제거한다. 환자가 분할 사이에 겹치지 않도록 한 층화 10겹 교차 검증을 3회 실시한 결과, PhysLoss와 GCond를 함께 써서 사전학습한 표현에서만 MRI로 확인한 관절 내 삼출의 비가시적 신호를 통계적으로 신뢰할 만하게 얻었다(ROC AUC = 0.793). 이 설정만이 실제 3D 해부 구조의 좌우 구별을 포착했고(p < 0.001), 환자 간 잡음에 비해 높은 환자 내 구조적 일관성(0.791)을 보였다. 같은 아키텍처를 표준 L2 손실이나 마스크 없는 분산 분해(MVC)로 사전학습하면 성능은 무작위 추측 수준으로 떨어졌다. 이 결과는 일상적으로 촬영하는 저대비 방사선 영상을 숨겨진 연조직 질환의 선별검사에 활용하는 일반화 가능한 접근법을 제시한다.
순방향 과정 강화학습은 보상을 평가한 생성 결과에 잡음을 다시 넣어 회귀 목표로 삼고, 이를 바탕으로 확산 모델과 흐름 매칭 모델을 적응시킨다. 음의 어드밴티지는 크기에 상한이 없는 반발 그래디언트를 수반하는 오목한 갱신을 일으킨다. 기존 방법은 계속 갱신되는 정책 사본에서 캐시한 예측값을 앵커로 써 학습을 안정화한다. 그러나 이 앵커는 양의 피드백을 받은 경우 모델이 적합할 목표도 바꾼다. 이 충돌을 앵커 결합으로 정식화한다. 동결한 참조 모델의 정규화 항을 분리하면, 움직이는 앵커를 쓰는 어파인 규칙으로는 양의 회귀 목표를 모두 보존하면서 음의 곡률을 없앨 수 없다. 두 역할을 분리하는 어드밴티지 게이트 적응(AGA)을 제안한다. 양의 샘플은 표준적인 목표 적합을 유지한다. 이 경우 갱신량은 스스로 제한되며, 움직이는 앵커와 관계없이 관측 목표값에서 0이 된다. 음의 샘플에는 움직이는 정책의 예측값에서 오목 목적함수의 1차 접선을 사용한다. 이로써 국소 반발 방향을 보존하고 그래디언트가 현재 예측값에 의존하지 않게 한다. 이차 앵커 계열에서는 이 요구사항이 매개변수 없는 게이트 $\omega(a)=\max(-a,0)$를 유일하게 결정한다. 움직이는 정책 사본은 기존 행동을 보존하는 대신 국소 선형화에 쓰인다. AGA는 장기 행동 보존을 동결된 사전학습 참조 모델에 맡긴다. 실제 작동에 사용하는 분류기 없는 가이던스 스케일에서 참조 모델을 기준으로 정규화하며 이를 암묵적 보상 관점에서 해석한다. 조합적 생성, 텍스트 렌더링, 선호 정렬 실험에서 양의 목표를 이동시키면 시각 품질이 나빠지고 정책 사본의 갱신 일정에 더 민감해졌다. AGA는 보상과 품질 사이의 절충을 일관되게 개선했다.
수중 객체 검출은 학습 데이터의 부족과 불균형, 탁도와 조명, 센서 차이로 인한 외관 변화 때문에 성능이 제한되는 경우가 많다. 기하 또는 색상 증강이나 생성적 적대 신경망(GAN)으로 영상을 전부 합성하는 기존 방식은 의미적으로 사실적이지 않거나 장면의 물리 조건을 반영하지 못하거나 추가 주석을 요구한다. 수중 환경 모니터링처럼 데이터가 적은 분야에서는 추가 주석이 주된 병목인 경우가 많다. 새 영상 수집도 어렵지만 레이블링에는 더 많은 시간과 비용이 들어 사용 가능한 데이터셋을 빠르게 구축하기 어렵다. 원본 배경을 보존하면서 실제 수중 프레임에 클래스 조건부 쓰레기 객체를 삽입하는 완전 자동화 파이프라인을 제안한다. 수동 주석은 필요하지 않다. 샘플링한 각 경계 상자를 삽입 마스크로 바꾸고, 마스크 안에 객체를 붙여넣거나 생성한다. 동시에 같은 상자의 좌표를 해당 객체의 주석으로 자동 기록한다. 레이블이 샘플링한 상자에서 직접 나오므로 데이터가 적은 환경에서도 수동 작업 없이 전체 레이블이 붙은 학습 데이터를 생성한다. 단일 파이프라인에서 복사·붙여넣기, Stable Diffusion 인페인팅, DALL-E의 이미지 조건부 생성이라는 세 전략을 비교했다. 수중 쓰레기 데이터셋 SeaClear에서 경계 상자 일치도, 시각적 사실성, 생성 샘플이 후속 검출기 성능에 미치는 영향을 평가했다. DALL-E는 다섯 도메인 중 네 곳에서 검출 성능을 개선했으며, 실제 데이터만 사용한 기준선 대비 상대 개선 폭은 최대 96%였다.
다중 교사 온-정책 증류(MOPD)에서는 학생 모델 하나가 스스로 생성한 응답에서 학습해 여러 도메인 교사의 능력을 흡수할 수 있다. 이미지 기반 STEM, 이미지 인식, 비디오라는 세 추론 영역에서 비전-언어 모델(VLM)을 사후 학습하는 완전 공개 방법 M3OPD-Reasoner(Multimodal Model Multi-Teacher On-Policy Distillation Reasoner)를 제시한다. 지도 미세조정(SFT)용 M3OPD-SFT-1.35M과 검증 가능한 보상 기반 강화학습(RL)용 M3OPD-RL-193K를 구성했다. 두 데이터셋에서 Qwen3.5-9B로 시작하는 여러 사후 학습 방법을 비교한다. 하나는 모든 도메인의 혼합 데이터에 모델 하나를 학습하는 방법(MixSFT와 MixRL)이다. 다른 방법은 그룹 시퀀스 정책 최적화(GSPO)를 바로 적용하거나 SFT 예열 뒤에 적용해 도메인마다 교사를 하나씩 학습하고, MOPD로 교사들을 학생 하나에 증류한다. 학습 데이터에서 평가 문항의 오염을 제거한 뒤 이미지 기반 STEM, 이미지 인식, 비디오 추론 벤치마크 21개에서 평가했다. Qwen3.5-9B에 바로 GSPO를 적용해 얻은 교사들을 MOPD로 증류하는 방식이 가장 우수했다. 학생은 각 교사의 도메인에서 해당 교사와 비슷한 성능을 냈으며, 같은 프롬프트에서 혼합 학습 기준선보다 평균적으로 높은 성능을 보였다. MOPD는 MixRL이 별도로 학습해야 할 도메인 능력을 이미 결합하므로 학생 모델은 RL의 더 나은 출발점이 된다. 같은 데이터로 더 개선할 수 있는지 보기 위해 동일한 프롬프트와 설정으로 MOPD 학생에 MixRL을 추가했다. 우리가 아는 한 기존 VLM 학습 방법에서 이 조합을 연구한 사례는 없다. 같은 프롬프트가 붕괴를 일으키지 않고 MOPD 학생을 추가로 개선해 주 모델인 M3OPD-Reasoner-9B를 얻었다. 따라서 MOPD와 MixRL을 연속된 단계로 적용하면 같은 데이터에서 더 큰 학습 효과를 얻을 수 있다. 모든 데이터와 학습 코드, 각 단계의 체크포인트를 공개한다.
인식 오류가 모두 계획기의 행동을 바꾸는 것은 아니다. 그러나 적응형 해상도 인식은 이미지 단서로 고해상도 연산을 어디에 쓸지 결정한다. 이러한 단서만으로는 저해상도에서 놓친 객체를 신뢰성 있게 찾거나 어떤 객체가 계획기의 결정에 영향을 주는지 알기 어렵다. 실제 객체를 보기 전에도 가상의 객체를 특정 위치에 넣어 행동이 바뀌는지 확인하면, 계획기가 객체에 반응할 위치를 알아낼 수 있다. 의사결정 기반 추측 인식(DGSP)은 저해상도 장면과 그에 따른 행동을 초안으로 삼고, 이런 방식으로 계획기를 시험해 의사결정 민감도 영역을 얻는다. 이 영역은 아직 감지하지 못한 객체가 나타났을 때 행동이 바뀔 위치를 뜻한다. 이 영역과 현재 행동의 근거가 된 탐지 결과만 고해상도에서 검증하며, 행동이 안정될 때까지 반복한다. 계획기 두 계열에 대해, 잘라낸 영역에서의 탐지가 전체 프레임에서의 탐지와 일치하고 해당 영역들이 민감도 영역을 모두 덮으면 DGSP가 전체 프레임 고해상도 인식과 동일한 행동을 반환함을 증명한다. 실제 이미지는 이 조건을 근사적으로 충족한다. 주행 데이터셋 세 개에서 DGSP는 약 4분의 1의 픽셀만 사용해 약 98%의 프레임에서 이 행동을 재현했다. 균일하게 해상도를 낮춘 방식과 같은 픽셀 수를 사용할 때, 고해상도 행동과 다른 초안의 결정을 더 많이 교정했고, 잘못 제동한 경우가 줄었으며, 초안이 놓친 의사결정 관련 객체를 훨씬 더 많이 복원했다.
텍스트-비디오 확산 모델이 프롬프트의 일부를 무시하면 보통 분류기 없는 가이던스 스케일을 먼저 높인다. 이 논문은 그 조치가 언제 효과적인지 측정한다. Mochi에서 가이던스 스케일을 같은 폭으로 높였을 때, ‘눈 덮인 해변(a snowy beach)’ 같은 드문 조합에서는 단순 재생성보다 더 많은 실패가 교정됐다. ‘차량이 없는 고속도로(a highway with no vehicles)’ 같은 부정 표현에서는 재생성보다 교정한 실패가 적었다. ‘파도가 평평하게 무너뜨리는 모래성(a sandcastle that a wave washes flat)’처럼 영상 후반에 일어나야 하는 사건은 결과가 달라지지 않았다. 어느 경우에 해당하는지는 프롬프트와 적은 비용으로 구할 수 있는 점수 하나로 미리 판단할 수 있다. ‘요구도’라 부르는 이 점수는 실패한 영상이 누락한 프롬프트 부분에 잡음 제거기가 얼마나 강하게 반응하는지 측정한다. 영상이 생성되기 전 잡음 제거 과정의 첫 4분의 1에서 얻는다. 핵심 결과는 스케일을 높이는 조치가 프롬프트에 부정 표현과 특정 시점에 묶인 사건이 없으며 요구도가 충분히 높을 때만 효과적이라는 것이다. 데이터에 맞춰 정한 임계값보다 요구도가 높으면 복구율이 임계값 미만보다 뚜렷하게 높았다. 세 실패 유형에 대해 발표된 교정법을 조건을 고정한 탐침으로 사용하자 이 설명이 예측한 대로 작동했다. 따라서 짧은 판단 규칙을 얻을 수 있다. 다시 생성하기 전에 가장 흔한 조치를 시도할 가치가 있는지, 효과가 없다면 무엇을 써야 할지 판단할 수 있다.
온습도를 제어하는 계사에서 육계의 행동을 자동으로 분류하는 컴퓨터 비전 모델을 개발하고 평가했다. 공개 영상을 전처리하고 앉기, 서기, 먹이 섭취의 세 클래스로 수동 주석을 달아 YOLOv11 모델을 학습했다. 모델을 TFLite로 변환해 안드로이드 앱에 배포했다. 탐색적 분석으로 데이터셋의 일관성과 시각적 품질을 확인했으며, 평가에서는 클래스별 성능 차이가 나타났다. 앉기처럼 정적인 자세는 더 안정적으로 검출했다(AP = 0.531, 정밀도 = 100%). 먹이 섭취처럼 움직임이 있는 행동에서는 정확도가 낮았다(AP = 0.292, 재현율 = 0.20). 학습에 없던 이미지로 시험했을 때 성능이 크게 개선돼 정확도는 앉기 98.04%, 서기 83.33%, 먹이 섭취 67.65%를 기록했다. 실제 농장 환경에서도 잘 일반화돼 정밀 가금 사육에서 지속적인 행동 모니터링, 초기 복지 평가, 의사결정에 활용할 가능성을 보였다. 이 결과는 상업 규모에서 모바일 기기를 사용하는 향후 응용의 기술적 토대를 제공하고, 동물 복지 자동 평가에서 컴퓨터 비전의 역할을 뒷받침한다.
대부분의 AI 생성 비디오 탐지기는 디코딩된 픽셀을 분석하며 비디오가 어떻게 생성됐는지는 고려하지 않는다. 인과적 비디오 오토인코더는 압축 비트스트림에 아키텍처 고유의 리듬을 남긴다. 시간 스트라이드 때문에 예측하기 어려운 내용이 잠재 청크 경계에 집중되므로, 비트율–왜곡을 최적화하는 인코더는 주기적으로 비트를 더 배정한다. 픽셀을 디코딩하지 않고도 CogVideoX와 Wan2.2에서는 4프레임 주기, LTX-Video에서는 8프레임 주기의 펄스를 관찰했다. 내용이 유사한 카메라 영상에는 이러한 펄스가 없었다. 카메라 영상에 생성기의 오토인코더만 적용해도 펄스가 생겼으며, 이는 제안한 원인을 뒷받침한다. 별도 학습이 필요 없는 피크 비율 통계량은 생성 영상과 카메라 영상을 구별했고(AUC 0.84~0.94), 시험한 양자화 설정과 H.264 및 H.265 인코딩에서도 효과가 유지됐다. 프레임 크기의 변화는 상용 생성기 네 종류도 식별했다. 정확도는 H.264, H.265, AV1에서 각각 89.2%, 84.1%, 83.0%로, 픽셀 기반 기준선 UnivFD의 72.7~73.6%보다 높았다. 이 결과는 생성 아키텍처가 부호화에 필요한 비트량에 직접 영향을 주며 그 영향을 측정할 수 있음을 보여 준다.
생의학 이미지 분할은 새로운 해부 구조, 대상자, 영상 모달리티, 촬영 절차에 대응해야 한다. 그러나 전문가의 조밀한 주석은 부족하고, 한 코호트에서 학습한 모델을 다른 코호트로 옮기기 어려운 경우가 많다. 문맥 내 분할(ICS)에서는 추론 시 주석이 있는 예시 몇 개로 새로운 구조를 지정한다. 그래도 생의학 이미지에서 정확한 대응점을 찾기는 어렵다. 인접 구조의 외관이 비슷하고 대상자나 촬영 조건에 따른 변화로 차이를 구별하기 더 어려워지기 때문이다. 동결한 DINOv3 백본으로 세밀한 대응 관계를 보정하며 추가 학습이 필요 없는 CAST를 소개한다. 안정성 검사는 전역 및 패치 수준 모두에서 특징의 신뢰도를 높인다. 일관성 검사는 후보 대응 관계가 일관된 국소 구조 문맥으로 뒷받침되는지 평가한다. 두 검사를 결합하면 다양한 해부 구조와 촬영 조건에서도 더 신뢰성 있게 대응점을 찾을 수 있다. 2D 및 3D 분할과 대상자 간, 모달리티 간 전이를 포함하는 생의학 벤치마크 여덟 개에서 CAST는 종합 성능이 가장 높은 기준선보다 다이스 점수가 12.34%포인트 높았고, 3차원 볼륨 설정 여섯 개 모두에서 1위를 기록했다. 2D에서 3D로의 분할, 해부학 아틀라스 레이블 전이 등 난도 높은 응용에도 활용할 수 있다.
이미지 관측과 이미지로 주어진 목표를 사용하는 목표 조건부 계획에는 시각적 상태와 행동의 결과를 구별하는 예측이 필요하다. 스파이킹 신경망은 희소 연산을 지원하지만 단일 단계의 스파이크는 움직임 단서를 흐리게 하고 물리적 결과가 다른 행동을 구별하지 못할 수 있다. 이미지당 시뮬레이션 한 단계, 잠재 위치당 신경망 갱신 한 번을 사용하는 종단 간 공동 임베딩 예측 아키텍처(JEPA), 스파이킹 잠재 월드 모델(SpikWM)을 제안한다. 스파이킹 영역 인코딩은 영역별 풀링으로 공간 단서를 유지한다. 이중 스파이크 행동 인코딩은 양과 음의 이진 응답을 결합한다. 인과적 막전위 예측은 학습한 그룹별 시간 상수를 사용해 임계값 아래의 증거를 잠재 상태 이력에 걸쳐 전달한다. 보상 없는 이미지–행동 궤적으로 다음 임베딩 예측과 SIGReg를 적용해 인코더와 예측기를 함께 학습한다. 같은 계획기를 사용했을 때 SpikWM의 평균 성공률은 Push-T, Two-Room, Reacher, OGBench-Cube에서 각각 $88.67\%$, $97.33\%$, $99.33\%$, $86.67\%$로, 스파이킹 기준선 두 개를 앞섰다. Push-T에서 구성 요소 제거 실험으로 각 모듈의 기여를 확인하고, 통제된 재생 실험으로 외관과 물리적 상태 변화에 대한 반응을 조사했다. 계획 예산을 동일하게 맞췄을 때 SpikWM은 LeWM보다 추정 산술 연산 에너지를 $75.6\%$ 줄였다. 코드는 https://github.com/ShawnYE618/SpikWM 에서 공개할 예정이다.