GigaBrain-0은 비전-언어-행동(Vision-Language-Action, VLA) 모델의 학습을 혁신적으로 개선하기 위해 세계 모델 기반의 데이터 생성 방식을 도입한 연구이다. 기존의 VLA 모델은 실제 로봇 데이터를 수집하는 데 있어 높은 비용과 시간 소모로 인해 확장성과 일반화 능력이 제한되는 문제를 겪고 있다. 이러한 문제를 해결하기 위해 GigaBrain-0은 다양한 데이터 생성 기술을 활용하여 실제 로봇 데이터에 대한 의존성을 줄이고, 여러 작업 간의 일반화를 향상시킨다.
GigaBrain-0의 핵심 방법론은 세계 모델(GigaWorld)을 통해 생성된 데이터를 활용하는 것이다. 이 모델은 실제 환경에서 수집된 비디오를 기반으로 하여 다양한 시각적 맥락에서 합성적으로 변경된 데이터를 생성한다. 이를 통해 실제 로봇이 수행하는 작업의 의미와 공간 역학을 유지하면서도, 다양한 외관 변형과 카메라 시점에 대한 일반화를 달성할 수 있다. 특히, RGBD(적외선 깊이) 입력 모델링과 체화된 사고의 연쇄(Chain-of-Thought, CoT) 감독을 통해 정책의 견고성을 높이며, 공간 기하학, 객체 상태, 장기 의존성에 대한 추론 능력을 강화한다.
GigaBrain-0은 또한 다양한 데이터 생성 기법을 통해 실제 로봇 데이터의 수집 한계를 극복한다. 예를 들어, Real2Real 전송을 통해 실제 비디오를 새로운 시각적 맥락에서 재구성하고, View 전송을 통해 다양한 관찰 시점에서의 일반화를 지원한다. Sim2Real 전송은 시뮬레이션 자산을 활용하여 다양한 체화된 상호작용 시퀀스를 합성하며, 인간 비디오 전송은 로봇 학습에 필요한 다양한 작업과 환경을 제공한다.
이러한 혁신적인 접근 방식은 GigaBrain-0이 실제 세계에서의 성능을 크게 향상시키는 데 기여하며, 다양한 환경에서의 작업 수행 능력을 개선한다. GigaBrain-0-Small이라는 경량 버전도 소개되어, NVIDIA Jetson AGX Orin과 같은 장치에서 효율적으로 실행될 수 있도록 최적화되었다. 이 연구는 VLA 모델의 학습 효율성과 일반화 능력을 크게 향상시킬 수 있는 가능성을 보여주며, 로봇 공학 분야에서의 데이터 수집 및 활용 방식을 재정의하는 데 중요한 기여를 한다.
Vision-Language-Action (VLA) 모델은 구체적인 의사결정을 가능하게 하지만, 모방 학습에 의존함으로써 오류가 누적되고 분포 변화에 대한 강건성이 떨어지는 문제를 안고 있다. 이러한 문제를 해결하기 위해 본 연구에서는 VLA-RFT라는 새로운 강화 학습 파인튜닝 프레임워크를 제안한다. 이 프레임워크는 데이터 기반의 세계 모델을 활용하여 제어 가능한 시뮬레이터 역할을 수행하며, 실제 상호작용 데이터를 통해 훈련된다. 세계 모델은 행동에 조건화된 미래 시각적 관찰을 예측하고, 이를 통해 목표 달성 참조에서 파생된 밀집 경로 수준의 보상을 제공한다.
VLA-RFT는 400회 미만의 파인튜닝 단계로도 강력한 감독 기준을 초월하며, 시뮬레이터 기반 강화 학습보다 더 높은 효율성을 보여준다. 이는 샘플 요구량을 크게 줄이고, 변동 조건에서도 강한 강건성을 유지하여 안정적인 작업 실행을 가능하게 한다. 본 연구는 세계 모델 기반의 강화 학습 파인튜닝이 VLA 모델의 일반화 및 강건성을 향상시키는 실용적인 사후 학습 패러다임임을 입증하였다.
연구의 첫 번째 단계에서는 세계 모델과 VLA 정책을 오프라인 데이터셋에서 사전 훈련하여 안정적인 초기화를 제공한다. 세계 모델은 밀집 검증된 보상을 효율적으로 얻기 위해 대화형 비디오 예측 모델로 훈련되며, VLA는 전문가 시연 데이터셋을 통해 안정적인 행동 생성을 보장한다. 두 번째 단계에서는 SDE(확률적 미분 방정식) 기반의 정책 수식을 채택하고, GRPO(Gradient-Weighted Policy Optimization)로 최적화하여 신뢰할 수 있는 그래디언트 추정을 제공한다.
VLA-RFT의 주요 기여는 강화 학습의 불안정성을 줄이고, 검증된 보상을 통해 훈련의 안정성을 높이는 것이다. 이러한 접근은 VLA 모델의 성능을 크게 향상시키며, 다양한 환경에서의 강건성을 보장한다. 본 연구는 VLA-RFT가 실제 응용 분야에서의 효과적인 의사결정 시스템 개발에 기여할 수 있음을 제시한다.
대규모 언어 모델(LLM)의 제로샷(zero-shot) 능력은 자연어 처리(NLP) 분야에서의 혁신을 이끌어냈으며, 이러한 원리가 비디오 모델에도 적용될 수 있음을 제시하는 연구가 진행되었다. Veo 3라는 비디오 모델은 명시적으로 학습되지 않은 다양한 작업을 수행할 수 있는 능력을 보여주며, 이는 객체 분할, 엣지 감지, 이미지 편집, 물리적 속성 이해, 객체의 사용 가능성 인식, 도구 사용 시뮬레이션 등을 포함한다. 이러한 능력은 비디오 모델이 시각적 세계를 인식하고 모델링하며 조작하는 데 필수적이며, 초기 형태의 시각적 추론을 가능하게 한다.
Veo의 물리적 이해 능력은 가연성, 강체 및 연체 역학, 그리고 표면 상호작용과 같은 다양한 물리적 속성을 모델링하는 데서 입증된다. 예를 들어, Visual Jenga 작업에서 Veo는 물체를 물리적으로 그럴듯한 순서로 제거할 수 있는 능력을 보여준다. 또한, Veo는 물체가 배낭에 들어갈 수 있는지를 이해하고, 굴절 및 반사와 같은 광학 현상을 생성하며, 색상 혼합의 원리를 이해하는 등 물리적 세계에 대한 깊은 이해를 나타낸다.
추상적 관계를 이해하는 능력 또한 Veo의 중요한 특징이다. Veo는 특정 카테고리의 객체를 구별하고, 패턴을 인식하며 변형을 생성하는 능력을 통해 시각적 정보를 처리하는 데 중요한 기초를 제공한다. 이러한 패턴 인식 및 변형 생성 능력은 Omniglot 데이터셋에서 영감을 받아 발전하였다.
Veo는 비디오 맥락 내에서 시간과 카메라 이동에 따른 세계 상태를 기억하는 능력을 갖추고 있다. 이는 비디오 내에서 발생하는 사건을 추적하고, 일관된 세계 모델을 유지하는 데 필수적이다. 이러한 기억 유지 능력은 Veo가 복잡한 시각적 정보를 처리하고 이해하는 데 중요한 역할을 한다.
결론적으로, Veo의 제로샷 학습 및 추론 능력은 비디오 모델이 통합된 일반ist 비전 파운데이션 모델로 발전할 가능성을 보여준다. 이 연구는 비디오 모델이 시각적 세계를 모델링하고 이해하는 데 있어 중요한 기초를 제공하며, 향후 연구에 대한 새로운 방향을 제시한다.
Embodied Artificial Intelligence (AI)는 Artificial General Intelligence (AGI)를 달성하기 위한 지능형 시스템 패러다임으로, 사이버 공간에서 물리적 시스템으로의 진화를 이끄는 중요한 기반을 제공한다. 최근 대규모 언어 모델 (LLMs)과 세계 모델 (WMs)의 혁신은 Embodied AI의 연구에 큰 영향을 미치고 있으며, 이 두 가지 기술은 각각 의미적 추론 및 작업 분해, 그리고 외부 세계에 대한 내부 표현 및 미래 예측을 통해 Embodied AI의 성능을 향상시키고 있다.
본 논문은 Embodied AI의 기초부터 발전까지의 문헌을 포괄적으로 탐구하며, LLM 기반 및 WM 기반 연구를 다룬다. 특히, Embodied AI의 역사와 핵심 기술, 주요 구성 요소 및 하드웨어 시스템을 제시하고, 단일 모달에서 다중 모달로의 발전을 논의한다. LLMs는 자연어 지시를 이해하고 이를 행동으로 변환하는 데 중요한 역할을 하며, MLLMs는 고수준의 다중 모달 입력과 저수준의 모터 행동 시퀀스를 연결하여 복잡한 작업을 수행할 수 있도록 한다. 그러나 MLLMs는 물리 법칙에 부합하는 예측을 기반으로 하지 못하고, 환경 피드백에 대한 실시간 적응력이 부족한 한계를 지닌다.
반면, WMs는 감각 입력을 구조화된 잠재 공간으로 압축하여 물리 법칙에 부합하는 Embodied Interaction을 촉진할 수 있는 가능성을 제공한다. 그러나 WM 기반 접근 방식은 개방형 의미적 추론에 어려움을 겪고 있으며, 일반화 가능한 작업 분해 능력이 부족하다. 이러한 두 기술의 결합, 즉 MLLM-WM 기반의 Embodied AI 아키텍처는 의미적 지능과 물리적 상호작용을 연결할 수 있는 잠재력을 지니고 있으며, 이를 통해 복잡한 작업을 물리적 세계에서 수행할 수 있는 가능성을 제시한다.
본 연구는 서비스 로봇, 구조 UAV, 산업 로봇 등 다양한 응용 사례를 통해 Embodied AI의 실제 시나리오에서의 광범위한 적용 가능성을 보여준다. 마지막으로, 자율 Embodied AI, Embodied AI 하드웨어, 군집 Embodied AI 등 향후 연구 방향을 제시하며, Embodied AI의 발전에 기여할 수 있는 다양한 주제를 탐구할 필요성을 강조한다.
LiDAR 장소 인식(LPR)은 로봇의 자율적 위치 추정에 필수적인 요소로, 현재 스캔을 환경의 이전 맵과 정렬하는 데 중요한 역할을 합니다. 기존의 비주얼 장소 인식(VPR) 기술은 비전 파운데이션 모델(VFM)을 활용하여 디스크립터의 강인성을 향상시켰으나, LPR은 사전 학습된 지식을 효과적으로 활용하지 못하는 특정 작업 모델에 의존해왔습니다. 이러한 한계를 극복하기 위해 본 연구에서는 ImLPR이라는 새로운 파이프라인을 제안합니다. ImLPR은 사전 학습된 DINOv2 VFM을 활용하여 LPR을 위한 풍부한 디스크립터를 생성하며, VFM을 LiDAR 도메인에 적용한 최초의 방법으로 자리 잡고 있습니다.
ImLPR의 핵심 혁신은 원시 포인트 클라우드를 새로운 세 개의 채널로 구성된 Range Image Views(RIV)로 변환하여 VFM의 입력으로 사용하는 것입니다. 이를 통해 VFM의 사전 학습된 지식을 최대한 활용할 수 있습니다. 또한, MultiConv 어댑터를 통해 다양한 스케일의 특징을 효과적으로 추출하고, Patch-InfoNCE 손실을 통해 특징 학습을 최적화합니다. 이러한 방법론은 LPR의 성능을 크게 향상시키며, 공개 데이터셋에서 최신 기술(SOTA) 방법을 초과하는 결과를 보여주었습니다.
ImLPR의 설계는 채널 구성, RIV, 어댑터 및 패치 수준 손실과 같은 주요 요소들에 대한 포괄적인 변별 분석을 통해 각 구성 요소의 기여도를 정량화하였습니다. 이 연구는 LPR 분야에서의 기술적 혁신을 가져오며, 향후 연구 방향에 대한 중요한 통찰을 제공합니다. ImLPR은 로봇 커뮤니티에 기여할 수 있도록 오픈 소스로 제공되며, 이는 연구자들이 본 연구의 결과를 활용하고 발전시킬 수 있는 기회를 제공합니다.
Vision-Language-Action (VLA) 모델은 다음 프레임 예측을 통해 훈련된 내부 세계 모델에 의존하지만, 이 방법은 정적인 외관과 동적인 움직임이 얽혀 있어 물리적 추론에 어려움을 겪습니다. 이를 해결하기 위해 Visual Chain of Thought (Visual CoT)라는 사전 훈련 프레임워크를 도입하여 장면의 진화를 추론한 후 예측하도록 유도합니다. FlowVLA는 중간의 광학 흐름 표현을 생성한 후 미래 프레임을 예측하는 방식으로, 이 과정은 단일 자기회귀 Transformer 내에서 구현되어 동적인 요소를 분리하여 학습합니다. 실험 결과, FlowVLA는 일관된 시각적 예측을 생성하고 정책 학습의 효율성을 크게 향상시켜 세계 모델링의 보다 원칙적인 기초를 제시합니다.
다음은 AI/ML 분야의 논문 초록입니다.
우리는 대규모 모바일 로봇 군집의 조정 및 계획을 지원하기 위해 설계된 기초 모델 모음인 DeepFleet을 소개합니다. 이 모델들은 전 세계 아마존 창고에서 수십만 대의 로봇의 로봇 위치, 목표 및 상호작용을 포함한 군집 이동 데이터로 학습되었습니다. DeepFleet은 각기 다른 귀납적 편향을 구현하고 다중 에이전트 기초 모델을 위한 설계 공간의 주요 지점을 탐색하는 네 가지 아키텍처로 구성됩니다: 로봇 중심(RC) 모델은 개별 로봇의 이웃에서 작동하는 자기 회귀 결정 트랜스포머(autoregressive decision transformer)입니다; 로봇-바닥(RF) 모델은 로봇과 창고 바닥 간의 교차 어텐션(cross-attention)을 사용하는 트랜스포머입니다; 이미지-바닥(IF) 모델은 전체 군집의 다중 채널 이미지 표현에 컨볼루션 인코딩(convolutional encoding)을 적용합니다; 그래프-바닥(GF) 모델은 공간적 관계를 위한 그래프 신경망(graph neural networks)과 시간 어텐션(temporal attention)을 결합합니다. 본 논문에서는 이러한 모델들을 설명하고, 이러한 설계 선택이 예측 작업 성능에 미치는 영향을 평가한 결과를 제시합니다. 우리는 비동기 로봇 상태 업데이트를 사용하고 로봇 상호작용의 국소 구조를 통합한 로봇 중심 모델과 그래프-바닥 모델이 가장 유망하다는 것을 발견했습니다. 또한 이 두 모델이 규모가 커질수록 더 큰 창고 운영 데이터셋을 효과적으로 활용할 수 있다는 실험 결과를 제시합니다.
비전-언어-행동(Vision-Language-Action, VLA) 모델은 시각과 언어 입력을 처리하여 점진적으로 실행 가능한 행동 정보를 담은 액션 토큰(action tokens)을 생성하는 단일 프레임워크로 통합할 수 있습니다. VLA 모델 간 주요 차별점은 액션 토큰의 형성 방식에 있으며, 이는 언어 설명, 코드, 어포던스(affordance), 궤적, 목표 상태, 잠재 표현(latent representation), 원시 행동(raw action), 추론(reasoning) 등으로 분류됩니다. 그러나 액션 토큰에 대한 체계적인 이해가 부족하여 VLA 모델 개발과 향후 연구 방향 설정에 어려움이 존재합니다. 본 서베이는 액션 토큰 관점에서 기존 연구를 분류·해석하고 각 유형의 장단점을 분석하여, VLA 모델의 발전 방향과 잠재적 연구 과제를 제시합니다.
VQ-VLA는 기존 대비 100배 이상의 대규모 행동 궤적 데이터셋을 활용한 벡터 양자화(vector quantization) 기반 행동 토크나이저를 제안합니다. 이를 통해 시공간적 역학을 효과적으로 포착하여 추론 속도를 높이고 더 부드럽고 일관된 행동 출력을 생성할 수 있습니다. 학습된 토크나이저는 제로샷(zero-shot) 방식으로 다양한 단기 및 장기 행동 계획 과제에 적용 가능하며, 합성 데이터와 실제 행동 궤적 간 도메인 격차가 거의 없어 대규모 합성 데이터를 활용해도 실제 성능 저하가 없습니다. 시뮬레이션과 실제 로봇 실험에서 합성 데이터 양 증가에 따라 성능이 크게 향상되었으며, 특히 장기 과제에서 최대 30% 성공률 향상을 달성하였습니다.
이벤트 카메라는 일반 카메라의 영상이 흐려지거나 포화되는 상황에서도 장면의 구조를 계속 포착하므로 빠르게 움직이거나 조명이 부족한 장면의 3D 인식에 유용하다. 그러나 조밀한 3D 참값을 갖춘 이벤트 데이터셋은 순방향 3D 재구성 모델의 기반이 되는 이미지 모음보다 규모가 작고 다양성이 낮다. 본 연구는 이벤트만으로 여러 시점에서 깊이, 카메라 자세, 포인트맵을 한 번의 순전파로 예측하는 Déjà-Events를 제시한다. 부족한 3D 레이블에 의존하는 대신, 하나의 공유 트랜스포머 블록을 반복 적용해 토큰을 다듬는 순방향 RGB 모델 Déjà View에서 지식을 증류한다. RGB와 이벤트 기록의 쌍을 사용해 이벤트 학생 모델이 가중치를 고정한 교사 모델의 최종 토큰을 재현하도록 학습한다. 이때 깊이와 자세의 참값은 필요하지 않으며, 학생 모델의 매개변수 중 약 1%만 학습한다. 이벤트는 가장자리와 움직이는 텍스처에 밀집하고 텍스처가 없는 영역에는 거의 없다. 따라서 공유 블록의 게이트를 이벤트 입력에 맞추고, 이벤트 밀도에 따라 패치별로 조절하는 희소성 인식 적응형 게이팅을 제안한다. 정제 단계를 추가해도 정확도를 유지할 수 있다. 시뮬레이션 데이터로만 학습한 Déjà-Events는 평가한 이벤트 기반 방법 중 EventScape에서, 그리고 실제 데이터셋 MVSEC와 DSEC의 제로샷 평가에서 포인트맵 오차가 가장 낮았다. DSEC에서는 가장 강한 기준선의 약 10분의 1에 해당하는 매개변수로 오차를 절반으로 줄였다(AbsRel 0.15 대 0.30). EventScape와 DSEC에서 깊이 오차도 가장 낮았고, EventScape에서 궤적 오차가 가장 낮았다.
자율 이동 로봇은 동적 환경에서 객체의 움직임 특성을 파악하는 데 큰 어려움을 겪는다. 기존 방법에는 경계의 모호성, 가려짐, 시점의 제약, 복잡한 학습 과정 등의 한계가 있다. 본 연구는 점군 시퀀스로 다중 시점 이미지와 특징 차이를 만들고, 여러 분기를 통해 시공간 특징과 차원별 특징을 병렬로 추출해 이동 객체를 정밀하게 분할하는 종단 간 다중 시점 시공간 융합 신경망 MVSTF를 제안한다. 먼저 연속된 점군에서 다중 시점 이미지와 특징 차이를 구한다. 이어 이중 다운샘플링 블록(DDB), 공간 어텐션 블록(SAB), 다중 커널 합성곱 신경망 블록(MKCNN), 이중 특징 융합 블록(DFFB), 점 융합 모듈(PF)을 포함한 종단 간 다중 분기 신경망을 구성한다. 특징 차이에서는 움직임 특징을, 다중 시점 이미지에서는 기하 및 의미 특징을 추출한다. 마지막으로 보조 의미 헤드를 도입해 알고리즘의 강건성과 모델의 해석 가능성을 높인다. SemanticKITTI와 KITTI-Road 벤치마크에서 검증했다. SemanticKITTI MOS 검증 세트와 KITTI-Road 검증 세트에서 최고 성능을 기록했고, 비공개 SemanticKITTI-MOS 테스트 세트에서도 경쟁력 있는 결과를 얻었다. 코드는 https://github.com/ZhouJJ111/MVSTF 에서 제공한다.
대응점을 모르는 원근 $n$점(PnP) 문제는 2D 점 집합과 3D 점 집합 사이의 대응 관계를 알 수 없을 때 보정된 카메라의 자세를 추정하는 문제다. 관측이 완전하고 잡음이 없다면, 20개 이상의 점으로 이루어진 거의 모든 3D 점 집합에서 4차까지의 순열 불변 이미지 모멘트 14개로 고정 카메라의 자세를 식별할 수 있음을 보인다. 별도 학습이 필요 없는 방법 MomentPnP는 관측한 2D 점과 투영한 3D 점의 모멘트를 맞춰 대응점 없이 카메라 자세를 초기화한다. 이어 기댓값 최대화로 자세와 대응 가중치를 다듬는다. 벤치마크 세 개의 테스트 세트에서 이상값이 있을 때와 없을 때 모두, 가장 성능이 좋은 학습 기반 기준선에 비해 회전 오차의 중앙값을 $5$~$170\times$ 줄였다. 이상값 수가 정상점 수만큼 많아도 정확한 자세를 복원했다. 조밀한 ETH3D 스캔에서는 점 집합의 크기가 커질수록 개별 대응점을 알아내기 어려워졌으나 자세 정확도는 높아졌다.
로봇의 행동은 다음 상호작용의 열 조건을 바꾼다. 접촉을 끝낸 뒤 남은 열, 물체를 옮길 때 함께 이동한 열, 표면 아래에 축적된 열은 현재 온도가 비슷해도 후속 접촉의 결과를 바꿀 수 있다. 학습 궤적은 이런 효과가 이전 행동을 이후 관측과 과제 결과에 어떻게 연결하는지 담아야 한다. 본 연구는 Thermal Robot Renderer(TRR)를 소개한다. 접촉하는 양쪽 물체에 위치와 깊이별 열 상태를 부여하고, 접촉·이동·분리 과정에서 국소 열 교환을 갱신한다. 하나의 실행 시계를 사용해 동기화된 RGB·열화상(RGBT) 관측과 사건별 과제 검사를 생성한다. 통제된 개입으로 잔열, 공간적 열 이동, 내부 열 저장이 후속 접촉 결과에 중요한 이유를 보였다. 같은 상태에서 정적·동적 실행을 짝지은 여섯 과제 벤치마크를 생성했다. 2,224쌍, 총 4,448개 궤적이며 두 시점에서 동기화한 관측과 상태 및 행동을 포함한다. 전용 학습 말뭉치에서 열 이력을 관측할 수 있으면 안전한 접촉 위치를 고르는 비율이 75.0%에서 91.7%로 올랐다. 동적 이력으로 학습하면 피드백 실행 방식을 동일하게 유지한 새 가열 절차에서, 시뮬레이션의 전이 과제 완료율이 50%포인트 높아졌다. MuJoCo와 Isaac Sim의 RGBT 관측 어댑터를 시연했다. 준비한 로봇 구성 10개와 시연한 카메라 시점 6개의 목록을 제시하고, 기존 로봇 장면에서 RGBT 기록을 내보내기까지의 개발자 워크플로를 설명한다. 벤치마크, 워크플로, 6절의 플랫폼 자료는 예정된 공개 배포의 첫 항목이다. 시연과 자료 갱신 내용은 프로젝트 페이지에서 확인할 수 있다.
주행용 비전-언어-행동(VLA) 모델은 길 안내 지시를 입력받을 수 있다. 그러나 운전자의 궤적을 예측한다는 사실만으로 모델이 지시를 따른다고 볼 수는 없다. 본 연구는 행동 전에 전달한 사전 지시와 행동을 관찰한 뒤 작성한 사후 레이블을 구분해, 주행 언어 지도 신호를 수집하고 평가하는 방식을 살핀다. 음성 지시, 도로 영상, 차량 궤적을 동기화하는 ADVLAT-Engine을 개발했고, 주행 경로 48개를 재생해 내비게이션 앱 세 개를 비교했다. Google Maps와 동승자가 모두 안내한 주행 동작 87개에서 동승자는 도로 장면에 더 의존하는 표현을 썼다. 공개 주행 VLA 네 개를 내비게이션 앱의 사전 지시가 포함된 주행 데이터로 미세조정하기 전후에 평가했다. 미세조정으로 동승자가 지시한 주행의 궤적 오차는 23~59% 줄었으나 지시의 효과는 일관되지 않았다. 실제 교차로에서 반사실적 지시를 사용했을 때는 지시에 더 민감하게 반응했다. 미세조정한 Alpamayo 2 Super의 정확도는 15m와 5m에서 각각 31포인트와 18포인트 높아졌다. Qwen-Drive는 문장보다 이산 명령으로 지시했을 때 대안 동작을 더 잘 따랐다. 주행 기록을 보고 네 명이 작성한 사후 주석도 수집했다. 주석의 내용과 시점, 후속 학습을 통제해 비교하는 방법을 설명했으며 분석은 진행 전이다. 결과는 주행 동작 예측과 지시 따르기를 구분하고 사전·사후 지도 신호를 비교할 틀을 제공한다.
비전 기반 3D 점유 예측은 자율주행과 체화 인식에 필요한 장면의 조밀한 의미 표현을 제공한다. 다만 가려짐, 깊이의 모호성, 투영 오차로 인해 복셀 특징의 신뢰성이 위치마다 달라지는 문제에 취약하다. 기존 방법은 대개 이런 관측으로 생긴 특징 변이를 명시적으로 모델링하지 않고 복셀 표현에서 의미를 예측한다. 본 연구는 특징 공간의 대리 분포로 데이터 고유의 불확실성을 모델링해 의미 점유 예측을 더 강건하게 만드는 VoxSAOR를 제안한다. 먼저 국소 의미 일관성(LSC)을 정량화해 복셀별 구조 안정성 사전 정보를 얻는다. 시점 간 의미 합의로 신뢰하기 어려운 의미 대응을 걸러 낸다. 의미 범주별로 위치를 맞춘 안정 복셀과 모호한 복셀을 짝지어, 안정적인 특징에서 모호한 특징으로 바뀌는 양상을 얻는다. 이를 클래스 조건부 대각 가우스 분포로 모델링해 특징 변위와 산포를 모두 포착한다. 데이터 고유 불확실성 구간 앙상블 학습(AREL)은 이 대리 분포에 따라 점차 커지는 스케일의 특징 교란을 사용해, 서로 독립적인 매개변수를 갖는 예측 헤드를 학습한다. 교란 강도는 구조적 신뢰성에 따라 조정한다. 추론에서는 대리 분포 모델링과 샘플링을 끄고 모든 헤드가 같은 관측 특징을 처리한다. 출력 확률을 평균해 샘플링 없이 결정적인 합의 예측을 얻는다. 여러 데이터셋과 점유 백본에서 실험한 결과, VoxSAOR는 의미 점유 예측, 희귀 클래스 인식, 예측 보정을 개선했다. 소스 코드는 https://github.com/MengfeiD/VoxSAOR 에 공개할 예정이다.
적은 수의 시연으로 조작 과제를 학습하려면 강체 조작에서의 물체 자세처럼 과제 완료에 관련된 변화를 포착하는 추상 표현이 필요하다. 그러나 청소 같은 과제는 물체의 자세보다 시각적 상태의 변화로 정의되므로 어떤 표현을 사용할지 결정하기 어렵다. 본 연구는 소수의 시연에서 시각적 과제 공간을 학습하는 Cleanly-DINO를 제안한다. 과제 관련 영역의 마스크와 고정된 ViT 특징이 주어지면, Cleanly-DINO는 과제 공간을 분리하는 투영을 맞추고 그 공간에서 진행 정도를 측정하는 평가지표를 학습한다. 다양한 청소 사례에서 모델을 학습시킨 뒤 작업이 끝나지 않은 영역의 위치를 찾고, 다른 시각 도메인으로 전이하는 능력을 평가한다. 강화학습 환경에서 이 모델을 관측 인코더와 보상 신호로 사용해 로봇 학습에 대한 유용성도 살펴본다. 마지막으로 학습을 마친 모델을 실제 로봇 닦기 작업의 파이프라인에 적용해 과제 수행을 안내하는 데 얼마나 유용한지 평가한다.
수색 드론의 영상에서 실종자는 불과 몇 픽셀로 보인다. 드론에는 소형 컴퓨터가 탑재되어 있으며, 대역폭이 좁은 무선 링크를 공유한다. 본 연구는 이 제약에서 사람을 탐지하는 방법을 조사한다. 주요 평가는 실시 전에 명시했고, 이후의 분석은 탐색적 분석으로 표시했다. 탐색적 비교에서는 열화상 프레임 식별자로 추정한 촬영 블록들을 평가용으로 따로 떼어 두자, 고정된 오경보 목표에서 재현율이 32.7%에서 12.3%로 떨어졌다. 테스트 블록에서 아무 설정도 조정하지 않은 조건에서, 대비 단서로 적용 위치를 제한한 4만 6천 매개변수 탐지기는 사람의 10.4%를 찾았다. 같은 신경망을 모든 위치에 적용했을 때는 5.7%였다. 동일한 데이터 분할로 학습한 표준 탐지기 YOLO11n은 유사한 오경보율에서 약 11배의 연산을 사용해 사람의 54.5%를 찾았다. 고도 117m에서 촬영한 4K 현장 영상에서는 최대 92%의 프레임에서 상위 16개 탐지 결과에 걸어가는 사람이 포함된 반면, 본 연구의 보드에서는 74%였다. YOLO11n 단독 사용 시 한 장소에서 설정한 임계값을 새 장소에 적용하면 오경보가 목표치의 1.7~3.4배에 달했다. 고고도에서 성능이 가장 좋은 설정의 프레임당 비용은 표준 추론 4~24회에 해당했다. 검증 장소에서 고정한 임계값을 사용하고, 상위 16개 영역 이미지(프레임당 154KB)에 매개변수 84만 2천 개의 지상 모델로 점수를 다시 매기자, 같은 영역에 YOLO의 자체 점수를 사용했을 때보다 재현율이 44.9%에서 53.7%로 높아졌다. 테스트 장소 15곳을 대상으로 한 사후 대응 분석에서 개선 폭은 +8.8%포인트였으며 구간은 [+2.4, +12.5]였다. 전체 오탐 건수는 프레임당 0.86건에서 0.64건으로 줄었으나, 대응 분석에서 이 변화를 0과 구별할 수 없었다. 실제 비행에서 촬영한 영상에서 흙빛 계열 옷을 입고 움직이지 않는 사람을 탐지한 비율은 두 탐지기 모두 매우 낮았다.
자율주행 차량은 자신의 행동이 가져올 결과를 미리 내다봐야 한다. 충돌이 일어나는 드물고 대응 시간이 짧은 상황에서는 특히 중요하다. 월드 모델은 이런 예측을 가능하게 하지만, 학습 데이터가 포괄하는 범위 안에서만 신뢰할 수 있어 탐험과 활용 사이의 딜레마가 생긴다. 그 범위 안에서는 계획기가 데이터에 나타난 주행보다 뚜렷하게 나아지기 어렵고, 범위를 벗어나면 모델의 오차가 잘못된 판단으로 이어진다. 능숙한 주행의 로그에는 학습 범위를 넓히는 데 필요한 실패 사례가 드물다. 상호작용으로 학습하는 에이전트는 직접 실패해야 이런 사례를 얻을 수 있으며, 그 상황에서 대신 무엇을 해야 하는지는 배우지 못한다. 본 연구는 다른 주행 주체의 실패를 전문가의 판단과 함께 오프라인에서 학습하고, 이후 자신의 주행 경험으로 온라인 학습을 이어가는 SAFER를 제안한다. 오프라인에서는 부분적으로 학습한 에이전트와 사전에 정의한 복구 가능한 교란으로 시뮬레이션에서 실패를 재현한다(Stage). 전문가는 에이전트가 방문한 상태마다 취할 행동과 그 상태의 가치를 주석으로 붙인다(Annotate). 이를 통해 계획기가 탐험할 상황의 상당 부분을 주행 전에 학습 데이터에 반영한다. 계획 단계에서는 여러 시점을 묶어 처리하는 잠재 월드 모델이 실시간으로 결과를 예측하고(Foresee), 위험을 고려하는 표본 기반 계획기가 후보 주행 행동을 평가한다(Evaluate). 평가 점수는 누적 보상에서 상한을 둔 충돌 페널티를 뺀 값이다. 온라인에서는 주행이 오프라인 데이터의 범위를 벗어난 부분마다 모델을 지속적으로 개선한다(Refine). 폐루프 평가에서 SAFER는 비교 대상 중 CARLA 리더보드 경로의 최고 경로 완주율과 단계당 보상을 기록했다. 일반 차량이 얻을 수 없는 조감 시점 정보를 제공했을 때 각각 0.95와 0.77이었다. MetaDrive에서도 일반 교통 상황에서 53.4, 안전이 중요한 교통 상황에서 49.0으로 가장 높은 에피소드 보상을 달성했다. 프로젝트 페이지는 https://ys-qu.github.io/safer-website 에서 확인할 수 있다.
드론을 이동 플랫폼에 착륙시키는 시각 강화학습(RL) 정책은 착륙 패드의 외형이 학습에 사용한 것과 다르면 실패할 수 있다. 이진 표적 마스크를 시각 입력으로 사용하면 표적의 공간 표현을 유지하면서 대부분의 픽셀 수준 외형 정보를 제거하고, 텍스트 프롬프트로 표적을 지정할 수 있다. 시뮬레이션에서 가중치를 고정한 마스크 기반 DrQ-v2 정책이 미세조정된 SAM 3 탐지기의 프롬프트만 바꿔 새로운 패드에 대응할 수 있는지 시험한다. 바나나를 테마로 한 패드에서는 착륙 성공률이 75.6%에서 12.0%로 떨어졌으며, 기존 프롬프트로는 SAM 3이 패드를 거의 탐지하지 못했다. 후보 여러 개를 시험해 고른 새 프롬프트는 가중치 갱신 없이 성공률을 68.4%까지 회복시켰다. 정답 마스크로 학습한 정책을 사용한 별도 실험에서는 패드가 보이는데도 누락된 마스크를 채우는 것이 평가한 마스크 중심점 보정이나 면적 보정보다 착륙에 훨씬 큰 도움이 됐다. 시간에 걸쳐 패드를 추적하면 더 자주 마스크가 제공됐으며, 렌더링된 이미지에 패드가 없다고 확인한 뒤에도 마스크가 계속 생성됐다. 그러나 추적이 착륙 성공률을 신뢰할 만큼 개선하지는 못했다. 따라서 정책에 쓸 수 있는 마스크가 전달되는지 자체가 이 접근법의 중요한 제약 요인으로 보인다.
강화학습 에이전트는 실수에서 배우지만, 어떤 경험이 특정 결정에 영향을 줬는지 추적하기는 어렵다. 본 연구는 테이블 기반 에이전트의 결정을 잘못된 경험으로 설명할 수 있는지 조사한다. 여기서 잘못된 경험은 안전 또는 과제 관련 사건과 연결된 학습 전이다. 같은 초기 Q 테이블에서 고정된 학습 로그를 세 가지 조건으로 재현했다. FULL은 모든 갱신을 유지하고, SKIP은 잘못된 경험에 해당하는 갱신을 생략하며, NEUTRALIZE는 이 갱신을 수행하되 사건에 따른 페널티를 제거한다. 여섯 가지 고전적 마르코프 의사결정 과정에서 방법을 예시하고 CARLA의 폐루프 주행에서 평가했다. 전체 주행 과제에서 FULL은 테스트 시작점 40개 중 33개에서 목표에 도달했으나, SKIP과 NEUTRALIZE는 한 곳에서도 도달하지 못했다. 이는 잘못된 경험에 의사결정과 관련된 정보가 담겨 있음을 보여 준다. 개별 결정을 살펴보기 위해 SKIP 또는 NEUTRALIZE가 실패하기 직전의 결정 47건을 분석했다. 소수의 잘못된 경험을 제거하거나 사건 페널티를 없애자, 47건 중 46건에서 학습한 에이전트가 실패한 정책과 같은 행동을 선택했다. 제거하거나 페널티를 없앤 경험의 수는 중앙값이 한 건이었다. 이 에이전트의 결정은 잘못된 경험으로 설명할 수 있다는 점을 결과가 보여 준다.