Data, as the fundamental substrate of modern intelligence, has greatly driven the development of current foundation models. Naturally, researchers aim to extend this paradigm to the domain of GUI agents, hoping to build strong GUI agents through a similar paradigm. However, GUI agent data cannot be directly harvested from the internet, making it costly and difficult to collect at scale. As a result, current GUI agents suffer from poor cross-device generalization and limited visual grounding ability for fine-grained GUI elements. As an attempt to address data challenge in GUI agents, we propose GUICrafter, a weakly-supervised GUI agent leveraging massive unannotated screenshots to substantially reduce the reliance on expensive human annotations. GUICrafter explores a curriculum learning framework for training GUI agents through two progressive stages. First, the model learns visual grounding from large-scale unannotated screenshots and webpages, leveraging the rich contextual signals inherent in GUI interactions without human annotations. Then, in Stage 2, we leverage a small amount of high-quality data to calibrate the model via reinforcement learning. Experiments show that GUICrafter achieves competitive, or even superior, performance to advanced systems like UI-TARS while using only 0.1% of its data. Furthermore, under the same amount of annotated data, GUICrafter surpasses all previous methods such as GUI-R1. Code, data, and models are available at https://github.com/fansunqi/GUICrafter.
Recent artificial intelligence (AI) systems have shown remarkable progress in mathematical reasoning. Many existing approaches, including large language models (LLMs), draw on human prior knowledge in the form of mathematical text, code, or theorem libraries. Although these approaches are highly effective in practice, it remains an open question whether an agent can autonomously discover useful theorems without such human priors. We study this question in a formal axiomatic system by developing an agent that starts from axioms and inference rules alone and gradually grows a library of useful theorems. Concretely, we propose a self-supervised theorem-discovery algorithm that alternates between proof search and useful-theorem extraction, building a theorem library whose entries are reused as lemmas for subsequent proof search. Experiments show that the agent discovers tens of thousands of theorems and finds proofs for human-written benchmark problems, suggesting that its discoveries include theorems meaningful from a human mathematical perspective. Furthermore, the discovered theorems improve LLM proof performance when provided as prompt lemmas, indicating that they can serve as external knowledge for LLM reasoning. Our results provide evidence that useful theorems can emerge from proof search without relying on human-provided theorem libraries. More broadly, they suggest a path toward self-evolving AI systems for mathematics whose discoveries remain formally verifiable.
Light curves describe temporal variations in the brightness of celestial objects. Learning robust representations of light curves is essential for large-scale automatic discovery in the dynamic universe, but existing time-series foundation models often struggle with the uneven sampling, complex noise, and wide range of physical timescales that characterize astronomical observations. We propose a domain-informed representation learning framework for irregular astronomical time series with Joint-Embedding predictive architecture (JEPA), combining semantics-preserving views, uncertainty-aware tokenization, and multi-view self-distillation. The encoders are trained with multi-view self-distillation using LeJEPA regularization on the LEAVES dataset and evaluated on the StarEmbed classification benchmark. On StarEmbed, our model outperforms hand-crafted features on 15 of 16 classification metrics. In few-shot linear probing, it achieves macro-F1 scores of 42.56 $\pm$ 7.21 with one sample per class and 63.58 $\pm$ 1.20 with 100 samples per class, consistently improving over hand-crafted features. Beyond variable-star classification, the learned representation supports similarity search, parameter estimation, and photometric zero-point drift detection. We further evaluate cross-domain adaptation on 12 heterogeneous irregular time-series datasets from PYRREGULAR, where the adapted variant matches or exceeds previous state-of-the-art performance on 5 datasets, compared with at most 3 wins by any single prior baseline. These results demonstrate that domain-informed multi-view self-distillation is an effective strategy for learning representations of irregular time series, while also highlighting that successful time-series representation learning requires domain-specific inductive biases rather than a universally optimal architecture.
발성 노력 범위(예: 속삭임, 부드러운 목소리, 중립, 큰 소리, 고함)의 변화는 발성과 음성 음향학 특성을 바꾸며, 명료도를 떨어뜨리고 이후 음성 기술의 견고성을 제한한다. 분류는 발성 노력이 연속체 위에 놓여 있고, 인접 범주가 쉽게 혼동되며, 레이블이 붙은 데이터가 여전히 부족하기 때문에 어렵다. wav2vec2, HuBERT, AST를 사용한 기존 자기지도 학습(SSL) 접근법은 AVID 코퍼스에서 성능을 개선하지만, 여전히 경계 오류에 시달린다. 본 연구에서는 발성 노력 분류에 WavLM을 처음으로 도입하고, wav2vec2 및 HuBERT와 벤치마크 비교한다. 데이터 부족 문제를 해결하기 위해, RIR 합성곱, 가산 노이즈, 시간 마스킹, 속도 perturbation, 대역 제한, MixUp, CutMix를 포함한 증강 전략에 대한 체계적 연구를 수행한다. 데이터 증강은 WavLM을 일관되게 개선하며, 절대값 기준 +0.6%에서 +1.8%의 향상을 보인다. 또한 가우시안 이웃 소프트 레이블을 제안하며, 이는 발성 노력 연속체를 모델링함으로써 경계 근처 혼동을 더욱 줄인다. 점진적 언프리징, 데이터 증강, 가우시안 이웃 소프트 레이블을 적용한 WavLM-BASE 최종 시스템은 평균 정확도 78.2%를 달성하여 AVID에서 새로운 최신 기록(state-of-the-art)을 수립한다.
LLM은 세계 모델(world model)의 특수 사례라는 형식적 포함 관계를 증명하며, 토큰 상태 공간과 단일 토큰 행동이라는 제약을 하나씩 완화해 가는 NTP에서 JEPA까지의 연속 스펙트럼을 제안한다. 다중 토큰 예측(multi-token prediction), 미래 요약 예측, 잠재 상태 예측(next-latent prediction)을 중간 단계로 분석하며, 스펙트럼 끝단으로 갈수록 인터넷 규모 자기지도 데이터와 트랜스포머 아키텍처라는 두 가지 실용적 이점을 점진적으로 잃게 됨을 밝힌다.
고해상도 위성 영상에 대한 수요 증가로, Sentinel-2와 같은 무료 공개 미션과 PlanetScope와 같은 상업 시스템 간의 공간 해상도 격차를 해소하기 위한 초해상화(super-resolution, SR)에 대한 관심이 높아졌다. 어떤 센서도 진정한 저해상도-고해상도 쌍 관측을 제공하지 않기 때문에, SR 모델은 보통 합성적으로 저하된 데이터로 학습되며, 이는 실제 교차 센서 영상에서 도메인 갭(domain gap)을 만든다. 본 연구에서는 이러한 합성-실제(synthetic-to-real) 불일치가 현대 확산(diffusion) 기반 SR 모델의 성능에 어떤 영향을 미치는지에 대한 최초의 체계적 연구를 제공한다. 기하학적·시간적으로 정렬된 대규모 Sentinel-2 및 PlanetScope 영상 데이터셋을 사용하여, 통제된 실험 설정 하에서 다섯 가지 최신(state-of-the-art) 확산 아키텍처를 평가한다. 또한 Sentinel-2 자기지도(self-supervised) 특징 기반의 도메인 적응형 지각(perceptual) 지표인 LPIPS-Sat를 제안한다. 결과는 두 가지 지속적인 과제를 보여준다: 합성 데이터로 학습된 모델은 실제 쌍(real pairs)에서 급격히 성능이 저하되며, 실제 교차 센서 데이터로 학습된 모델은 최적화(optimization) 어려움을 보이고 물리적·방사측정(radiometric) 다양성에 적응하는 데 어려움을 겪는다. 이러한 발견은 현재 SR의 핵심 한계를 부각시키며, 초해상화와 도메인 적응(domain adaptation)을 분리(disentangle)하는 방법을 촉구한다.
본 논문은 곱셈적 균일(Multiplicative Uniform) 노이즈로 손상된 관성 구속 핵융합(Inertial Confinement Fusion, ICF) 이미지에 대한 자기지도 노이즈 제거 프레임워크인 Log-Domain Noisier2Inverse 프레임워크의 구현과 평가를 기술한다. 이 프레임워크는 본 연구에서 개발 및 분석되었으며, 핵심 이론적 결과—로그 영역 자기지도 손실을 최소화하는 것이 변환된 영역에서의 지도 학습과 동등하다는 것—는 완전한 증명과 함께 제시된다. ICF 영상의 고유한 특성에서 기인한 상당한 구현상의 어려움을 기록하고, 각 단계에서 적용한 수정 사항을 설명하며, 최종 정량적 결과를 보고한다. 이미지당 JSON Uniform 노이즈 로딩을 사용하는 로그 영역 접근법(Variant~B)이 최고의 결과를 달성한다: 평균 PSNR $21.41\db$, SSIM $0.8358$로, 노이즈 입력 기준선 $1.95\db$ 대비 $+19.46\db$ 향상이며, BM3D 로그 영역($4.47\db$, SSIM $0.5181$)과 Noise2Self($4.75\db$, SSIM $0.0177$)를 크게 능가한다. 고정 가우시안 노이즈 로딩을 사용하는 Variant~A는 PSNR $21.39\db$, SSIM $0.8436$을 달성한다. 평가된 세 방법 중 Log-Domain Noisier2Inverse와 Noise2Self는 학습 중 완전히 자기지도이며 깨끗한 정답(ground truth) 데이터가 필요 없다. BM3D는 전통적인 필터 기반 방법으로 학습 자체가 필요 없다. 깨끗한 참조 이미지는 세 방법 모두의 정량적 평가에만 사용된다.
지리적 위치 인코더(geolocation encoder)는 지리 좌표를 학습된 표현으로 매핑하며, 위도-경도 쌍만으로 시각적 및 비시각적 특성을 포착하는 효과적인 수단으로 부상하고 있다. 그러나 기존 접근법은 좌표를 고정 기저(예: 구면 조화 함수(spherical harmonics))에 투영하여 표현 용량을 균일하게 할당하고, 공해와 개발 중인 도시에 동일한 자원을 할당한다. 우리는 Tessellating the Earth(TTE)를 제안한다. 이는 학습 가능한 구면 Voronoi 분할(spherical Voronoi partition)로 구성된 위치 인코더로, 완전히 미분 가능한 end-to-end 방식으로 필요한 곳에 표현 용량을 집중한다. 각 Voronoi 사이트는 고유한 임베딩을 가지며, 학습 동안 변별력 있는 영역을 향해 이동한다. 지역적 공간 구조와 전역적 의미 이해 사이의 격차를 메우기 위해, 우리는 전역 의미 토큰(global semantic tokens)을 도입한다. 이는 위성 영상의 의미 지식을 위치 인코더가 추론 시 참조할 수 있는 간결한 어휘로 증류하는 공유 학습 가능 개념 토큰(concept token) 집합으로, 지리적으로 멀리 떨어져 있으면서 유사한 환경을 아우르는 사이트들이 의미를 공유할 수 있게 한다. TTE는 일련의 지리공간 분류 및 회귀 작업에서 위치 인코더의 새로운 최첨단 성능을 달성하며, iNaturalist-2018에서 세밀한 종 분류를 위한 지리적 사전(geographic prior)으로 사용할 때 가장 강력한 결과를 얻는다. 코드와 가중치는 https://github.com/mvrl/TTE 에서 이용할 수 있다.
월드 액션 모델(WAM)은 행동 조건부 하에서 미래 환경 진화를 모델링하며, 자율주행을 위한 확장 가능한 패러다임을 제공한다. 그러나 기존 접근법은 대체로 모델 아키텍처 설계에 집중하고 있으며, WAM이 계획을 위해 더 나은 세계 표현을 어떻게 효율적으로 학습할 수 있는지는 아직 충분히 탐구되지 않았다. 이 공백을 해소하기 위해, 우리는 자율주행 월드 액션 모델을 위해 특별히 설계된 최초의 표현 학습 프레임워크인 ReWorld를 제안한다. WAM에서 표준 학습은 생성 및 계획 모듈의 출력 단만을 감독하며, 세계 지식을 담은 중간 표현은 이러한 출력을 맞추는 부산물로만 간접적으로 형성된다. ReWorld의 핵심 아이디어는 중간 표현을 최적화의 직접적 목표로 간주하고, 세 가지 상보적 차원을 따라 이를 형성하는 것이다. 생성을 담당하는 Video DiT에 대해, 중간 표현에 미래 예측 감독을 부과한다. 계획을 담당하는 Action DiT에 대해, 먼저 중간 표현을 비디오 세계 표현과 교차 모달적으로 정렬하고, 이어 hard-negative 감독을 통해 안전 중요 경계 주변에서 판별력 있게 추가로 형성한다. 또한, 비디오 생성 월드 모델에서 기존 표현 학습 방법의 효과를 체계적으로 분석하고, 이 과제에서 그 성능이 제한적인 이유를 논의한다. nuScenes 및 NAVSIM에서의 실험은 ReWorld가 FVD에서 파인튜닝된 비디오 생성을 23.9% 개선하고(81.3에서 61.9), RL이나 후처리와 같은 사후 학습 없이 폐루프 PDMS를 89.1에서 90.4로 높이며, 처음부터의 수렴을 약 2배 가속한다는 것을 보여준다.
비강체 3D 형상 매칭을 위해 coarse-to-fine 전략과 Laplacian basis·elastic basis를 쓰는 이중 분기 functional map 학습을 결합한 하이브리드 자기지도 학습 방법을 제안하고, 거친 매핑과 정제 모듈의 대응 관계 일관성을 보장한다. 최소제곱 최적화와 파인튜닝을 줄여 계산 효율을 유지한 채 비등각 변형·위상 노이즈 등 어려운 설정에서 최첨단 매칭 성능을 달성하고, 대조(contrastive) 에너지가 특징 변별력을 높여 기존 방법에도 일관된 향상을 보인다.
현대의 비전-언어 모델(VLM)과 VLA 시스템은 시각 인코더로 SigLIP2와 같은 기성 ViT를 흔히 채택하지만, 지연 시간, 시간적 모델링, VLM 통합 등 다양한 다운스트림 요구사항은 종종 최첨단 수준의 커스텀 ViT를 요구한다. 이러한 인코더 학습은 대규모 이미지-텍스트 데이터를 필요로 하는 데다, 표준 소프트맥스 어텐션이 고해상도 또는 동적 해상도 사전학습을 지나치게 비용이 많이 들게 만들어 저해상도 사전학습 후 사후 적응(post-hoc adaptation)을 강제하는 경우가 많기 때문에, 커뮤니티 대부분의 역량 밖에 놓여 있다. TuringViT는 세 가지 핵심 설계로 이러한 문제를 해결한다: 효율적인 시퀀스 모델링을 위한 Turing Linear Attention(TLA), 감독 정보가 풍부한 이미지-비디오 학습 데이터를 구축하는 VISTA-Curation, 그리고 처음부터 유연한 입력을 지원하며 다운스트림 VLM으로 원활하게 전이되는 네이티브 동적 해상도 사전학습이다. 그 결과 TuringViT는 데이터의 10%만으로 선도적인 오픈소스 ViT 기준 모델을 능가하고, 더 강력한 다운스트림 VLM 성능을 달성하며, 고해상도 입력에서 지연 시간 스케일링 측면에서 실질적으로 더 나은 성능을 보인다. 스케일링 법칙 분석에서는 TuringViT가 큐레이션된 데이터 규모에 따라 포화에 이르지 않고 예측 가능하게 지속적으로 향상됨을 보여 준다. 빠른 적응성, 하드웨어 친화적 설계, 효율적인 배포 덕분에 TuringViT는 XPeng의 AI 시스템 전반에 걸친 통합 시각 기반 모델로 자리 잡았다. 더 나아가 TuringViT는 커뮤니티가 최첨단 수준의 ViT를 학습, 커스터마이징, 배포하는 비용을 획기적으로 낮추는 재현 가능한 파이프라인을 제공하며, 이러한 비전 트랜스포머를 모두에게 접근 가능하게 만드는 방향으로 나아간다.
대비 언어-이미지 사전학습(CLIP)과 정렬하여 3D 인코더를 사전학습하는 방식은 3D 장면 이해를 위한 일반화 가능한 표현을 학습하는 유망한 방향으로 떠오르고 있다. 본 논문에서는 다중 뷰 컬러 포인트맵으로부터 통합 장면 표현을 학습하고, 이미지 외관과 기하를 공동으로 모델링하는 트랜스포머 기반 인코더 UniScene3D를 제안한다. 견고한 컬러 포인트맵 표현 학습을 위해, 뷰 간 기하 및 의미적 일관성을 강제하는 새로운 교차-뷰 기하 정렬(cross-view geometric alignment)과 그라운딩된 뷰 정렬(grounded view alignment)을 도입한다. 시점 그라운딩, 장면 검색, 장면 유형 분류, 3D VQA에 대한 광범위한 로우샷 및 과제별 미세조정 평가에서 최신 성능을 입증하였다. 이러한 결과는 통합 3D 장면 이해를 위한 우리 접근법의 효과를 보여준다. https://yebulabula.github.io/UniScene3D/
제로샷 MRI 재구성은 생성적 사전분포에 의존하지만, 단일 모달리티의 무조건적 사전분포는 심각한 ill-posedness(역문제의 불안정성) 하에서 환각을 유발한다. 많은 임상 워크플로에서 보완적인 MRI 촬영(예: 고품질 구조 스캔)이 일상적으로 확보되지만, 기존 재구성 방법은 이러한 추가 정보를 활용할 메커니즘이 부족하다. 우리는 MPFlow를 제안한다. 이는 rectified flow 기반의 제로샷 다중 모달 재구성 프레임워크로, 생성적 사전분포를 재학습하지 않고 추론 시점에 보조 MRI 모달리티를 통합하여 해부학적 충실도를 개선한다. 교차 모달 가이던스는 우리가 제안한 자기지도 사전학습 전략인 Patch-level Multi-modal MR Image Pretraining(PAMRI)에 의해 가능해지며, PAMRI는 모달리티 간 공유 표현을 학습한다. 샘플링은 사전학습된 PAMRI를 사용한 데이터 일관성과 교차 모달 특징 정렬에 의해 공동으로 유도되어, 내재적 및 외재적 환각을 체계적으로 억제한다. HCP와 BraTS에 대한 광범위한 실험에서 MPFlow는 샘플링 스텝의 20%만 사용하면서도 이미지 품질 측면에서 diffusion 베이스라인에 필적하며, segmentation dice score 기준으로 종양 환각을 15% 이상 감소시킨다. 이는 교차 모달 가이던스가 더 신뢰할 수 있고 효율적인 제로샷 MRI 재구성을 가능하게 함을 보여준다.
자기지도 학습(SSL)과 확산 모델은 각각 고차원 3D 시각 데이터에 대한 표현 학습과 생성 모델링을 발전시켜 왔지만, 종종 별개의 패러다임으로 개발된다. 다중 출처 이질성 하에서의 통합은 여전히 어려운 과제인데, 해부학적 내용은 분석을 위해 보존되어야 하는 반면 촬영 관련 스타일은 센터 간에 달라지며 합성에 영향을 미치기 때문이다. 본 논문에서는 변분 오토인코더 잠재 공간에서 3D 의료 영상 분리 통합 사전학습(3D Medical image Disentangled UnifiEd PreTraining) 프레임워크인 MeDUET를 제안한다. MeDUET는 통합 사전학습을 경험적 인자 식별 가능성 문제로 공식화하여, 해부학을 위한 도메인 불변 내용 인자와 외관을 위한 도메인 특이적 스타일 인자를 학습하는 것을 목표로 한다. 인자 분리를 개선하기 위해 MeDUET는 먼저 표준 적대적 도메인 정규화와 함께 토큰 디믹싱(token demixing)을 사용하여 기본적인 내용-스타일 특화를 확립하고, 더 나아가 Mixed Factor Token Distillation과 Swap-invariance Quadruplet Contrast를 도입하여 혼합 영역 인자 누출을 줄이고 인자별 불변성과 판별 가능성으로 인자 공간을 구조화한다. 이렇게 학습된 인자를 통해 MeDUET는 합성과 분석 모두에 효과적으로 전이되어, 합성에서는 더 높은 충실도, 더 빠른 수렴, 더 나은 제어 가능성을 제공하고, 다양한 데이터셋, 태스크, 모달리티에서 경쟁력 있거나 우수한 도메인 일반화와 레이블 효율성을 달성한다. 전반적으로 MeDUET는 다중 출처 이질성이 유용한 감독 신호로 활용될 수 있음을 보여주며, 분리(disentanglement)가 3D 의료 영상 합성과 분석을 통합하는 효과적인 인터페이스를 제공함을 시사한다. 코드는 https://github.com/JK-Liu7/MeDUET 에서 제공된다.
JEPA 기반 월드 모델의 사전학습을 조건부 스펙트럴 그래프 학습으로 공식화하고, 목적 함수가 행동 조건부 동시 발생 행렬의 저랭크 분해와 동치임을 보여 최초의 일반화 이론을 제시한다. 이를 통해 사전학습 오류와 하류 플래닝 regret을 연결한 유한 표본 일반화 상한을 도출했으며, 잠재 차원에 따른 근사 오류와 표본 오류의 트레이드오프가 잠재 예측 모델의 장단점을 설명한다.
X선 CT 복원에서 정답 영상 없이 Learned Primal-Dual 기반 반복 복원 연산자를 학습하기 어려운 한계를 해결하기 위해 Noise2Inverse 프레임워크를 확장한 N2I-LPD를 제안한다. CT 스캔 각도 회전에 따른 측정값 간 잡음의 통계적 독립성을 활용한 자기지도 학습으로, 고전적 복원법과 동일 N2I 설정의 U-Net 대비 향상된 복원 품질을 보였다.
금융 서비스에서 로그인 전 웹 클릭스트림의 의도 신호가 인증 이후 개인화에 충분히 쓰이지 못하는 문제를 해결하기 위해, 자기 지도 Transformer가 다중 모달 클릭스트림을 세션 임베딩으로 인코딩하고 LLM 기반 분류체계 생성·지식 증류로 해석 가능한 의도 레이블을 함께 만드는 이중 목적 프레임워크를 제안한다. 프로덕션 모바일 홈페이지 타일 랭킹에서 매크로 Recall@1이 1.88% 향상되고 로그 손실이 13.38% 감소했으며, 증류 분류기는 LLM 호출 없이 초저지연으로 해석 가능한 레이블을 제공한다.
시각적 계획에서 LeWorldModel(LeWM)의 반복적 단일 단계 잠재 롤아웃이 계산 비용과 누적 오류를 키우는 문제를, 행동 접두 문맥(action prefix)을 병렬로 예측하는 Fast LeWorldModel(Fast-LeWM)이 대체한다. 여러 태스크에서 LeWM 대비 평균 성공률을 높이면서 계획 시간을 크게 줄이고, 개방 루프 잠재 손실과 그 지평선 증가 속도도 완화한다.
우리는 대조(contrastive) 목표를 사용한 자기지도 특허 표현 학습을 연구한다. 표준 기준선은 독립적인 드롭아웃 마스크 하에서 동일한 텍스트를 두 번 인코딩하여 positive를 구성하지만, 이 방식을 길고 구조화된 특허 문서에 적용하려면 신중한 보정이 필요하다. 드롭아웃만 사용하는 학습은 temperature와 드롭아웃 비율을 튜닝하면 상당히 강화될 수 있음을 보이지만, 최적 구성은 평가에 따라 달라지며 title–abstract 검색에서 claim-to-disclosure 검색으로 균일하게 전이되지 않는다. 우리는 mixed dropout–section positives를 제안한다. 이는 특허 특화 view 구성 전략으로, anchor는 title–abstract view이고 positive는 동일 view의 드롭아웃 재인코딩에서 샘플링하거나 claims, summary, background, drawings, description 같은 동일 특허의 다른 section에서 샘플링한다. 이는 IPC 라벨, 인용, relevance annotation 없이 특허 내부 구조를 학습 시점 신호로 사용한다. graded EPO search-report retrieval, 최근 제안된 family-level 특허 검색 벤치마크인 DAPFAM, IPC subclass 분류에서 평가한다. Section 기반 positive는 보정된 드롭아웃 전용 및 일반적인 title–abstract augmentation 기준선보다 개선되며, citation-informed 특허 encoder 및 범용 임베딩 모델과 경쟁력 있고, DAPFAM의 out-of-domain split에서 강한 성능을 보인다. 추가적인 cross-section alignment 진단은 section-pair 학습이 동일 발명의 abstract, claims, description 간 호환성을 개선함을 보여준다. 이러한 결과는 특허 section이 dense 특허 표현 학습을 위한 효과적인 자기지도 positive view를 제공함을 나타낸다.
자율 로버는 정밀 농업(precision farming)에 없어서는 안 될 존재가 되었지만, 일관된 운영 안전성을 확보하는 것은 여전히 중요한 과제로 남아 있다. LiDAR와 같은 기존 안전 센서는 식물 수관 아래에 위치한 장애물을 탐지하지 못해 상당한 위험을 초래한다. 카메라 기반 지도 학습(supervised learning) 방법은 일반적인 객체를 탐지할 수 있지만, 학습 데이터에 포함되지 않았던 장애물에 직면하면 성능이 크게 저하된다. 비지도 이상 탐지(unsupervised anomaly detection)는 환경의 정상적인 시각적 패턴을 학습함으로써 해결책을 제시하지만, 이동하는 로버가 촬영하는 동적 장면에서는 종종 실패한다.
본 논문은 동적 농업 장면에서의 실시간 장애물 탐지를 위해 설계된 완전 비지도 방법인 Video Memory Transformers for Anomaly Detection(VMTAD)를 제안한다. VMTAD는 전용 메모리 모듈로 보강된 트랜스포머 기반 아키텍처를 활용한다. 이 메모리 모듈은 선행 프레임의 인코딩된 표현을 처리함으로써 시간적 컨텍스트(temporal context)를 활용한다. 이 접근 방식은 로봇의 이동으로 인한 동적 컨텍스트를 효과적으로 다룰 수 있게 한다. 이 모델은 정상 운영을 나타내는 이미지만으로 학습되며 데이터 레이블이 필요하지 않다.
VMTAD는 'Grillion' 농업 로버에서 엄격하게 평가되었다. 도전적인 유채(rapeseed) 데이터셋에서 VMTAD는 최신(state-of-the-art) 성능을 달성하여 탐지 0.973 및 분할(segmentation) 0.997의 수신자 조작 특성 곡선 아래 면적(Area Under the Receiver Operating Characteristic curve)에 도달했다. 경량 변형은 높은 정확도와 실시간 추론(14 ms)의 최적 균형을 제공하며, 이는 로버의 총 제동 거리에 대한 분석을 통해 확인된 바와 같이 안전에 매우 중요하다.