선박 궤적 예측은 해상 항해 시 필수적인 작업입니다. 이는 인간 항해사와 무인 수상정(autonomous surface vessel) 모두에 적용됩니다. 궤적 예측을 통해 충돌 회피와 같은 서브루틴이 상황을 파악하고 제때 적절히 대응할 수 있습니다. 본 논문에서는 협수로에서 수상정의 궤적 예측을 위한 트랜스포머(Transformer) 및 퍼포머(Performer) 모델을 연구합니다. 널리 활용되는 선박 자동 식별 장치(AIS)의 위치 데이터를 사용하여 후보 모델들을 학습(training)하고 평가(evaluation)합니다. 각 에이전트(agent) 주변 국소 영역에서 다른 선박들이 어떻게 이동했는지에 대한 과거 정보는 위치 히트맵을 통해 전달됩니다. 이 히트맵은 커널 밀도 추정(KDE)을 사용하여 생성되며, 트랜스포머 모델에 입력되기 전에 합성곱 신경망(CNN)으로 인코딩됩니다. 시의적절한 충돌 회피에 결정적인 모델 인식 예측 구간(prediction interval)을 효율적으로 도출하기 위해 모델은 분위수 손실(quantile loss)로 학습됩니다. 제안된 모델 구조는 이전 연구보다 크게 뛰어난 성능을 보이는 것으로 나타났으며, 국소 히트맵을 포함함으로써 이전 위치 정보만으로는 알 수 없는 선박의 움직임을 예측할 수 있게 됩니다.
센서 및 인공지능(AI) 기술의 급속한 발전과 함께, 지능형 수상 차량(ISV)은 학계와 산업계에서 점점 더 많은 주목을 받고 있다. ISV의 지능성, 신뢰성, 안전성은 복잡한 항법 환경에서의 상황 인식에 크게 의존한다. 고품질 인식을 달성하기 위해, 우리는 자동 선박 식별 시스템(AIS), 레이더, RGB 카메라를 포함한 상호 보완적 센서를 활용하여 NavEYE라는 비전 중심 다중 센서 융합 시스템을 개발한다. 구체적으로, 우리는 먼저 저시간해상도 AIS 데이터와 고시간해상도 레이더 데이터를 정확하게 매칭하기 위한 다중 제약 게이트 데이터 연관 방법(MCGA)을 제안한다. 이후 거리 인식 적응형 가중치 융합(DAWF)과 적시성 감쇠 기반 스티칭 융합(TDSF)을 선택적으로 적용하여 융합 결과를 얻으며, 이는 실세계 감지 시나리오에서 AIS 또는 레이더 데이터 손실로 인한 불확실성을 줄인다. 정확하고 강인한 시각적 객체 검출을 기반으로, 정규화된 방위각 및 거리 특징의 결합 제약을 통해 AIS, 레이더, 시각 데이터를 추가로 연관 및 융합한다. 융합 결과에 따라 관심 선박과 관련된 종합적인 정보를 자동으로 획득할 수 있으며, 이는 ISV의 상황 인식 향상과 충돌 위험 감소에 기여한다. 제안된 다중 센서 융합 방법 및 상황 인식 시스템의 실현 가능성, 강인성, 사용성, 효과성은 AIS, 레이더, 카메라에서 수집된 실세계 감지 데이터셋에 대한 광범위한 실험을 통해 입증된다. 실험 결과는 정량적 및 정성적 평가 모두에서 우리의 융합 방법의 우수한 성능을 보여준다. 또한, 선상 NavEYE 시스템은 복잡하고 동적인 환경에서 ISV의 항법 안전성을 향상시킬 수 있다.