대규모 비전-언어 모델(VLM)은 고정된 클래스 집합을 넘어서는 인식을 가능하게 하지만, 높은 연산 요구량으로 인해 많은 엣지 디바이스에서는 실행할 수 없다. 클라우드 오프로드(cloud offload)를 통해 이러한 기능을 활용할 수 있지만, 모든 이미지를 전송하는 것은 제한된 대역폭과 통신 에너지를 소모한다. 우리는 엄격한 연산량, 에너지, 대역폭 예산 안에서 VLM의 오픈월드 인식 능력을 엣지로 가져오는 방법을 탐구한다. 야생동물 모니터링은 배포 시점에 알려지지 않은 종을 카메라 트랩이 마주치기 때문에 이 문제를 탐구하기에 자연스러운 환경을 제공한다. 우리는 클라우드 VLM을 간헐적으로 호출하여 소형 엣지 모델에 새로운 클래스를 학습시키는 자율적 오픈월드 인식 시스템인 Scout를 제시한다. 배포 위치와 (개체가 없는) 빈 현장 프레임만 주어지면, Scout는 사전 정의된 종 목록, 사람에 의한 레이블링, 수동 튜닝 없이도 VLM이 식별한 각 종을 자원 효율적인 엣지 모델 내의 지속적이고 현장 조건부(site-conditioned) 인식 능력으로 자율적으로 전환한다. NVIDIA Jetson Orin Nano 상에서 세 개 지역에 걸친 30개의 카메라 트랩 배포 환경에서, Scout의 정확도는 사전 정의된 종 목록이 주어진 모델 대비 0.1~2.5% 이내로 유지된다. 초기 클래스 집합에 포함되지 않은 종에 대해서는 Scout가 53.7~59.1%의 정확도를 달성하며, 이는 전체 클라우드 오프로드의 56.5~65.1%와 비교되는 수치이고, 동시에 배포 에너지는 59~71% 더 적게 사용한다.
대규모 카메라 트랩 데이터셋에서 비디오를 자동으로 검색하는 것은 여전히 어려운 과제다. 대규모 비디오-언어 모델(VLM) 기반 텍스트-투-비디오 검색(TVR) 방법은 간단한 텍스트 쿼리로 관심 이벤트를 설명하여 검색하는 데 잠재력을 지닌다. 그러나 현재 방법들은 시공간적 이해가 부족하고 생태학적 데이터에 잘 일반화되지 않는다. 본 연구에서는 최초의 카메라 트랩 TVR 벤치마크인 Prompting-MammAlps를 소개하고, 세밀하고 해석 가능한 TVR 방법을 제안한다. 구체적으로, 시공간 행동 위치 추정을 수행하는 비전 트랜스포머를 학습시키고, 그 출력을 각 비디오를 설명하는 구조화된 텍스트로 변환한다. 독립적으로, 동물행동학에서 영감을 받은 쿼리는 대규모 언어 모델(LLM) 기반 코딩 에이전트에 의해 처리되어 비디오별 구조화된 텍스트를 파싱하고 이에 따라 비디오를 검색한다. LLM의 환각 위험을 최소화하고 방법의 해석 가능성을 향상시키기 위해, LLM이 커스텀 파싱 라이브러리의 함수를 활용하도록 했다. Prompting-MammAlps 벤치마크에 적용된 이 검색 방법은 135개의 생태학적으로 관련된 쿼리와 775개의 후보 비디오로 구성된 테스트 셋에서 집합 기반 F1 점수 34%를 달성했다. 비교적으로, 최고의 제로샷 VLM은 F1 점수 18%를 달성하는 데 그쳤으며 해석 가능성 또한 부족했다. 프로젝트 페이지: https://cnai.epfl.ch/prompting-mammalps
카메라 트랩 영상에서 갈색 울부짖는 원숭이(Alouatta guariba)를 자동 탐지하기 위해 실제 데이터와 Unity로 생성한 합성 데이터를 혼합하여 YOLOv10을 파인튜닝하는 방법을 제안한다. 보조 데이터셋(인간 및 비인간 영장류 이미지)과 합성 데이터의 비율을 변화시키며 실험한 결과, 데이터 다양성 확대가 탐지 모델의 일반화 성능 향상에 기여함을 보여 캐노피 브릿지 모니터링 자동화를 통한 야생동물 보전 효율화 가능성을 제시한다.
무선 연결이 제한된 야외 환경에서 동물 재식별(Animal Re-ID) 추론을 마이크로컨트롤러(MCU)에서 직접 실행하기 위해, 지식 증류의 한계를 분석한 뒤 MobileNetV2 백본의 너비와 깊이를 64×64 저해상도 입력에 맞게 체계적으로 스케일링한 소형 CNN 모델을 제안한다. 6개의 공개 동물 재식별 데이터셋에서 모델 크기를 100배 이상 축소하면서도 경쟁력 있는 검색 정확도를 달성했으며, Arduino Nano 33 BLE Sense에서 개체당 3장만으로 적응 가능한 완전 온디바이스 추론을 실증했다.
실제 보존 현장 배치를 위한 야생동물 모ni터링 확장은 심각한 어노테이션 부족 환경에서 작동하는 스마트 센서의 자동화된 분석을 필요로 한다. 우리는 다중모달 모니터링 파이프라인에 대한 어노테이션 없는 검증 신호로 종 활동 패턴에 대한 전문가 지식을 활용할 것을 제안한다. 우리는 합의를 서로 간, 그리고 발표된 행동 사전(prior)과도 정렬되는 독립적으로 도출된 시간당 활동 곡선의 정렬로 운영화한다—이는 공유 데이터 교란 요인과 데이터셋 내부 상관을 대안적 설명으로 배제하는 삼방 수렴(three-way convergence)이다. 비전 파이프라인은 BioCLIP 2를 통한 제로샷(zero-shot) 종 탐지, 배치 제약이 있는 카메라 위치를 처리하기 위한 슬라이스 추론(sliced inference), 카메라 트랩 영상으로부터 기하학 기반 지리적 위치 추정을 결합한다. 음향 파이프라인은 파인튜닝(fine-tuning)된 분류기를 통해 종 발성(vocalization)을 탐지한다. 우리는 Milu 사슴 번식 무리에 대해 파이프라인을 검증하고, 두 모달리티 모두 최소한의 수동 어노테이션으로 알려진 사슴 행동 생태학과 일치하는 활동 패턴을 독립적으로 복원함을 보여준다. 이 프레임워크는 시각 및 음향 모달리티 모두에서 탐지 가능하고 문헌에 행동 사전이 기록된 종에 적용 가능하며, 보존 규모의 자가 검증(self-validating) 야생동물 모니터링 파이프라인을 향한 실용적 경로를 시사한다.