arXiv:2412.09701

CUAL: Continual Uncertainty-aware Active Learner

Amanda Rios, Ibrahima Ndiour, Parual Datta, Jerry Sydir, Omesh Tickoo, Nilesh Ahuja

제출 2024-12-12

원문 초록

AI deployed in many real-world use cases should be capable of adapting to novelties encountered after deployment. Here, we consider a challenging, under-explored and realistic continual adaptation problem: a deployed AI agent is continuously provided with unlabeled data that may contain not only unseen samples of known classes but also samples from novel (unknown) classes. In such a challenging setting, it has only a tiny labeling budget to query the most informative samples to help it continuously learn. We present a comprehensive solution to this complex problem with our model "CUAL" (Continual Uncertainty-aware Active Learner). CUAL leverages an uncertainty estimation algorithm to prioritize active labeling of ambiguous (uncertain) predicted novel class samples while also simultaneously pseudo-labeling the most certain predictions of each class. Evaluations across multiple datasets, ablations, settings and backbones (e.g. ViT foundation model) demonstrate our method's effectiveness. We will release our code upon acceptance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2406.07089v4cs.CV공통 태그 AI Agent공식 코드 · Papers with Code

RS-Agent: 지능형 에이전트를 통한 원격 탐사 작업 자동화

RS-Agent: Automating Remote Sensing Tasks through Intelligent Agent

최근 멀티모달 대규모 언어 모델(MLLM)의 발전은 시각적 질의응답 및 장면 이해와 같은 원격 탐사 작업에서 가능성을 보여주었다. 그러나 기존 모델들은 기본적인 인스트럭션 팔로잉에 머물러 있으며, 다중 소스 데이터 통합, 세밀한 공간 추론, 도메인 전문 지식을 요구하는 실세계 시나리오에서는 한계를 보인다. 이러한 격차를 해소하기 위해, 우리는 구조화된 작업 계획 및 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트 RS-Agent를 제안한다. RS-Agent는 전형적인 원격 탐사 워크플로우에 맞춰 네 가지 구성요소로 이루어진다: 의도 이해 및 프로세스 계획을 위한 중앙 컨트롤러(Central Controller), 도구 실행을 위한 동적 툴킷, 작업별 전문가 가이던스를 위한 솔루션 공간(Solution Space), 그리고 도메인 지식 지원을 위한 지식 공간(Knowledge Space)이다. 또한 작업 유형을 식별하고 전문가 정의 솔루션을 검색함으로써 계획 수립을 향상시키는 Task-Aware Retrieval과, 검색된 지식의 관련성과 완전성을 높이는 가중 이중 경로 검색-증강 생성(RAG) 방법인 DualRAG를 새롭게 도입한다. RS-Agent는 광학 영상과 SAR(합성 개구 레이더) 영상을 포함한 다양한 촬영 모달리티를 기본 지원하며, SAR 전용 처리 도구를 실행 가능한 워크플로우로 자동 구성할 수 있다. 9개 데이터셋과 18개 원격 탐사 작업에 대한 실험 결과, RS-Agent는 최신 MLLM 대비 현저히 높은 성능을 달성하였으며, 95% 이상의 작업 계획 정확도와 장면 분류, 객체 계수, 원격 탐사 시각적 질의응답에서 우수한 결과를 보였다. 이 결과는 지능형 지리공간 분석을 위해 LLM 추론과 원격 탐사 전문성을 결합하는 것의 가치를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.