Adaptive User-centered Neuro-symbolic Learning for Multimodal Interaction with Autonomous Systems
원문 초록
Recent advances in machine learning, particularly deep learning, have enabled autonomous systems to perceive and comprehend objects and their environments in a perceptual subsymbolic manner. These systems can now perform object detection, sensor data fusion, and language understanding tasks. However, there is a growing need to enhance these systems to understand objects and their environments more conceptually and symbolically. It is essential to consider both the explicit teaching provided by humans (e.g., describing a situation or explaining how to act) and the implicit teaching obtained by observing human behavior (e.g., through the system's sensors) to achieve this level of powerful artificial intelligence. Thus, the system must be designed with multimodal input and output capabilities to support implicit and explicit interaction models. In this position paper, we argue for considering both types of inputs, as well as human-in-the-loop and incremental learning techniques, for advancing the field of artificial intelligence and enabling autonomous systems to learn like humans. We propose several hypotheses and design guidelines and highlight a use case from related work to achieve this goal.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
REAL-OW: 저랭크 적응과 이중 단계 객체성 모델링을 활용한 리허설 없는 개방 세계 객체 검출
REAL-OW: Rehearsal-free Open World Object Detection with Low-Rank Adaptation and Dual-Stage Objectness Modeling
개방 세계 객체 검출(OWOD)은 검출기가 이전에 본 적 없는 객체를 미지(unknown)로 식별하고, 기존에 획득한 지식을 보존하면서 이를 점진적으로 알려진 카테고리 집합에 통합할 것을 요구한다. 기존 프레임워크는 파국적 망각(catastrophic forgetting)을 완화하기 위해 예시 리플레이(exemplar replay)에 크게 의존하지만, 일부 실제 응용 환경에서는 원시 데이터 저장이 데이터 접근 제한과 충돌하고 데이터 노출 위험을 초래하며 상당한 메모리 오버헤드를 야기한다. 본 논문에서는 저랭크 적응(LoRA, Low-Rank Adaptation) 기반의 협력적 어댑터 아키텍처를 통해 점진적 지식을 분리하는 새로운 리허설 없는 프레임워크인 REAL-OW를 제안한다. 구체적으로, 백본에 일반 어댑터(GA, General Adapter)를 배치하여 교차 태스크 범용 표현의 중요도 인식 정제를 가능하게 하고, 디코더의 특정 어댑터(SA, Specific Adapter)는 태스크별 전문 지식의 직교 저장을 제공한다. 리허설 없는 제약 조건 하에서 객체성 모델링의 표현 드리프트를 해결하기 위해, 특징 집계와 경계 통합을 교대로 수행하여 객체성 분포를 안정화하고 알려진 카테고리와 미지 카테고리 간의 분리를 유지하는 이중 단계 객체성 모델링(DSOM, Dual-Stage Objectness Modeling)을 도입한다. 나아가 DSOM은 리허설 없는 환경에 내재된 분산된 특징 분포에 맞게 설계된 보정된 가우시안 음 로그 가능도(CG-NLL, Calibrated Gaussian Negative Log-Likelihood) 거리를 통해 지원된다. 광범위한 평가를 통해 REAL-OW가 최첨단 성능을 달성하며, 검출 정밀도와 미지 객체 발견 모두에서 기존 예시 리플레이 방법을 능가함을 입증한다. 우리의 접근 방식은 리허설 없는 OWOD에 대한 새로운 기준선을 확립한다.
도메인이 중요한 이유: 수중 객체 검출 및 어노테이션 품질의 도메인 인식 벤치마킹
Why Domain Matters: Domain-Aware Benchmarking of Underwater Object Detection and Annotation Quality
MECAIL: 14.6 KB 시공간 전문가를 활용한 객체 검출용 통신 인식 증분 학습
MECAIL: Communication-Aware Incremental Learning for Object Detection with 14.6 KB Spatiotemporal Experts
지능형 교통 시스템은 동적 환경에서 전반적인 성능을 지속적으로 향상하기 위해 증분 학습(IL)이 필요하다. 그러나 대부분의 엣지 디바이스는 온디바이스 IL을 지원할 연산 자원이 부족하여, 업데이트를 중앙 서버에서 전송해야 한다. 우리는 이 구성을 활용하여 주차장, 주유소, 페리, 건설 현장과 같은 특정 시공간 맥락에 맞게 고정된 베이스 모델을 적응시키는 밀집적이고 특화된 모듈 커버리지를 얻는 것을 제안한다. 그러나 V2X, Wi-Fi, 2G–5G 하드웨어를 통해 TCP, UDP, BTP를 사용하여 이러한 모듈을 엣지 디바이스에 안정적으로 전송하기 위해, 첫 TCP 윈도우에 맞추고 UDP/BTP 단편화를 최소화하기 위해 모듈당 14.6 KB의 엄격한 한도를 설정한다. 또한 이 �strict한 요구를 충족하는 최초의 방법인 통신 인식 증분 학습을 위한 전문가 혼합(MECAIL)을 도입하며, 각 새로운 도메인 또는 환경은 베이스 모델을 적응시키는 소형 전문가 네트워크가 담당한다. D-RICO와 ODinW-13에서 MECAIL을 검증하였으며, 실용적이고 대역폭 효율적인 대규모 배포를 가능하게 하면서 매개변수 집약적 접근법의 성능과 대체로 일치한다. 이를 통해 고도로 구체적이고 집중적이며 일시적인 상황에 대해 전문가가 포괄적으로 커버할 수 있다.
YOLO26은 엣지 배포에서 이전 모델들보다 진정한 이점을 제공하는가? 수산양식 분야의 벤치마크 연구
Does YOLO26 Truly Offer Advantages Over Its Predecessors for Edge Deployment? A Benchmark Study in Aquaculture
최근 소개된 YOLO26 아키텍처는 NMS-free 엔드-투-엔드 추론을 통합하며 자원이 제한된 CPU 기반 디바이스에서의 엣지 배포에 최적화되어 있어, 엣지 기반 수산양식 애플리케이션에 적합하다. 그러나 수산양식 특화 시나리오에서의 성능, 운영 효율성 및 배포 적합성은 체계적으로 검증되지 않았다. 본 연구는 어류 개체군 건강 및 복지의 핵심 지표인 어류 폐사 검출(fish mortality detection)을 위해 nano, small, medium 모델 규모에 걸쳐 YOLO26과 세 가지 Ultralytics 전작(YOLOv5u, YOLOv8, YOLO11)을 종합적으로 벤치마크한다. 12개 모델 변형을 대상으로 검출 정확도, 7가지 데이터셋 크기에 걸친 학습 효율성, 고성능 NVIDIA A100 GPU 및 CPU 전용 Raspberry Pi 5 엣지 플랫폼에서의 추론 성능을 평가하였다. 모든 모델은 전체 데이터셋에서 유사한 성능을 달성하였으며 mAP50 차이는 1.04 퍼센트포인트에 불과하여, 충분한 학습 데이터가 있을 경우 아키텍처 세대가 최종 검출 정확도에 미치는 영향이 미미함을 보여준다. 그러나 데이터 효율성과 배포 성능에서 명확한 트레이드오프가 나타났다. YOLOv8은 400장의 학습 이미지만으로 mAP50 90%를 달성한 반면, YOLO26 nano 및 small 변형은 유사한 정확도에 도달하기 위해 1,000장이 필요하였다. 반면 YOLO26n은 Raspberry Pi 5에서 가장 높은 추론 속도(7.51 FPS)를 달성하였으며, YOLOv5mu는 CPU 기반 하드웨어에서 동시대 모든 medium 규모 아키텍처를 능가하였다. 이러한 결과는 아키텍처의 신규성만으로는 모델 선택에 충분하지 않으며, 수산양식의 실용적인 엣지 AI 배포를 위한 객체 검출 모델 선택 시 학습 데이터 가용성, 타겟 하드웨어, 추론 요구사항을 함께 고려해야 함을 보여준다.
오픈 월드 객체 검출을 위한 멀티모달 의미-확률적 객체성
Multimodal Semantic-Probabilistic Objectness for Open World Object Detection
오픈 월드 객체 검출(OWOD)은 검출기가 알려진 범주를 인식하고, 보지 못한 범주의 이름 없는 객체를 발견하며, 새로 주석이 달린 클래스를 점진적으로 학습해야 한다. PROB는 디코더-쿼리 공간에서 클래스에 구애받지 않는 확률적 객체성(objectness)을 모델링하여 미지 객체 발견을 개선한다. 그러나 시각적 객체성만으로는 객체 같은 쿼리가 어려운 알려진 인스턴스, 보지 못한 범주의 객체, 또는 배경 잡음에 해당하는지 판별할 수 없어, 알려진-미지(known-unknown) 결정 경계가 모호해진다. 우리는 MSPO를 제안한다. 이는 PROB에 작업 인식(task-aware) 알려진 범주 언어 사전(prior)을 보강하는 경량 의미 보정(semantic calibration) 프레임워크로, 검출기 아키텍처와 점진적 학습 프로토콜은 그대로 유지한다. 현재 알려진 각 범주에 대해 MSPO는 범주 속성, 시각적 외형, 전형적인 장면, 기능적 용도를 포괄하는 확장 텍스트 설명을 구성하고, 고정(frozen) CLIP 텍스트 인코더로 이를 인코딩한다. 디코더 쿼리 특징은 동일한 의미 공간으로 투영되어, 현재 알려진 범주 의미로부터의 지지(support)를 추정한다. 이 의미적 증거는 PROB의 시각적 객체성과 융합되어, OWOD를 개방 어휘(open-vocabulary) 분류로 바꾸지 않고 알려진/미지 예측을 보정한다. 중요하게, MSPO는 미래 범주 이름을 절대 사용하지 않으며, 평가 동안 모든 보지 못한 범주는 이름 없는 상태로 유지된다. M-OWODB 및 S-OWODB에서의 실험은 MSPO가 강력한 PROB 기준선의 주요 집계 지표를 개선하면서 경쟁력 있는 미지 재현율을 유지함을 보여준다. 또한 초기 미지 혼동 지표를 개선하고 PASCAL VOC 최종 mAP를 최대 2.7 포인트 향상시킨다. 이러한 결과는 표준 OWOD 설정에서 알려진 범주 언어 의미가 확률적 객체성에 대한 효과적인 보정 신호를 제공함을 보여준다.
Fully Rotation-Equivariant Spectral-Spatial Learning for Multispectral Object Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.