IROS 2019 Lifelong Robotic Vision Challenge -- Lifelong Object Recognition Report
원문 초록
This report summarizes IROS 2019-Lifelong Robotic Vision Competition (Lifelong Object Recognition Challenge) with methods and results from the top $8$ finalists (out of over~$150$ teams). The competition dataset (L)ifel(O)ng (R)obotic V(IS)ion (OpenLORIS) - Object Recognition (OpenLORIS-object) is designed for driving lifelong/continual learning research and application in robotic vision domain, with everyday objects in home, office, campus, and mall scenarios. The dataset explicitly quantifies the variants of illumination, object occlusion, object size, camera-object distance/angles, and clutter information. Rules are designed to quantify the learning capability of the robotic vision system when faced with the objects appearing in the dynamic environments in the contest. Individual reports, dataset information, rules, and released source code can be found at the project homepage: "https://lifelong-robotic-vision.github.io/competition/".
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Scout: 엣지 디바이스에서의 오픈월드 종 인식
Scout: Open-World Species Recognition on the Edge
대규모 비전-언어 모델(VLM)은 고정된 클래스 집합을 넘어서는 인식을 가능하게 하지만, 높은 연산 요구량으로 인해 많은 엣지 디바이스에서는 실행할 수 없다. 클라우드 오프로드(cloud offload)를 통해 이러한 기능을 활용할 수 있지만, 모든 이미지를 전송하는 것은 제한된 대역폭과 통신 에너지를 소모한다. 우리는 엄격한 연산량, 에너지, 대역폭 예산 안에서 VLM의 오픈월드 인식 능력을 엣지로 가져오는 방법을 탐구한다. 야생동물 모니터링은 배포 시점에 알려지지 않은 종을 카메라 트랩이 마주치기 때문에 이 문제를 탐구하기에 자연스러운 환경을 제공한다. 우리는 클라우드 VLM을 간헐적으로 호출하여 소형 엣지 모델에 새로운 클래스를 학습시키는 자율적 오픈월드 인식 시스템인 Scout를 제시한다. 배포 위치와 (개체가 없는) 빈 현장 프레임만 주어지면, Scout는 사전 정의된 종 목록, 사람에 의한 레이블링, 수동 튜닝 없이도 VLM이 식별한 각 종을 자원 효율적인 엣지 모델 내의 지속적이고 현장 조건부(site-conditioned) 인식 능력으로 자율적으로 전환한다. NVIDIA Jetson Orin Nano 상에서 세 개 지역에 걸친 30개의 카메라 트랩 배포 환경에서, Scout의 정확도는 사전 정의된 종 목록이 주어진 모델 대비 0.1~2.5% 이내로 유지된다. 초기 클래스 집합에 포함되지 않은 종에 대해서는 Scout가 53.7~59.1%의 정확도를 달성하며, 이는 전체 클라우드 오프로드의 56.5~65.1%와 비교되는 수치이고, 동시에 배포 에너지는 59~71% 더 적게 사용한다.
Class incremental learning for video action classification
Learning compact binary descriptors with unsupervised deep neural networks
Attribute-Based Classification for Zero-Shot Visual Object Categorization
가중치에서 특징으로: 거대 언어 모델의 지속 학습을 위한 희소 오토인코더 기반 활성화 정규화
From Weights to Features: Sparse-Autoencoder-Guided Activation Regularization for Continual Learning in Large Language Models
탄성 가중치 통합(EWC)과 같은 가중치 보호 정규화 기법은 파국적 망각에 대한 표준적인 방어책이다. 그러나 거대 언어 모델의 순차적 미세조정에서는 페널티 튜닝으로 해결할 수 없는 안정성-가소성 트레이드오프가 나타난다. 우리는 이러한 한계가 부분적으로 다의성(polysemanticity) 때문이라고 본다. 각 가중치가 서로 무관한 여러 개념에 관여하므로, 가중치별 중요도 점수로는 보호가 필요한 지식을 분리해 내기 어렵다. 대신 우리는 사전 학습된 희소 오토인코더(SAE)를 대략적으로 단의미적인 특징들의 고정된 사전으로 사용하여 활성화 공간에서 정규화한다. 지속 학습을 특징 드리프트에 대한 제약 최적화로 정식화하며, 보존할 특징에는 안정성 제약을, 현재 과제가 사용하는 특징에는 가소성 제약을 둔다. 그리고 그 결과로 얻어지는 제곱 힌지 손실이 이 문제의 정규화된 라그랑주 완화이며 EWC가 그 특수한 경우임을 보인다. 리플레이 변형은 이전 과제당 저장된 200개의 시퀀스에서 드리프트를 측정하는 반면, 데이터 비의존 변형은 과제당 197 KB의 특징 마스크만 저장하며, 이는 EWC의 6.5 GB와 대비된다. TRACE(Gemma-2 9B, Llama-3.1 8B)와 MedCL(Gemma-2 9B)에서 리플레이 변형은 SAE 기반 특징 증류와 동등하거나 그 이상의 성능을 단계당 약 3분의 1의 비용으로 달성하며, 데이터 비의존 변형은 이전 과제 데이터를 저장하지 않고 과제별 파라미터를 추가하지 않는 방법 중 가장 높은 평균 전체 성능을 기록한다. 과제 관련 유닛은 SAE 기저에서는 선형 분리가 가능하지만 뉴런 기저에서는 그렇지 않으며(ROC-AUC 0.87-0.88 대 0.50), 가중치 공간 보호는 보호 대상 과제의 특징만큼이나 강하게 다른 과제의 특징도 제약한다.
DriftGuard: 진화하는 유해성 모더레이션을 위한 안전성 인식 다중 모니터 탐지 및 선택적 적응
DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation
자동화된 유해성 검열 시스템은 은어, 변화하는 표적, 단속에 대한 전략적 적응을 통해 유해 행위가 진화하는 동적인 온라인 환경에서 작동한다. 기존의 드리프트 탐지 방법은 흔히 전역적 분포 변화에 초점을 맞추지만, 이러한 신호는 국소적인 유해성 부분공간이나 위험도가 높은 모델 오류 영역에서 나타나는 안전 관련 변화를 놓칠 수 있다. 본 논문은 다중 모니터 드리프트 탐지와 선택적 모델 업데이트를 결합한 안전 인식 적응형 검열 프레임워크인 DriftGuard를 소개한다. 이 프레임워크는 전역 텍스트 드리프트, 정체성 관련 유해성 드리프트, 모델 불확실성, 유해 위험 드리프트, 위음성 위험 드리프트를 추적한다. 안전 관련 변화가 탐지되면, 위음성 가능성이 높은 사례, 정체성 관련 고위험 사례, 위양성 위험 사례, 불확실한 경계 사례를 우선하는 하드 믹스 적응 세트를 사용하여 모델을 업데이트한다. Civil Comments의 시간적 변화와 Jigsaw-to-DynaHate의 데이터셋 간 변화에 대한 실험 결과, 안전 인식 모니터는 전역 드리프트만으로는 놓치는 위험을 탐지한다. 하드 믹스 적응은 무업데이트 및 무작위 균형 베이스라인에 비해 유해 재현율과 정확도를 향상시킨다. 유해 재현율은 Civil Comments에서 0.8453에서 0.8777로, DynaHate에서 0.7107에서 0.8523으로 상승한다. 부트스트랩 분석은 DynaHate에서 안전성 향상이 안정적임을 추가로 보여 주며, 유해 재현율은 0.1418 증가하고 위음성 유병률은 0.0781 감소한다. 종합하면 DriftGuard는 안전 인식 드리프트 탐지를 표적화된 경량 모델 업데이트와 연결하여 더 강건한 적응형 유해성 검열을 가능하게 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.