arXiv:2006.15176

Bookworm continual learning: beyond zero-shot learning and continual learning

Kai Wang, Luis Herranz, Anjan Dutta, Joost Van de Weijer

제출 2020-06-26

원문 초록

We propose bookworm continual learning(BCL), a flexible setting where unseen classes can be inferred via a semantic model, and the visual model can be updated continually. Thus BCL generalizes both continual learning (CL) and zero-shot learning (ZSL). We also propose the bidirectional imagination (BImag) framework to address BCL where features of both past and future classes are generated. We observe that conditioning the feature generator on attributes can actually harm the continual learning ability, and propose two variants (joint class-attribute conditioning and asymmetric generation) to alleviate this problem.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27110v2cs.CV공통 태그 Zero-Shot Learning, Attribute

Undertone: 소수의 평점으로 고정된 VLM 미적 판정기를 개인화하기

Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings

이미지 품질 평가는 평균 의견 점수(MOS)를 예측하지만, 이미지 미학에서는 평균이 개인을 가리므로 개인화된 평가는 새 사용자가 평가한 소수의 이미지에서 출발해야 한다. 평점 열 개로 각 사람을 처음부터 적합시키면 실패하며, 사람별로 파인튜닝한 네트워크는 새로운 종류의 이미지로 잘 전이되지 않는다. 본 논문은 Undertone-P를 제안한다. 이는 다른 평가자들로부터, 고정된 시각-언어 모델(VLM) 판정기의 판독값, 즉 확률 가중 평점과 점수 토큰에서의 은닉 상태에 대한 사람별 회귀 가중치의 가우시안 사전분포를 학습한다. 사람들이 군중과 다른 방식은 다른 평가자들이 드러내므로, 소수의 평점은 그 방식들 중 하나를 고르기만 하면 된다. 새 사용자에게는 닫힌 형태의 풀이 한 번이 필요할 뿐이며 네트워크는 학습되지 않는다. Ryu와 Yanaka의 PARA 벤치마크에서 사전분포만으로 스피어만 상관계수 .640에 도달하여, 기존에 발표된 최고의 10개 및 100개 평점 결과(.581 및 .620)를 상회하며, 사람의 평점 10개와 100개를 사용하면 각각 .648과 .676으로 상승한다. 이러한 평점은 취향이 군중과 다른 곳에서 가장 큰 이득을 준다. 평점 100개 기준으로 군중과 가장 덜 일치하는 평가자들에서는 +.067, LAPIS 미술 작품에서는 +.206이며 전체 평균은 +.037이다. 라벨 없이도 판정기의 기대 점수는 PARA의 MOS를 .835로 예측한다(우리가 실행한 발표 모델 중 최고: .694). PARA로 학습된 네트워크는 PARA의 원래 프로토콜에서는 여전히 앞서는데, 이는 더 강력한 종단 간 MOS 모델 때문일 가능성이 있다.

arXiv:2609.22897v1cs.CV공통 태그 Zero-Shot Learning, Continual Learning

Scout: 엣지 디바이스에서의 오픈월드 종 인식

Scout: Open-World Species Recognition on the Edge

대규모 비전-언어 모델(VLM)은 고정된 클래스 집합을 넘어서는 인식을 가능하게 하지만, 높은 연산 요구량으로 인해 많은 엣지 디바이스에서는 실행할 수 없다. 클라우드 오프로드(cloud offload)를 통해 이러한 기능을 활용할 수 있지만, 모든 이미지를 전송하는 것은 제한된 대역폭과 통신 에너지를 소모한다. 우리는 엄격한 연산량, 에너지, 대역폭 예산 안에서 VLM의 오픈월드 인식 능력을 엣지로 가져오는 방법을 탐구한다. 야생동물 모니터링은 배포 시점에 알려지지 않은 종을 카메라 트랩이 마주치기 때문에 이 문제를 탐구하기에 자연스러운 환경을 제공한다. 우리는 클라우드 VLM을 간헐적으로 호출하여 소형 엣지 모델에 새로운 클래스를 학습시키는 자율적 오픈월드 인식 시스템인 Scout를 제시한다. 배포 위치와 (개체가 없는) 빈 현장 프레임만 주어지면, Scout는 사전 정의된 종 목록, 사람에 의한 레이블링, 수동 튜닝 없이도 VLM이 식별한 각 종을 자원 효율적인 엣지 모델 내의 지속적이고 현장 조건부(site-conditioned) 인식 능력으로 자율적으로 전환한다. NVIDIA Jetson Orin Nano 상에서 세 개 지역에 걸친 30개의 카메라 트랩 배포 환경에서, Scout의 정확도는 사전 정의된 종 목록이 주어진 모델 대비 0.1~2.5% 이내로 유지된다. 초기 클래스 집합에 포함되지 않은 종에 대해서는 Scout가 53.7~59.1%의 정확도를 달성하며, 이는 전체 클라우드 오프로드의 56.5~65.1%와 비교되는 수치이고, 동시에 배포 에너지는 59~71% 더 적게 사용한다.

arXiv:2607.23512v1cs.CL공통 태그 Zero-Shot Learning, Continual Learning

공격적 언어 탐지의 교차 도메인 일반화 비용

The Cross-Domain Generalization Cost of Offensive Language Detection

공격적 언어 탐지 모델은 일반적으로 데이터셋 간 및 언어 간에 배포될 때 성능 저하를 겪지만, 기존 연구의 대부분은 이 현상을 보고하는 데 그치며, 성능 저하의 원인을 기여 요인으로 분해하고 개선 비용을 정량화하는 체계적인 방법론이 부족하다. 본 논문은 세 가지 조율된 기술 구성 요소로 이루어진 진단 및 최적화 프레임워크를 제안한다. 첫째, OLID에서 MLMA로의 제로샷(zero-shot) 전이 손실 분해로, 성능 저하를 데이터셋 효과와 언어 효과라는 두 가지 독립적으로 측정 가능한 구성 요소로 분리한다. 둘째, 지속적 미세조정과 콜드스타트(cold-start) 시작점에서의 퓨샷(few-shot) 학습 곡선을 비교하여 적응 효율성과 원본 과제에 가해지는 숨겨진 손상을 모두 정량화하는 통제된 미세조정 프로토콜. 셋째, 온도 샘플링(temperature sampling)과 경험 재생(experience replay)을 포함하는 세 가지 공동 학습(joint training) 전략으로, 다국어 능력 향상과 원본 과제 성능 보존 사이의 조절 가능한 파레토(Pareto) 트레이드오프를 제공한다. 이 프레임워크를 기반으로 한 실험은 데이터셋 효과가 제로샷 전이 손실을 지배하며 언어 효과를 실질적으로 능가함을 보여준다. 재생(replay) 메커니즘이 없는 퓨샷 적응은 데이터 효율적이지만, 공동 학습 전략에 비해 원본 과제 손상을 4~9배 더 가하며, 그 손상의 크기는 매우 불안정하다. 세 가지 공동 학습 전략은 원본 과제 성능 3.2~4.1%p를 다국어 능력 향상 8.1~42.6%p와 교환하며, 명확하고 조절 가능한 파레토 트레이드오프를 형성한다.

arXiv:2607.22919v1cs.CV공통 태그 Zero-Shot Learning, Attribute

텍스트 조건 변환을 통한 임베딩 공간 제어

Controlling Embedding Spaces with Text-Conditioned Transformations

CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/

arXiv:2607.14396v1cs.AI공통 태그 Attribute, Continual Learning

CatalogAgent: 생성형 AI 모델의 컨텍스트 엔지니어링을 가능하게 하는 감독 에이전트 중재형 자기학습 시스템

CatalogAgent: A Supervisor-mediated Self-Learning System Enabling Context Engineering for GenAI Models

상품 카탈로그는 전자상거래 사이트의 핵심이지만, 재질, 색상, 형태와 같은 다수의 구조화 속성(SA) 값이 누락되는 경우가 많다. 일반적으로 SA 값은 제목과 설명을 포함한 상품 정보에서 추출된다. 대규모 언어 모델(LLM) 기반 생성기-평가기 프레임워크는 한 LLM이 SA 값을 생성하고 다른 LLM이 이를 평가하는 SA 예측에서 효과가 입증되었지만, 생성기와 평가기가 충돌하는 출력을 내면면 어느 한 구성요소든 실수할 수 있어 어려움이 있다. 우리는 전자상거래 카탈로그 보강을 위해 생성기와 평가기 모델을 지속적으로 개선하는 새로운 에이전트형 시스템인 CatalogAgent를 제안한다. (1) LLM 기반 생성기와 평가기 간의 내부 충돌, 또는 (2) 판매자의 LLM 출력에 대한 외부 피드백으로 불일치가 발생하면, 감독 에이전트(Supervisor Agent)가 개입하여 충돌을 중재하고 최종 결정을 내린다. 이 시스템은 또한 개별 사례의 감독 에이전트 활동을 저장하고 패턴을 학습 내용으로 집계하는 메모리 베이스(Memory Base)와 메모리 요약기(Memory Summarizer)를 포함한다. 이러한 학습 내용은 워커(worker) 생성기 및 평가기 LLM에 다시 제공되어, 인간 개입 없이 자기 개선을 가능하게 한다. 컨텍스트 엔지니어링(context engineering)—워커 LLM의 컨텍스트에 학습 내용과 통찰을 주입함—을 통해 이 시스템은 감독자의 역량을 생성기와 평가기로 성공적으로 이전하여, 각각의 성능을 15.24%와 13.98% 향상시킨다. 우리 실험은 생성형 AI 모델의 정확도를 높이기 위한 감독 에이전트 중재형 자기학습 시스템의 새로운 패러다임을 보여준다.

arXiv:2607.12621v1cs.CV공통 태그 Zero-Shot Learning, Attribute

비전 없는 CIR을 향하여: 제로샷 구성 이미지 검색을 위한 속성 증강 스코어링과 LLM 기반 재순위화

Towards Vision-Free CIR: Attribute-Augmented Scoring and LLM-Based Reranking for Zero-Shot Composed Image Retrieval

최근 연구는 이미지를 텍스트로 표현하는 "비전 없는(Vision-Free)" 접근법이 표준 이미지 검색 작업에 효과적일 수 있음을 보여주었다. 그러나 텍스트 설명에 내재된 정보 손실로 인해, 이러한 패러다임이 보다 복잡한 멀티모달 과제인 구성 이미지 검색(Composed Image Retrieval, CIR)을 효과적으로 처리할 수 있는지는 아직 불분명하다. 본 논문에서는 두 가지 핵심 기법을 통해 이 과제를 해결하는 비전 없는 CIR 프레임워크를 제안한다: (1) 명시적 속성 매칭을 통해 손실된 시각적 세부 정보를 보완하는 속성 증강 하이브리드 스코어링(Attribute-Augmented Hybrid Scoring), (2) 상위 후보들의 의미적 일관성을 검증하는 LLM 기반 재순위화(LLM-Based Reranking). 오픈 도메인 CIRR 데이터셋에서의 실험은 우리 접근법이 기존 제로샷 CIR 방법들을 능가함을 보여준다(44.04% R@1, +8.79%). FashionIQ에서는 우리 결과가 의미적 추론과 세밀한 시각적 매칭 사이의 트레이드오프를 부각한다. 절제 연구는 속성 증강 스코어링과 LLM 기반 재순위화 모두가 일관되게 성능을 향상시킴을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.