Language Models as Zero-shot Visual Semantic Learners
원문 초록
Visual Semantic Embedding (VSE) models, which map images into a rich semantic embedding space, have been a milestone in object recognition and zero-shot learning. Current approaches to VSE heavily rely on static word em-bedding techniques. In this work, we propose a Visual Se-mantic Embedding Probe (VSEP) designed to probe the semantic information of contextualized word embeddings in visual semantic understanding tasks. We show that the knowledge encoded in transformer language models can be exploited for tasks requiring visual semantic understanding.The VSEP with contextual representations can distinguish word-level object representations in complicated scenes as a compositional zero-shot learner. We further introduce a zero-shot setting with VSEPs to evaluate a model's ability to associate a novel word with a novel visual category. We find that contextual representations in language mod-els outperform static word embeddings, when the compositional chain of object is short. We notice that current visual semantic embedding models lack a mutual exclusivity bias which limits their performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Attribute-Based Classification for Zero-Shot Visual Object Categorization
Augustinian BabyLM: 시범적 정의가 소형 언어 모델에 가르칠 수 있는 것과 없는 것
Augustinian BabyLM: What Ostensive Definition Can and Cannot Teach a Small Language Model
언어 모델은 보통 무작위 단어 임베딩으로 학습을 시작한다. 'banana'가 무엇을 의미하는지는 반드시 학습 코퍼스에서 배워야 한다. 나는 성 아우구스티누스의 단어 학습 관—지시(ostension)를 통한 의미 부여—를 1천만 단어로 학습한 소형 마스크드 언어 모델(DeBERTa)에 구현한다. 학습 전에 시각적으로 그라운딩된 토큰은 자신이 라벨하는 이미지 영역에서 유도한 임베딩을 받고, 다른 토큰은 무작위로 시작한다. 시각적 초기화는 학습 종료 시점까지 지속되는 측정 가능한 흔적을 남긴다. 한편 추상적 문법 지식을 탐색하는 대부분의 BabyLM 벤치마크에서는 그 효과가 드러나지 않으며, 시각적 초기화는 그곳에서 성능에 영향을 주지 않는다. 유일한 제로샷 예외는 객체-속성 지식(COMPS)으로, 모든 구성에서 시딩(seeding)이 도움이 된다. 이 결과를 이어가기 위해, 색·재질·크기·형태 지식을 시험하고 항목별 학습 빈도와 시드 여부를 포함한 Visual-Property Swap 벤치마크의 코퍼스 맞춤 버전을 구축한다. 여기서 시각 시드(vision-seeded) 모델은 지속적이고 시드가 재현되는 이점을 보인다. 기능어와 추상 어휘도 강한 시각 시드를 받아 학습 내내 유지하며, 학습 목적 함수가 이를 활용한다. 모든 시드에서 이 단어들에 대한 홀드아웃 마스크 예측 손실이 감소한다. 그러나 내가 실행한 어떤 벤치마크도 이를 포착하지 못한다. 이를 잡아낼 평가가 무엇인지는 여전히 열린 질문이다.
글로벌 보건 문헌을 위한 맞춤형 개체명 인식 및 주제 분류
Custom Named Entity Recognition and Topic Classification for Global Health Publications
주석이 달린 데이터와 연산 자원이 제한된 환경에서 글로벌 보건 문헌을 위한 자연어 처리(NLP) 모델을 어떻게 선정하고 적응시켜야 하는가? 본 학위논문은 의미론적 태그 발견, 개체명 인식(NER), 다중 레이블 주제 분류에 대한 실험을 통해 이러한 과제를 조사한다. 먼저, 점진적으로 커지는 전문 코퍼스로 학습된 skip-gram word2vec 모델들을 BioWordVec과 비교하여 코퍼스 크기와 도메인 문맥이 태그 발견에 미치는 영향을 평가한다. 어휘 커버리지와 정성적 평가는 더 넓은 커버리지가 반드시 더 유용한 도메인 특화 연관성으로 이어지지는 않음을 나타낸다. 이어 분석은 개체 추출로 전환되어, 1,000개의 주석이 달린 문장에서 합성곱 spaCy 모델들과 RoBERTa 기반 트랜스포머를 비교한다. 관대한 점수 산정 프로토콜 하에서 트랜스포머는 5~6초 대신 82초가 소요되지만 합성곱 모델의 0.65~0.69에 비해 0.80의 micro-F1을 달성한다. 이러한 트레이드오프는 합성곱 모델의 미세조정과 NCBI 질병 코퍼스에서 81.33%의 테스트 F1을 달성하는 질병 인식기의 통합을 동기부여한다. PDF 전처리, 개체 필터링, MeSH 강화와 결합되어, 최종 파이프라인은 문서 수준 색인을 지원한다. 개체 추출을 주제별 주석으로 보완하기 위해 50개 주제와 1,000개의 수작업 제작 테스트 문장에 걸쳐 MiniLM 기반 퓨샷 분류와 BART-MNLI 제로샷 추론을 비교한다. 부분적 수동 평가 하에서 BART-MNLI는 59% 대비 95.2%의 단일 레이블 정확도를 달성하며, 보고된 다중 레이블 정확도는 각각 88%와 32%이다. 그러나 더 높은 추론 비용은 실제 통합을 제한한다. 본 연구 결과는 도메인 특화와 경량 적응이 실질적인 가치를 제공하는 영역과, 트랜스포머의 정확도가 더 높은 추론 비용을 정당화하는 영역을 보여주며, 자원 제약 하에서 지식 시스템을 구축하기 위한 실증적 기반을 제공한다.
Scout: 엣지 디바이스에서의 오픈월드 종 인식
Scout: Open-World Species Recognition on the Edge
대규모 비전-언어 모델(VLM)은 고정된 클래스 집합을 넘어서는 인식을 가능하게 하지만, 높은 연산 요구량으로 인해 많은 엣지 디바이스에서는 실행할 수 없다. 클라우드 오프로드(cloud offload)를 통해 이러한 기능을 활용할 수 있지만, 모든 이미지를 전송하는 것은 제한된 대역폭과 통신 에너지를 소모한다. 우리는 엄격한 연산량, 에너지, 대역폭 예산 안에서 VLM의 오픈월드 인식 능력을 엣지로 가져오는 방법을 탐구한다. 야생동물 모니터링은 배포 시점에 알려지지 않은 종을 카메라 트랩이 마주치기 때문에 이 문제를 탐구하기에 자연스러운 환경을 제공한다. 우리는 클라우드 VLM을 간헐적으로 호출하여 소형 엣지 모델에 새로운 클래스를 학습시키는 자율적 오픈월드 인식 시스템인 Scout를 제시한다. 배포 위치와 (개체가 없는) 빈 현장 프레임만 주어지면, Scout는 사전 정의된 종 목록, 사람에 의한 레이블링, 수동 튜닝 없이도 VLM이 식별한 각 종을 자원 효율적인 엣지 모델 내의 지속적이고 현장 조건부(site-conditioned) 인식 능력으로 자율적으로 전환한다. NVIDIA Jetson Orin Nano 상에서 세 개 지역에 걸친 30개의 카메라 트랩 배포 환경에서, Scout의 정확도는 사전 정의된 종 목록이 주어진 모델 대비 0.1~2.5% 이내로 유지된다. 초기 클래스 집합에 포함되지 않은 종에 대해서는 Scout가 53.7~59.1%의 정확도를 달성하며, 이는 전체 클라우드 오프로드의 56.5~65.1%와 비교되는 수치이고, 동시에 배포 에너지는 59~71% 더 적게 사용한다.
계절성에서 의미론으로: 볼리비아 도로 봉쇄 예측을 위한 하이브리드 확률 예측 시스템 벤치마킹
From Seasonality to Semantics: Benchmarking a Hybrid Probabilistic Forecasting System for Roadblocks in Bolivia
볼리비아의 도로 봉쇄는 사회적 갈등 현상으로, 국내 총생산(GDP)의 4%에 해당하는 손실로 추산되는 파괴적인 경제적 영향을 미친다. 반복 발생과 그 영향에도 불구하고, 물류 의사결정을 위해 이러한 사건을 사전에 예측하는 현지 예측 시스템이 부족하다. 본 논문은 6년간의 볼리비아 뉴스 보도 코퍼스에 자연어 처리(NLP) 기법을 적용하여 시계열 분해(Prophet)와 통합하는 하이브리드 확률적 예측 시스템을 제시한다. 방법론은 도로 봉쇄가 실제로 발생하기 전 담화적 긴장 고조의 신호를 포착하기 위해 벡터 의미 임베딩(embedding)과 제로샷(zero-shot) 분류 모델을 사용한다. 1,762일에 걸쳐 확장형 워크포워드 검증(validation) 방식을 적용하고 7개의 예측 시점(H+1~H+7)에서 SARIMA와 LightGBM을 포함한 4개의 외부 벤치마크와 7개의 내부 구성을 비교했다. 결과는 하이브리드 구성(Prophet + NLP, C6)이 순수 통계 모델보다 지속적으로 우수한 성능을 보임을 보여주며, H+1에서 AUC-ROC 0.677을 달성하고 기준선(baseline) 시간 모델 대비 Brier Score를 10.9% 감소시켰다(0.220 vs. 0.247). 모든 평가 시점에서 통계적으로 유의한 오차 감소를 유지했다($p < 0.02$). 이 연구는 의미론적 뉴스 신호의 통합이 역사적 관성으로는 포착되지 않는 사회적 긴장의 정점을 탐지할 수 있음을 검증하며, 중요 운송 회랑의 리스크 관리를 위한 기술적 도구를 제공한다.
카탈로그-실세계 간극 해소: 다단계 대조 학습을 통한 확장 가능한 상품 인식
Bridging the Catalog-to-Real Gap: Scalable Product Recognition via Multi-Stage Contrastive Learning
자동화된 상품 인식은 현대 리테일 인텔리전스의 핵심이다. 그러나 방대한 기업 카탈로그에 대해 실세계 매장 이미지를 정확하게 매칭하는 것은 대규모 응용에서 여전히 주요한 확장성 병목으로 남아 있다. 본 연구에서는 이 과제를 표준적인 폐쇄형 집합 분류(classification) 작업이 아닌 임베딩(embedding) 기반 교차 도메인 검색 문제로 재정의함으로써 이 문제에 접근한다. 구체적으로, 광범위한 인벤토리로부터 주어진 실세계 상품 쿼리 크롭에 대해 가장 대응되는 카탈로그 참조 이미지를 검색하는 것을 목표로 정의한다. 깔끔한 스튜디오 팩샷과 노이즈가 있는 매장 내 쿼리 사이의 심각한 도메인 격차를 해소하기 위해, 본 논문은 새로운 카탈로그-실세계 다단계 대조 학습 패러다임(Cat2Real)을 제안한다. 이 프레임워크는 아이템 수준 및 이미지 수준 유사도를 체계적으로 활용하여 타깃화된 하드 네거티브 마이닝을 유도함으로써 비전 백본을 파인튜닝한다. 광범위한 실증적 평가를 통해, 제안된 패러다임이 미학습 상품 및 카테고리로 원활하게 확장됨을 입증하며, 새로운 인벤토리에 대한 실세계 학습(training) 이미지가 전혀 없는 상황에서도 뛰어난 제로샷(zero-shot) 일반화 성능을 달성함을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.