arXiv:1504.07004

An Active Learning Based Approach For Effective Video Annotation And Retrieval

Moitreya Chatterjee, Anton Leuski

제출 2015-04-27

원문 초록

Conventional multimedia annotation/retrieval systems such as Normalized Continuous Relevance Model (NormCRM) [16] require a fully labeled training data for a good performance. Active Learning, by determining an order for labeling the training data, allows for a good performance even before the training data is fully annotated. In this work we propose an active learning algorithm, which combines a novel measure of sample uncertainty with a novel clustering-based approach for determining sample density and diversity and integrate it with NormCRM. The clusters are also iteratively refined to ensure both feature and label-level agreement among samples. We show that our approach outperforms multiple baselines both on a recent, open character animation dataset and on the popular TRECVID corpus at both the tasks of annotation and text-based retrieval of videos.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27208v1cs.CV공통 태그 Clustering, Diversity, Active Learning

비용 효율적 공간 전사체학을 위한 능동적 스팟 선택 벤치마킹

Benchmarking Active Spot Selection for Cost-Efficient Spatial Transcriptomics

공간 전사체학(spatial transcriptomics, ST)은 조직 맥락에서 유전자 발현을 측정하지만, 촘촘한 캡처 그리드는 비용이 많이 들 수 있으며 형태학적으로 유사한 영역을 반복적으로 샘플링할 수 있다. 대부분의 능동 학습(active learning) 전략은 범주형 레이블과 독립 표본을 위해 개발되었다. 우리는 발현 벡터가 고차원·연속이고 후보들이 공간적으로 상관된 ST에서, 균일 Random 샘플링 대비 능동 학습에 대한 후향적 pool 기반 벤치마크를 수행한다. 완전 프로파일링된 공개 ST 코호트 두 개를 사용해 후보 발현 벡터를 마스킹하고, 불확실성 기반 Monte Carlo 드롭아웃(MC-dropout) 및 temporal output discrepancy(TOD), 다양성 기반 CoreSet 및 TypiClust 영감 선택으로 다회차 선택을 시뮬레이션한다. 환자 수준 교차 검증 하에서 fold 전체 학습 spot 풀의 5%, 10%, 30%, 50%에서 160개의 완료된 구성을 비교하며, 별도의 전체 레이블 기준(reference)을 둔다. 각 예산 내에서 전략들은 선택 일정, 형태-발현 예측기, 최적화 프로토콜을 공유한다. 슬라이드 내 유전자별 평균 Pearson 상관계수(PCC), 발현 클러스터 일치, Moran's I 충실도를 평가한다. HER2 양성 유방암에서 네 가지 능동 전략의 Random 대비 pooled mean PCC 차이는 5%, 10%, 30%, 50%에서 각각 -0.0176, -0.0117, +0.0056, +0.0057이었다. 피부 편평세포암(cutaneous squamous cell carcinoma, cSCC)에서는 5%에서 세 전략이 Random보다 낮았고, 10%에서는 네 전략 모두 Random보다 낮았다. HER2 양성 유방암에서 CoreSet과 MC-dropout은 가장 작은 두 예산에서 Random보다 PCC는 낮지만 발현 클러스터 일치는 더 높았으며, 이 패턴은 cSCC에서는 재현되지 않았다. 보고된 고정 학습 horizon 하에서, 평가된 능동 전략들은 작은 예산에서 Random을 일관되게 개선하지 않으며, 순위는 평가 지표에 따라 달라진다.

arXiv:2609.26629v2cs.CL공통 태그 Retrieval, Diversity

PERSONAWEAVER: 절차적 캐릭터 생성에서 기존의 전형을 뛰어넘는 제어 가능한 다양성 확보

PERSONAWEAVER: Controllable Diversity Beyond Conventional Archetypes in Procedural Character Generation

절차적 캐릭터 생성(procedural character generation)은 게임, 시뮬레이션 및 기타 가상 세계를 다양한 캐릭터로 채우는 것을 목표로 합니다. 대규모 언어 모델(LLM)은 이 작업을 확장(scaling)하기 위한 유망한 기반을 제공합니다. 그러나 LLM 기반 절차적 캐릭터 생성은 아직 초기 단계에 머물러 있습니다. 기존 방식은 캐릭터를 직접 생성하거나 페르소나 뱅크에서 검색한 프로필을 조정하는 방식입니다. 본 연구에서 보여주듯이 두 접근법 모두 행동적으로 동질화된 집단을 형성합니다. 캐릭터들은 긍정적인 도덕적 규범에 압도적으로 동의하며, 질문에 대해 도움이 되는 어시스턴트 같은 반응을 보입니다. 이러한 동질화를 완화하기 위해, 본 논문에서는 세계관 구축과 행동 명세를 분리하고 수작업으로 큐레이션된 다양하고 보편적인 도덕적 입장 및 대화 반응 뱅크를 통해 행동을 모델링하는 PersonaWeaver를 소개합니다. 이러한 설계를 통해 여러 배경 설정 전반에서 LLM이 기본 행동 패턴을 넘어 얼마나 확장될 수 있는지 테스트할 수 있습니다. 10개의 현실적 및 판타지적 배경 설정과 3개의 LLM을 대상으로 한 실험에서, PersonaWeaver는 이전 연구보다 더 넓은 도덕적 및 상호작용적 반응 분포를 생성합니다. 또한 PersonaWeaver의 유도는 대인 언어, 응답 길이, 감정을 다양화하며, 덜 전형적인 세계관 속성 조합을 생성합니다. 코드는 https://github.com/mqraitem/PersonaWeaver 에서 확인할 수 있습니다.

arXiv:2610.02521v1cs.CV공통 태그 Retrieval, Clustering

공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화

Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory

장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.

arXiv:2609.28086v1cs.LG공통 태그 Retrieval, Clustering

LAYERSCOPE: 비디오 및 멀티모달 학습 표현의 층별 특성 분석

LAYERSCOPE: A Layerwise Characterization of Video and Multimodal Learned Representations

우리는 비디오 및 멀티모달 환경에서 모델이 학습한 표현(representation)의 특성을 분석하는 것을 목표로 하는, 레이블이 필요 없는 층별(layerwise) 프레임워크인 LAYERSCOPE를 제안한다. 최종 층 또는 중간 층의 표현을 사용해 다운스트림 성능을 평가하려면 일반적으로 대량의 레이블 데이터, 반복적인 태스크별 평가, 그리고 상당한 연산량이 필요하다. 이러한 한계를 해결하기 위해 LAYERSCOPE는 국소적(local), 전역적(global), 분포적(distributional), 대응 기반(correspondence-based) 기하 지표를 활용하여, 태스크별 레이블 없이도 모델 내부와 모델 간의 층별 표현 구조를 비교한다. 우리는 MVEB/MVEB+의 비디오 및 멀티모달 분류(classification), 클러스터링, 텍스트-비디오 검색 태스크에서 아키텍처가 서로 다른 일곱 개의 모델을 평가한다. 그 결과, 중간 층의 표현이 최종 층 및 모델 기본 출력보다 더 좋은 성능을 낼 수 있음을 발견했다. 또한 어떤 단일 기하 지표도 다운스트림 성능을 일관되게 예측하지는 못하지만, 모델 계열별로 서로 구별되는 층별 기하 시그니처가 나타남을 확인했다. LID는 성능과 태스크에 따라 달라지는 관계를 보이며, RankMe는 분류와 클러스터링에 대해 가장 강력한 척도를 제공하지만 범용적인 층 선택 기준은 아니다. 아울러 페어링(pairing)을 고려하는 지표가 분포 거리만 사용하는 경우보다 검색 성능을 더 잘 설명한다는 점도 발견했다. 따라서 LAYERSCOPE는 모델과 층 전반에 걸쳐 표현을 비교할 수 있는 프레임워크를 제공하며, 비디오 및 멀티모달 환경에서 보다 체계적인 평가를 가능하게 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.