arXiv:2211.11060

Simultaneously Learning Robust Audio Embeddings and balanced Hash codes for Query-by-Example

Anup Singh, Kris Demuynck, Vipul Arora

제출 2022-11-20

원문 초록

Audio fingerprinting systems must efficiently and robustly identify query snippets in an extensive database. To this end, state-of-the-art systems use deep learning to generate compact audio fingerprints. These systems deploy indexing methods, which quantize fingerprints to hash codes in an unsupervised manner to expedite the search. However, these methods generate imbalanced hash codes, leading to their suboptimal performance. Therefore, we propose a self-supervised learning framework to compute fingerprints and balanced hash codes in an end-to-end manner to achieve both fast and accurate retrieval performance. We model hash codes as a balanced clustering process, which we regard as an instance of the optimal transport problem. Experimental results indicate that the proposed approach improves retrieval efficiency while preserving high accuracy, particularly at high distortion levels, compared to the competing methods. Moreover, our system is efficient and scalable in computational load and memory storage.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23409v1cs.CV공통 태그 Self-Supervised Learning, Retrieval

검색 기하 구조가 캐시 기반 CLIP 적응을 좌우한다

Retrieval Geometry Shapes Cache-Based Clip Adaptation

캐시 기반 테스트 시점 적응(test-time adaptation)은 모델을 고정(frozen)한 채 타깃 스트림에서 예시를 저장하고 검색함으로써 CLIP의 예측을 향상시킨다. 그러나 기존 방법들은 이미지-이미지 검색에 사용되는 특징 공간을 대부분 고정된 것으로 취급하여, 적응이 검색 공간 자체에 얼마나 의존하는지는 밝혀지지 않은 채로 남아 있었다. 본 연구는 메모리를 고정하고 검색 인코더만 변경함으로써 이 질문을 탐구하며, 동일한 메모리라도 매우 다른 성능 향상을 가져올 수 있음을 발견하였다: 16개의 검색 공간에 걸쳐 ImageNet-A 캐시 성능 향상은 CLIP과 MAE의 경우 최대 +0.44점에 그치는 반면, DINOv2-L의 경우 +19.7 ± 0.4점에 달했으며, 레이블 없이(label-free) 검색 공간을 선택하는 방식은 ImageNet-V2에서 오라클(oracle) 성능 향상의 98%를 유지하였다. 이러한 결과는 메모리의 품질이 어떤 예시가 저장되는지뿐만 아니라 그것들이 어떻게 검색되는지에도 좌우됨을 보여준다. 이 발견에 착안하여, 우리는 예측에는 고정된(frozen) CLIP을, 검색에는 DINOv2-B를 사용하고 단일 융합 가중치(weight)를 적용하는 학습이 필요 없는(training-free) 시스템인 MARC(Memory Augmented Retrieval for CLIP)를 제안한다. 단일 뷰(single-view) 캐시는 약 7분의 1의 비용으로 1074 ± 21개의 기준선(baseline) 오류를 수정하는 반면, 64개 뷰 앙상블(ensemble)은 878 ± 4개를 수정하는 데 그친다. 네 가지 ImageNet 분포 이동(distribution shift)에 걸쳐 MARC는 67.91%의 분포 외(OOD) 평균 성능을 달성하였으며, 동일한 DINOv2-B 규모와 8개 뷰 조건에서 그래프 기반 캐시 시스템의 62.75 ± 0.15% 대비 64.17 ± 0.31%를 달성하면서도 2.6배 더 빠르게 동작하였다. 전반적으로, 본 연구의 결과는 원격 탐사(remote sensing), 과학 이미징(scientific imaging), 그리고 변화하는 시각 환경에서 강건한(robust) 캐시 기반 적응을 위해 검색 공간이 1차적인(first-order) 설계 선택 요소임을 확립한다.

arXiv:2609.27710v3cs.CV공통 태그 Retrieval

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2610.10857v2cs.AI공통 태그 Self-Supervised Learning

호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견

Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.

arXiv:2610.02945v2cs.AI공통 태그 Retrieval

AI 지원 수학적 발견을 위한 연속 그래프 메모리와 커뮤니티 인프라

Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery

수학적 발견에는 부분적인 아이디어와 그 재사용을 뒷받침하는 증거를 보존하는 것이 필요하다. 본 논문은 모델이 수용한 주장과 의존 관계를 선별된 탐색과 분리하는 연속 그래프 메모리를 갖춘 연구 하니스인 Ansatz와, 이러한 작업을 검사하고 안내하며 점검하기 위한 커뮤니티 플랫폼인 Ansatze를 제시한다. First Proof에서 Ansatz는 10문제씩 두 배치 각각에서 국소 검증기 종결 9건을 기록했으며, Second Batch의 부분 결과 하나도 연구의 기준에 따라 통과로 계산되었다. 이러한 모델 평가 결과에는 지속된 탐색이 포함되어 있으며 전문가 검증과는 다르다. 구성 요소 연구와 재검토는 불일치와 그 의존 관계의 파급 범위를 드러낸다. 미해결 문제 탐구에서는 후보 결과가 도출되었으며, 다섯 건의 Lean 형식화가 보고되었다. 이 플랫폼은 문제 발견, 연구 기록, 원고 분석, 형식 검증을 연결하면서 서로 구별되는 증거 상태를 보존한다. 이러한 시스템들은 지속적인 탐구와 검사 가능한 기여를 통해 인간-AI의 누적적 연구를 뒷받침한다.

arXiv:2610.10571v2cs.LG공통 태그 Self-Supervised Learning

SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델

SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction

뇌전도(EEG)는 진행 중인 신경 활동을 비침습적으로 측정하지만, 피험자, 장치, 전극 배치의 이질성 때문에 범용 EEG 모델을 구축하는 일은 여전히 어렵다. 기존 EEG 파운데이션 모델은 신경 성분과 비신경 성분을 모두 포함하는 관측 신호에 정의된 복원 기반 목적 함수에 주로 의존한다. 본 연구는 잠재 공간에서 예측하기 위해 결합 임베딩 예측 아키텍처(JEPA)를 채택한 EEG 파운데이션 모델인 구면 사전 분포 EEG 표현 아키텍처(Spherical Prior EEG Representation Architecture, SPERA)를 소개한다. SPERA는 다양한 두피 전극 기하 구조를 인코딩하기 위해 어텐션에 통합된 르장드르 다항식 공간 사전 분포를 도입한다. 모델을 EEG에 맞추는 두 가지 추가 구성요소로, 주기적인 전체 어텐션 블록과 교차 배치된 시간·공간 분해 어텐션, 그리고 잠재 유사도 구조를 스펙트럼 뷰와 정렬하는 관계형 스펙트럼 정규화기가 있다. 106개 데이터셋, 29,048명의 피험자로부터 얻은 약 80,000시간의 EEG로 사전 학습한 SPERA는 임상, 인지, BCI 응용에 걸친 9개 다운스트림 과제에서 가장 높은 평균 균형 정확도를 달성한다. 또한 SPERA는 선형 프로빙에서 강한 파라미터 효율성을, 다양한 녹화 조건에서 강건성을 보여, 다양한 EEG 분석을 위한 범용 백본으로서의 잠재력을 시사한다.

arXiv:2609.23790v1cs.AI공통 태그 Retrieval

에이전시 총비용: 멀티 에이전트 LLM 워크플로에서 메모리 주입 비용의 정확한 귀속

Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows

멀티 에이전트 대규모 언어 모델(LLM) 워크플로의 모든 노드는 메모리에서 컨텍스트를 검색하여 프롬프트에 주입하며, 주입된 토큰은 시스템 프롬프트와 사용자 쿼리와 동일한 토큰당 단가로 입력 토큰으로 청구된다. 프로덕션 관측(observability) 도구는 총 토큰 비용을 보고하지만 노드가 생성하는 토큰과 전달받은 토큰을 구분하지 않으므로, 청구서의 이 항목은 비용을 지불하는 팀에게는 보이지 않는다. 우리는 멀티 에이전트 워크플로 비용을 기본 프롬프트, 추론, 메모리 주입, 미스 페널티, 컨텍스트 누적 구성요소로 분해한 Total Cost of Agency(TCA)와, 단어 수 프록시로 추정하지 않고 주입 토큰을 직접 측정하는 2-pass 비청구 토큰 카운트 기반의 정확한 귀속 방법을 제안한다. 실제 모델 API에 대해 실행한 200개 태스크 기업 벤치마크에서 메모리 주입은 컴파일 타임 옵티마이저가 개입할 수 있는 가변 비용의 13.6%, 전체 청구 비용의 약 12%를 차지하며, 워크플로 깊이 1에서의 구조적 0에서 깊이 6에서 27.6%까지 그 비중이 증가한다. 측정 구간(깊이 2~6)에서 주입 토큰은 깊이에 대해 선형적으로 증가한다(R^2 = 0.9974); 2차 피팅의 leading coefficient가 음수이므로, 해당 깊이에서 데이터는 볼록(convex) 성장을 보이지 않는다. 고정된 모델 tier에서 이 구성요소가 제어 가능함을 보인다: 검색 윈도우 용량을 32개 항목에서 2개로 줄이면 주입 토큰이 28.7% 감소하고 정확도 변화는 시드(seed) 수준 변동 범위 내이다. 그래프 재작성(graph-rewriting) 변환이 단독으로는 대체로 비용 중립적임을, 다섯 분해 항 중 두 항이 이 하네스(harness)에서 구조적으로 0임을, 총 워크플로 비용이 모델 tier 할당에 의해 지배되며 이를 고정하고 선행 연구로 취급함을 전면 보고한다. 프롬프트 캐싱(prompt caching)은 평가하지 않았으며 모든 수치는 캐시 미사용(uncached) 경우에 대한 것이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.