arXiv:2104.00285

CUPID: Adaptive Curation of Pre-training Data for Video-and-Language Representation Learning

Luowei Zhou, Jingjing Liu, Yu Cheng, Zhe Gan, Lei Zhang

제출 2021-04-01

원문 초록

This work concerns video-language pre-training and representation learning. In this now ubiquitous training scheme, a model first performs pre-training on paired videos and text (e.g., video clips and accompanied subtitles) from a large uncurated source corpus, before transferring to specific downstream tasks. This two-stage training process inevitably raises questions about the generalization ability of the pre-trained model, which is particularly pronounced when a salient domain gap exists between source and target data (e.g., instructional cooking videos vs. movies). In this paper, we first bring to light the sensitivity of pre-training objectives (contrastive vs. reconstructive) to domain discrepancy. Then, we propose a simple yet effective framework, CUPID, to bridge this domain gap by filtering and adapting source data to the target data, followed by domain-focused pre-training. Comprehensive experiments demonstrate that pre-training on a considerably small subset of domain-focused data can effectively close the source-target domain gap and achieve significant performance gain, compared to random sampling or even exploiting the full pre-training dataset. CUPID yields new state-of-the-art performance across multiple video-language and video tasks, including text-to-video retrieval [72, 37], video question answering [36], and video captioning [72], with consistent performance lift over different pre-training methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13348v1cs.CL공통 태그 Question Answering, Retrieval

테스트 시점 메모리 구축

Test-Time Memory Construction

대규모 언어 모델(LLM)은 관련 증거가 멀리 떨어진 세션에 걸쳐 흩어져 있을 수 있는 긴 상호작용 기록을 바탕으로 질문에 답하는 데 어려움을 겪습니다. 기존 메모리 시스템은 일반적으로 사용자 질의가 관찰되기 전에 오프라인에서 정교한 메모리 표현을 구축하고 유지하므로 상당한 오버헤드가 발생하고 질의별 정보 요구에 맞춰 메모리 구축을 적응시키는 능력이 제한됩니다. 본 논문에서는 메모리 구축을 추론(inference) 시점으로 미루고 추론 과정에 따라 메모리를 점진적으로 구축하는 테스트 시점 메모리(Test-Time Memory) 구축 프레임워크인 T$^2$Mem을 제안합니다. 구체적으로 T$^2$Mem은 주요 이벤트와 시간적 연관성을 검색 단서로 포착하기 위해 가벼운 에피소드 수준의 메타데이터를 오프라인에서 추출하는 동시에, 에피소드 간의 의존성 재구성을 용이하게 하도록 원본 상호작용에 대한 링크를 유지합니다. 테스트 시점에 LLM은 메타데이터와 원시 상호작용을 적응적으로 검색 및 구성하여 추론이 진행됨에 따라 질의 맞춤형 메모리를 점진적으로 구축합니다. LoCoMo 및 LongMemEval에 대한 실험을 통해 T$^2$Mem은 다양한 백본 LLM 전반에서 강력한 베이스라인을 일관되게 능가하는 동시에 메모리 구축 오버헤드를 대폭 줄임으로써 그 효과를 입증합니다. 추가 분석을 통해 메모리 구축을 추론 시점으로 미룸으로써 메모리 구축 프로세스가 개별 질의의 정보 요구에 동적으로 적응할 수 있음을 보여줍니다. 모든 코드는 https://github.com/OpenBMB/T2Mem 에서 이용 가능합니다.

arXiv:2610.13578v1cs.RO공통 태그 Retrieval, Representation Learning

RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정

RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation

비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/

arXiv:2610.13818v1cs.LG공통 태그 Retrieval, Representation Learning

TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습

TabMF: Learning Dataset Representations with Tabular Foundation Models

지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.

arXiv:2610.10653v1cs.LG공통 태그 Retrieval, Representation Learning

PXtal: 모달리티 간 정보 비대칭 환경에서 분말 X선 회절과 결정 구조의 정렬 학습

PXtal: Learning to Align Powder X-Ray Diffraction and Crystal Structures under Information Asymmetry across Modalities

과학 분야의 멀티모달 학습(multimodal learning)은 일반적으로 쌍을 이루는 뷰들이 비슷한 수준의 정보를 담고 있다고 가정합니다. 분말 X선 회절(PXRD)은 이러한 불일치를 명확히 드러냅니다. 즉, 3차원 결정 구조를 1차원 회절 패턴으로 압축하면서 정보가 손실되어, 해당 패턴을 생성한 결정 구조와 연결하기가 더 어려워집니다. 본 연구에서는 이러한 물리적으로 부과된 정보 비대칭 환경에서 정렬된 PXRD 및 결정 표현을 학습하기 위한 프레임워크인 PXtal을 소개합니다. PXtal은 불균형 최적 수송(UOT)을 사용하여 모달리티 간 결합(coupling)을 조정하고, 결합 수준의 일반화된 쿨백-라이블러(GKL) 발산을 활용하여 전체 수송 계획을 지도합니다. 4개의 제로샷(zero-shot) 전이 세트를 포함한 6개의 테스트 세트 전반에서, PXtal은 PXRD-결정 후보 검색 작업 시 기준선(baseline) 모델들의 성능을 일관되게 능가하며, 특히 PXRD 패턴이 결정학적으로는 구별되지만 서로 매우 유사한 비쌍(nonpaired) 이웃을 가질 때, 즉 서로 다른 결정과 연관된 유사한 입력 패턴이 존재할 때 가장 큰 성능 향상을 보였습니다. 그 결과 도출된 결정 및 PXRD 인코더는 다운스트림 재료 및 결정학 작업으로 더욱 효과적으로 전이됩니다. 이러한 결과는 정보 비대칭이 과학 분야 멀티모달 학습에서의 일반적인 설계 문제임을 확인해 주며, 정렬 목표는 각 모달리티가 보존하는 정보를 반영해야 함을 시사합니다.

arXiv:2610.10738v1cs.CL공통 태그 Question Answering, Representation Learning

손실 압축 텍스트 오토인코더

Lossy Compressive Text Autoencoders

본 연구는 데이터 압축과 표현 학습(representation learning)의 접점에서 텍스트의 압축된 잠재 표현(latent representation)을 학습하는 방법을 탐구합니다. 우리는 잔여 저차원 이산 병목(residual low-dimension discrete bottleneck)과 함께 시간 축을 따라 은닉 표현의 잔여 다운스케일링 및 업스케일링을 수행하는 오토인코더 아키텍처를 제안합니다. 다양한 양자화(quantization) 방법, 학습(training) 목표 및 데이터셋에 대해 제안하는 접근 방식을 분석합니다. 다양한 압축 수준에 대해 표면적 수준(BLEU)과 의미론적 수준(대규모 언어 모델(LLM) 기반 판정기) 모두에서 원본 텍스트와 재구성된 텍스트 간의 유사도를 평가합니다. 또한 질의응답 및 의미론적 텍스트 유사도 다운스트림 벤치마크에서 모델을 평가합니다. 제안된 접근 방식은 웹 텍스트 데이터에서 바이트당 2.24비트로 무손실 텍스트 압축 알고리즘과 동등한 수준의 압축 표현을 산출하는 동시에, 우수한 재구성 및 다운스트림 태스크 성능을 달성합니다.

arXiv:2610.02576v1cs.AI공통 태그 Question Answering, Retrieval

검증 가능하고 피드백 기반 언어 모델을 활용하여 임상 시험 근거 표에 대한 임상의의 질문에 답하기

Answering clinicians' questions over trial evidence tables with verifiable, feedback-driven language models

체계적 문헌고찰은 임상 시험 결과를 근거 표(evidence table)로 요약하지만, 임상의는 데이터베이스 쿼리를 통해서만 이러한 표를 질의할 수 있으며, 많은 질문은 약물의 표적 분류나 통합된 평가변수(endpoint)처럼 표에 기록되지 않은 속성과 관련되어 있습니다. 본 논문에서는 두 종류의 질문에 모두 답하고, 모든 답변의 배경이 되는 쿼리, 선정된 임상 시험 및 도출 규칙을 공개하며, 전문가의 교정으로부터 학습하는 언어 모델(LM) 프레임워크인 FD-SCoPE를 소개합니다. 159건의 면역관문억제제(immune checkpoint inhibitor) 임상 시험 기록으로 구성된 종양학 근거 표에서, FD-SCoPE는 140개의 임상의 대상 과제를 모두 완료했습니다(대안 모델 90.7~97.9%). 파생 속성이 필요한 질문의 경우, 89.8%의 양성 예측도(positive predictive value)로 관련 임상 시험 기록의 99.3%를 검색했으며 4가지 대안 접근법보다 우수한 성능을 보였습니다(파생값 F1 77.7% 대비 64.8~73.4%). 기준 답변으로부터 시뮬레이션된 299개 질문에 대한 교정은 이전에 보지 못한 1,201개 질문에 대한 F1 점수를 77.9%에서 84.9%로 향상시켰습니다. 실행 가능한 쿼리, 검증된 프로그램, 전문가 피드백과 결합된 언어 모델은 임상의에게 임상 시험 근거에 대한 검증 가능한 접근성을 제공할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.