Vision Learners Meet Web Image-Text Pairs
원문 초록
Many self-supervised learning methods are pre-trained on the well-curated ImageNet-1K dataset. In this work, given the excellent scalability of web data, we consider self-supervised pre-training on noisy web sourced image-text paired data. First, we conduct a benchmark study of representative self-supervised pre-training methods on large-scale web data in a like-for-like setting. We compare a range of methods, including single-modal ones that use masked training objectives and multi-modal ones that use image-text constrastive training. We observe that existing multi-modal methods do not outperform their single-modal counterparts on vision transfer learning tasks. We derive an information-theoretical view to explain these benchmark results, which provides insight into how to design a novel vision learner. Inspired by this insight, we present a new visual representation pre-training method, MUlti-modal Generator~(MUG), that learns from scalable web sourced image-text data. MUG achieves state-of-the-art transfer performance on a variety of tasks and demonstrates promising scaling properties. Pre-trained models and code will be made public upon acceptance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화
VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.
PPG-Bench: PPG 파운데이션 모델을 위한 통합 벤치마크
PPG-Bench: A Unified Benchmark for PPG Foundation Models
광용적맥파(Photoplethysmography, PPG)는 웨어러블 및 임상 기기에서 점점 더 대규모로 기록되고 있으며, 다양한 다운스트림 작업을 위한 재사용 가능한 표현을 계산하기 위해 점점 더 많은 PPG 파운데이션 모델(FM)이 개발되고 있다. 이러한 모델들은 서로 비교하기 어려운데, 평가마다 서로 다른 데이터셋, 작업 정의, 전처리, 다운스트림 헤드, 하이퍼파라미터 튜닝, 기준선을 사용하기 때문이다. 우리는 5개의 공개 PPG FM을 9개의 오픈 액세스 데이터셋과 심혈관 상태 추정, 활동, 수면, 스크리닝, 식별에 걸친 26개 작업에 대해 평가하는 통합 오픈소스 벤치마크인 PPG-Bench를 제시한다. 우리는 적응성이 점차 증가하는 네 가지 다운스트림 체제(선형 프로빙, 랜덤 포레스트, 고정된 MLP 프로브, 엔드-투-엔드 파인튜닝) 하에서 모델별 하이퍼파라미터 최적화와 피험자 분리 교차검증을 적용하여 모델을 평가한다. 우리는 또한 세 가지 대조군, 즉 무작위/상수 기준선, 결정론적 맥박률 변동성(pulse-rate-variability, PRV) 특징 집합, 범용 시계열 FM(MOMENT)과 비교하여 평가한다. 68개의 작업-체제 조합 전체에서 35.3%는 무작위/상수 기준선 대비 FM의 유의미한 이점을 보이지 않았으며, 83.8%에서는 어떤 PPG 전용 FM도 PRV와 MOMENT를 모두 능가하지 못했다. 또한 다운스트림 헤드의 용량을 추가하면 일반적으로 성능이 향상되지만, 모델이 무작위 수준/상수 수준에서 동작하는 경우에는 상당한 성능 저하를 유발할 수 있음을 발견했다. 따라서 현재의 PPG FM은 아직 PPG 신호에 대한 일반화되고 전이 가능한 표현을 제공한다고 주장할 수 없으며, 이 분야의 향후 평가에는 단순하고 학습되지 않은 대조군에 대한 검증이 포함되어야 한다. 벤치마크 코드와 추가 모델 평가 방법은 다음에서 확인할 수 있다 - https://github.com/mannas-ai/ppg-bench.
MC-EvoBench: 마인크래프트 에이전트의 경험 기반 자기 개선 감사
MC-EvoBench: Auditing Experience-Driven Self-Improvement in Minecraft Agents
임바디드(embodied) 재귀적 자기 개선에서 핵심 과제는 에이전트(agent)가 상호작용 기록(interaction history)을 하나의 월드를 넘어 지속되고 이후 과제로 전이되는 능력으로 전환할 수 있게 하는 것이다. 저장된 메모리나 성공적인 최종 행동 자체만으로는 재사용 가능한 능력이 획득되었음을 입증하지 못한다; 평가는 능력 변화를 이전된 자원(carried-over resources), 불균등한 소스 노출(source exposure), 초기 실행 실패와 구분해야 한다. 우리는 19개의 등록된 진화 체인(evolution chain)—12개의 주요 평가 체인과 7개의 보정(calibration) 또는 프로브(probe) 체인—으로 구성된 고정 카탈로그와, 전이(transfer)를 위한 그래프 정렬(graph-aligned) 짝지어진 프로브 패밀리 3개를 포함하는 통제된 마인크래프트 벤치마크인 MC-EvoBench를 구축한다. 이 벤치마크는 각 과제를 과제-상태 그래프(task-state graph)로 표현하고, 단계별(stage-level) 환경(environment) 검증기(verifier)를 정의하며, 일치하는 소스 및 타깃 역할을 배정하고, 타깃 월드를 리셋한 뒤, 선언된 에이전트 아티팩트(agent artifact)만이 소스-타깃 경계를 넘을 수 있도록 허용한다. 각 프로브에 대해 사전 경험 없음(no-prior), 관련(related), 무관(unrelated), 셔플된(shuffled) 소스 조건을 일치된 환경 스텝 예산과 5개의 시드(seed) 하에서 평가하며, TSR, WGP, VMP를 보고하고 출처 기록(provenance record)을 보존한다. 이 벤치마크는 컨트롤러(controller)와 플래너 기반(planner-backed) 변형 간에 일관된 직접 능력 격차(direct-capability gap)를 드러내는 반면, 관련 경험은 안정적인 전이를 제공하지 못한다: 두 도구 프로브 중 어느 것도 개선하지 못하고, 목재 종(wood-species)에서의 작은 향상은 단 하나의 시드에 의존하며, 모든 구간(interval)이 0을 포함한다. 단계별 감사(stage audit)는 또한 초기 목재 수집 및 제작(crafting) 병목이 종종 이후 능력을 관측되지 않게 만든다는 것을 추가로 보여준다. 따라서 MC-EvoBench는 지속적이고 전이 가능한 임바디드 능력을 위한 통제된 테스트베드를 제공한다. 코드와 데이터는 https://github.com/xzw-ustc/mc-bench-open-source 에서 확인할 수 있다.
어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고
Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning
3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.
과학 분야를 위한 터미널 환경의 자기지도 스케일링
Self-Supervised Scaling of Terminal Environments for Scientific Domains
터미널 에이전트(agent)는 소프트웨어 공학을 넘어 과학 및 기타 전문 분야에 점점 더 많이 배포되고 있습니다. 학습(training) 환경을 구축하려면 실행 가능한 기준 동작과 겉으로만 그럴듯한 결과물과 의미론적 정확성을 구분하는 도메인 특화 검증기(verifier)가 필요합니다. 각 작업마다 이러한 구성 요소를 직접 작성하는 것은 반복적인 엔지니어링을 요구하며 재사용성을 제한합니다. 본 연구에서는 구조화된 입력을 출력으로 매핑하는 실행 가능한 프로그램인 기존 소프트웨어 워크플로로부터 기준 출력과 검증 대상을 얻는 자기지도(self-supervised) 프레임워크인 소프트웨어 인 더 루프 재구성(software-in-the-loop reconstruction, SWR)을 소개합니다. 각 워크플로에 대해 여러 입력 구성을 실행하고 사례를 공개 관측치와 비공개 평가로 분할합니다. 지시문, 입력 스키마, 공개된 입출력 관측치가 주어지면 에이전트는 소스 워크플로에 직접 접근하지 않고도 편집 가능한 프로그램을 구성합니다. 후보 프로그램은 비공개 구성에서 워크플로 출력을 기준으로 평가됩니다. 계층적 검증기는 도메인 특화 의미 비교, 구조적 유효성, 지름길 방지(anti-shortcut) 검사를 결합하며, 공개 피드백은 반복적인 수정을 지원합니다. 이러한 구축 방식은 각 작업마다 기준 솔루션을 직접 작성하지 않고도 추가적인 워크플로와 구성을 수용할 수 있습니다. 6개 도메인에 걸쳐 500개의 워크플로와 46개의 소프트웨어 패밀리로 SWR을 구현했습니다. 작업당 3회의 시도에 걸쳐 Qwen3.8-Max는 838개의 작업을 해결하고 1,422개의 검증된 궤적을 생성했으며, 이를 오버샘플링하여 3,000개의 재구성 전용 학습 예제를 구축했습니다. Qwen3.8-27B의 지도 미세조정(supervised fine-tuning)은 3개 시드에 걸쳐 평균 Terminal-Bench 2 성능을 47.94%에서 53.56%로 향상시켰으며, 보고된 4개의 평가 모두에서 토큰(token) 수가 일치하는 4개의 말뭉치 대조군 중 가장 높은 평균을 달성했습니다. 이러한 결과는 기존의 과학 소프트웨어가 터미널 에이전트를 위한 확장 가능하고 동작 검증된 지도 신호를 제공할 수 있음을 보여줍니다.
다국어 GSM-Symbolic: 언어 간 능력 전이를 결정하는 요인은 무엇인가?
Multilingual GSM-Symbolic: What determines capability transfer across languages?
한 언어에서 습득된 능력이 다른 언어로 어떻게 전이되는지, 혹은 무엇이 이러한 전이를 지배하는지에 대해서는 알려진 바가 거의 없습니다. 기존 평가는 비교 불가능하고 포화되기 쉬운 데이터셋에 의존하며 전이의 결정 요인들을 함께 검토하는 경우가 드뭅니다. 전이를 예측하는 요인을 식별하면 모든 언어 쌍에 걸친 소모적인 평가를 피할 수 있으며, 개발자가 저자원 언어에서의 성능을 제한하는 요소를 집중 공략할 수 있게 됩니다. 교차 언어 능력 전이를 평가하기 위해, 본 연구에서는 15개 언어에 걸쳐 항목별로 매칭된 30,000개의 질문-답변 쌍을 포괄하는 확장 가능한 다국어 수학 데이터셋인 Multilingual GSM-Symbolic을 소개합니다. 이 데이터셋은 단일 샘플로부터 수백만 개의 고품질 변형 생성을 가능하게 함으로써 과적합을 방지하고 일반화를 보장하기 위해 기호 템플릿을 활용합니다. Multilingual GSM-Symbolic을 사용하여 능력의 가장 큰 결정 요인을 모델 크기($β= 1.77$), 언어 자원 수준($β= 0.77$), 추론($β= 0.67$), 언어유형학적 거리($β= -0.25$)로 정량화합니다. 이러한 공동 추정을 통해 결정 요인들을 상호 간의 관계로 표현할 수 있습니다. 즉, 마라티어로 평가된 32B 모델은 영어에서의 10B 모델과 유사하게 동작합니다. 본 연구 결과는 모델 개발자에게 중요한 시사점을 제공하며, 모델 크기와 추론 능력이 저자원 언어와 고자원 언어 간의 성능 격차를 좁히는 반면($β= -0.27$ 및 $β= -0.20$), 유사한 수단들이 언어유형학적으로 거리가 먼 언어에는 거의 또는 전혀 영향을 미치지 않음을 보여줍니다. 전반적으로 본 분석 프레임워크는 언어 간 변량의 92%를 설명하지만 모델-언어 간 변량은 23%만 설명하며, 확인되지 않은 언어에 대한 모델의 성능을 6.0%p 이내로 예측합니다(r=.96). 타깃 언어에서 단 10개 템플릿의 측정값을 통합하면 이를 4.19%p로 낮출 수 있어, 다운스트림 데이터셋이 거의 없거나 아예 없는 상황에서도 합리적인 성능 추정이 가능해집니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.