PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.22276v4cs.CV

WAON: 대조 비전-언어 모델의 문화적 적응을 위한 대규모 일본어 이미지-텍스트 데이터셋

WAON: A Large-Scale Japanese Image-Text Dataset for Cultural Adaptation in Contrastive Vision-Language Models

대조 비전-언어(contrastive vision-language) 모델은 대규모 사전학습(pre-training)을 통해 괄목할 만한 발전을 이루었습니다. 최근 연구에서는 영어 전용 캡션 필터를 제거하고 전 세계(global) 데이터로 사전학습하는 것이 다문화적 성능을 향상시키는 데 효과적임을 보여주었습니다. 본 연구에서는 이러한 전 세계 대상 사전학습이 특정 문화에 특화된 이해에 충분한지, 아니면 현지에서 직접 수집된(natively sourced) 데이터를 활용한 추가 적응을 통해 전 세계 사전학습만으로 달성할 수 있는 수준 이상의 성능을 이끌어낼 수 있는지 조사합니다. 이러한 조사를 위해 Common Crawl의 현지 일본어 웹 콘텐츠로부터 구축되어 약 1억 5,500만 개의 예제를 포함하는, 공개적으로 사용 가능한 최대 규모의 현지 일본어 이미지-텍스트 데이터셋인 WAON을 제시합니다. 또한 374개 클래스에 걸쳐 수작업으로 구축된 일본 문화 벤치마크인 WAON-Bench를 소개합니다. 여러 일본어 이미지-텍스트 데이터셋에 대한 비교 미세조정(fine-tuning) 실험을 통해, WAON으로 미세조정한 모델이 영어에서 일본어로 번역된 데이터로 미세조정한 모델보다 일본 문화 벤치마크에서 일관되게 더 뛰어난 성능을 달성함을 확인했습니다. 두 가지 모델 계열에 걸쳐 동일한 규모, 필터링 및 학습 예산으로 통제된 실험은 현지 웹 출처가 이러한 성능 향상의 주된 요인임을 추가로 나타냅니다. 본 연구의 데이터셋, 벤치마크, 모델 및 코드를 공개합니다.

arXiv:2607.10953v1cs.CV

장기 계층적 보고서 지식을 활용한 해부학 기반 CT 비전-언어 표현 학습

Learning Anatomy-Grounded CT Vision-Language Representations with Organ-Hierarchical Report Knowledge

쌍을 이루는 CT 영상과 방사선 보고서로부터 수행하는 의료 비전-언어 사전학습(VLP)은 확장 가능한 표현 학습을 가능하게 하지만, 기존 방법 대부분은 전체 스캔과 전체 보고서, 또는 국소 이미지 영역과 텍스트 단편을 각각 정렬하는 방식에 그친다. 이러한 방식은 방사선 보고서의 핵심 특성을 충분히 활용하지 못한다. 즉, 방사선 보고서의 소견은 해부학적 구조를 중심으로 구성되며, 이상 소견은 장기, 질환 개념, 위치, 중증도 관련 속성에 따라 기술된다. 우리는 CT-보고서 VLP를 위한 장기 계층적 지식 증강 프레임워크인 OKA-CT를 제안한다. OKA-CT는 먼저 자유 형식의 보고서를 방사선 보고서 파싱과 대규모 언어 모델(LLM) 기반 의미 구조화를 통해 장기 조건부 지식으로 변환한다. 추출된 계층 구조는 두 단계의 학습에 걸쳐 활용된다. 1단계에서는 세밀한 장기 조건부 지도 학습을 통해 해부학 기반 근거를 CT 시각 표현에 주입하고, 2단계에서는 장기별 보고서 근거를 활용하여 구조화된 보고서-CT 대조 학습을 유도한다. 이때 계층 구조에서 파생된 의미론적 소프트 타깃은 장기 수준의 소견을 공유하는 비쌍 사례를 균일한 음성 샘플이 아닌 약한 의미론적 양성 샘플로 취급한다. 또한 경량의 쿼리 기반 전역 브랜치가 전체 스캔 표현을 위해 질환 관련 체적 근거를 추가로 집약한다. CT-RATE 및 RAD-ChestCT 데이터셋에서 OKA-CT는 제로샷 이상 진단 AUROC 84.9 및 72.2를 달성하여 기존 CT VLP 베이스라인을 능가한다. 검색 및 패치 오클루전 분석을 통해 보고서-이미지 정렬의 개선과 질환 관련 해부학적 영역에 대한 더 강한 민감도가 확인된다.

arXiv:2607.00784v1cs.CV

LeVLJEPA: 네거티브 없는 엔드-투-엔드 비전-언어 사전학습

LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives

LeVLJEPA는 기존 비전-언어 사전학습에서 지배적이던 대조 학습(contrastive learning) 방식을 대체하는 최초의 완전 비대조적(non-contrastive) 엔드-투-엔드 비전-언어 사전학습 방법으로, 네거티브 샘플, 온도 파라미터, 모멘텀 인코더 없이 크로스 모달 예측과 SIGReg 기반 분포 정규화만으로 학습한다. 동결된 시각 백본으로 활용 시 GQA, VQAv2, POPE에서 대조적 기준선을 능가하고 시맨틱 세그멘테이션에서도 우수한 성능을 보여, 비대조적 사전학습이 패치 토큰 수준의 밀집 의미론적 특징 품질에서 특히 효과적임을 입증한다.

arXiv:2604.02546v2cs.CV

통합 3D 장면 이해를 위한 대비 언어-컬러 포인트맵 사전학습

Contrastive Language-Colored Pointmap Pretraining for Unified 3D Scene Understanding

대비 언어-이미지 사전학습(CLIP)과 정렬하여 3D 인코더를 사전학습하는 방식은 3D 장면 이해를 위한 일반화 가능한 표현을 학습하는 유망한 방향으로 떠오르고 있다. 본 논문에서는 다중 뷰 컬러 포인트맵으로부터 통합 장면 표현을 학습하고, 이미지 외관과 기하를 공동으로 모델링하는 트랜스포머 기반 인코더 UniScene3D를 제안한다. 견고한 컬러 포인트맵 표현 학습을 위해, 뷰 간 기하 및 의미적 일관성을 강제하는 새로운 교차-뷰 기하 정렬(cross-view geometric alignment)과 그라운딩된 뷰 정렬(grounded view alignment)을 도입한다. 시점 그라운딩, 장면 검색, 장면 유형 분류, 3D VQA에 대한 광범위한 로우샷 및 과제별 미세조정 평가에서 최신 성능을 입증하였다. 이러한 결과는 통합 3D 장면 이해를 위한 우리 접근법의 효과를 보여준다. https://yebulabula.github.io/UniScene3D/

arXiv:2512.17621v2cs.CV

PathFLIP: 범용 계산 병리학을 위한 세밀한 언어-이미지 사전학습

PathFLIP: Fine-grained Language-Image Pretraining for Versatile Computational Pathology

PathFLIP은 기가픽셀 규모의 전체 슬라이드 이미지(WSI) 해석을 위해 슬라이드 수준 캡션을 영역 수준 하위 캡션으로 분해하고, Region Q-Former를 통해 텍스트 조건 영역 임베딩을 생성해 세밀한 비전-언어 그라운딩을 수행하는 사전학습 프레임워크다. 네 가지 대표 벤치마크에서 기존 대규모 병리학 VLM을 유의미하게 능가하면서도 훨씬 적은 학습 데이터로 제로샷 분류·검색, 병변 국소화, 인스트럭션 튜닝 등 다양한 계산 병리학 태스크를 통합 처리한다.

arXiv:2606.24570v2cs.CV

Jolia: 3D CT 대조 학습을 위한 개념 수준 비전-언어 정렬

Jolia: Concept-Level Vision-Language Alignment for 3D CT Contrastive Learning

비전-언어 대조 사전학습은 임상 현장에서 생성되는 대규모의 쌍을 이룬 스캔과 리포트를 활용하여 3D 의료 기반 모델의 지배적인 방법론으로 자리잡았다. 그러나 의료 영상은 수십 개의 장기에 걸쳐 있으며, 방사선 리포트는 일반적인 자연 이미지 캡션보다 훨씬 길고 여러 구조화된 섹션으로 구성된다. CLIP 방식의 사전학습은 각 모달리티를 단일 전역 토큰으로 인코딩하여 이러한 구조를 압축하므로 중요한 세부 정보가 손실될 위험이 있다. 우리는 개념 쿼리(Concept Queries, ConQuer)를 소개한다. 이는 CLIP의 전역 정렬에 개념별 지역 정렬을 추가하는 이미지-텍스트 사전학습 방법이다. ConQuer는 리포트를 개념별 섹션으로 분리하고, 분할 마스크나 공간적 감독 없이 일치하는 이미지 특징을 풀링하는 교차 어텐션 쿼리를 학습한다. 이후 대조 학습이 각 개념에 대해 독립적으로 적용된다. 개념은 의미적 지역화의 어떤 단위도 될 수 있으며, 여기서는 해부학적 영역, 즉 장기 또는 대략적인 신체 부위당 하나의 쿼리가 사용된다. 부산물로, 각 쿼리는 해당 개념에 집중된 어텐션 맵을 학습하여 내재적인 공간적 해석 가능성을 제공한다. 우리는 ConQuer를 사용하여 흉부 및 복부 CT에 대한 3D CT 기반 모델인 Jolia를 학습하였다. Jolia는 소견 분류, 리포트 생성, 센터 간 전이에서 CLIP 기준선을 일관되게 능가하며, 다수의 공개 벤치마크에서 새로운 최첨단 성능을 달성한다. Jolia의 가중치는 https://huggingface.co/raidium/Jolia 에서 제공된다.