자기지도 학습은 라벨 데이터가 부족하고 취득 비용이 높은 의료 영상에 매력적인 접근법을 제공한다. COJEPA를 제시한다. 이는 볼륨 뇌 MRI를 위한 자기지도 학습 프레임워크로, 결합 임베딩 예측 아키텍처(JEPA)와 대조 손실(CO)을 결합하여 지역적 예측성과 전역적 판별 가능성이라는 두 가지 상보적 특성을 목표로 한다. 모델은 두 코호트(HCP-YA 및 AABC, $N{=}2286$, 연령 22~90세)의 T1 강조 구조적 MRI에서 라벨 없이 학습되며, 전경 인식 블록 마스킹, 계층적 합성곱 패치 임베딩, 월드 공간 사인파 위치 인코딩을 통해 I-JEPA를 3D로 확장한다. 제로샷 쌍둥이 검색, 뇌종양 분할(BraTS 2024), 연령 회귀(OpenBHB)에서 세 가지 목표를 모두 평가한다. COJEPA는 rank@1 일란성 쌍둥이 재현율(0.84)에서 최고를 달성하고, 파인튜닝 연령 MAE(OpenBHB 3.0T에서 2.55년)에서 최고를 기록하며, BraTS 전체 종양 Dice에서 CO와 동등한 성능을 보여, 결합 목표가 동시에 판별적이고 지역적으로 구조화된 표현을 산출함을 입증한다.
우리는 산업 규모의 소셜 미디어 데이터로 학습된 대규모 이미지 및 영상 이해를 위한 통합 비전 모델 아키텍처인 Xray-Visual을 제안한다. 당사 모델은 Facebook과 Instagram의 150억 개 이상의 큐레이션된 이미지-텍스트 쌍과 100억 개의 영상-해시태그 쌍을 활용하며, 의미적 다양성을 극대화하고 레이블 노이즈를 최소화하기 위해 균형 조정과 노이즈 억제 전략을 결합한 견고한 데이터 큐레이션 파이프라인을 사용한다. 우리는 자기 지도 MAE, 준지도 해시태그 분류, CLIP 스타일 대조 학습을 결합하여 이미지와 영상 모달리티를 공동으로 최적화하는 3단계 학습 파이프라인을 도입한다. 아키텍처는 연산 효율 향상을 위해 효율적인 토큰 재구성(EViT)으로 강화된 Vision Transformer 백본 위에 구축된다. 광범위한 실험 결과, Xray-Visual은 이미지 분류를 위한 ImageNet, 영상 이해를 위한 Kinetics 및 HMDB51, 교차 모달 검색을 위한 MSCOCO를 포함한 다양한 벤치마크에서 최첨단 성능을 달성함을 보여준다. 이 모델은 도메인 전이와 적대적 교란에 대해 강한 견고성을 보인다. 또한 대규모 언어 모델(LLM)을 텍스트 인코더로 통합하는 LLM2CLIP은 특히 실세계 환경에서 검색 성능과 일반화 능력을 크게 향상시킴을 추가로 입증한다. Xray-Visual은 뛰어난 정확도와 연산 효율을 유지하면서 확장 가능한 다중 모달 비전 모델의 새로운 기준을 제시한다.
현대 로봇 학습 시스템은 중간 상태 평가, 정책 학습 안내, 과제 완료 감지에 점진적 진행도 또는 가치 신호에 점점 더 의존하므로, 이러한 신호의 품질이 핵심이 되었다. 이러한 조밀한(dense) 라벨은 대규모로 거의 제공되지 않기 때문에, 시연 내 정규화된 시간이 확장 가능한 대안으로 자주 사용되며, 이후 프레임일수록 더 높은 진행도로 취급된다. 그러나 이 시간 유도 라벨은 물리적 과제 진행도에 대한 잡음이 많은 프록시에 불과하다. 접촉이 많은 조작에서는 로봇이 진행한 뒤 미끄러짐, 파지 실패, 부분적 되돌림 등으로 진행을 잃을 수 있는데, 시간 유도 라벨은 계속 단조 증가한다. 우리는 시간 유도 진행도 라벨을 보정하는 오프라인·학습 불필요(training-free) 방법인 비지도 로봇 가치 보정(Unsupervised Robotic Value Correction, UR-VC)을 제안한다. UR-VC는 시연 데이터의 단순한 규칙성을 활용한다: 유사한 상태가 서로 다른 에피소드에서 서로 다른 타임스탬프로 자주 재등장한다. 단일 궤적의 타임스탬프를 신뢰하는 대신, UR-VC는 다른 에피소드에서 유사 상태를 검색하고 그들의 시간 유도 라벨을 집계하여 보정된 진행도 추정치를 얻는다. UR-VC는 수동 진행도 라벨, 보상 주석, 또는 추가 가치 모델이 필요하지 않다. 우리는 UR-VC를 실제 양손 천 평탄화 및 접기 데이터, 중간 진행도가 명확히 드러나는 장기 변형 가능 객체 조작 과제에서 평가했다. 보정된 라벨은 정규화된 시간이 표현할 수 없는 국소적 퇴행과 비균일 진행도를 포착하면서 전체 과제 추세는 유지한다. 또한 최근 이점 조건 정책 학습(advantage-conditioned policy learning)에 따라 보정된 신호로 VLA 학습용 이점 라벨을 구성했다. UR-VC는 동일한 데이터, 모델, 학습 설정 하에서 실제 로봇 과제 성공률에서 긍정적 추세를 보였다.
위성 및 항공 영상 분석은 기반 모델(foundation models)의 등장으로 새로운 시대에 접어들었다. 본 논문은 다양한 방법론을 통해 대규모 지리공간 데이터셋에서 사전학습된 인공지능/머신러닝(AI/ML) 모델인 지리공간 기반 모델(Geospatial Foundation Models, GeoFMs)의 개념을 설명한다. 먼저 GeoFMs가 가능하게 하는 핵심 패러다임 전환, 즉 대규모 모델 제공자가 연산 집약적인 사전학습을 수행하고 도메인 전문가가 특정 임무 핵심 작업을 위해 이러한 모델을 신속하게 파인튜닝하거나 프롬프트할 수 있는 업무 분담을 설명한다. 이 접근법은 하류 작업의 보안과 기밀성을 유지하면서 최첨단 AI/ML에 대한 접근을 민주화한다. 다음으로, 마스킹 자동 인코딩과 같은 자기지도학습 기법으로 생성된 파인튜닝 가능한 비전 모델과, 개방 어휘 이미지 분석과 같은 제로샷 작업을 가능하게 하는 대조 학습으로 생성된 비전-언어 모델을 구분하면서, 다양한 유형의 GeoFMs가 열어주는 새로운 역량을 탐구한다. 이어서 성능-비용 분석부터 광범위한 MLOps 생태계에 이르기까지 GeoFMs를 운영화하기 위한 실무적 고려사항을 논의한다. 이를 위해 모델 적응 전략의 분류체계를 제시하고, 도메인 전문가가 특정 임무 집합에 대해 가장 비용 효율적인 적응 접근법을 선택할 수 있는 프레임워크를 제안한다. 마지막으로, 대규모 언어 모델(LLM)이 지능형 오케스트레이터로 작동하여 GeoFMs를 도구로 활용해 자연어로 고수준 사용자 질의에 답하고 복잡한 분석 워크플로를 자동화하는 에이전틱 지리공간 추론(Agentic Geospatial Reasoning)의 전향적 비전을 제시하며, 이 분야를 지각(perception)에서 인지(cognition)로 이동시킨다.
외판원 문제(TSP)에 대한 학습 기반 방법은 종종 디코딩(decoding)이나 탐색(search) 이후 생성된 투어로 평가되지만, 학습된 대상 자체는 히트맵(heatmap), 할당(assignment), 구성 정책(construction policy), 탐색 안내 점수(search-guidance score)와 같은 대리 공간(surrogate space)에 존재하는 경우가 많다. 이는 근본적인 질문을 가린다: 디코딩 이전에 실제로 어떤 해밀토니안(Hamiltonian) 구조가 학습되었는가? 본 연구에서는 대부분의 해밀토니안 구조를 최종 디코딩 단계에 맡기지 않고, 구조적으로 의미 있는 잠재 대상(latent object)을 통해 TSP를 직접 학습함으로써 이 질문에 답한다. 구성에 의해 연결된(connected-by-construction) 루트 $1$-트리 Gibbs family를 기반으로, 무비지도 학습 파이프라인 \emph{C2TSP}를 제안한다. 이 파이프라인은 암시적 미분(implicit differentiation)을 통해 편향 없는 TSP 비용으로부터 잔차 엣지 섭동(residual edge perturbation)을 학습한다. 구조적 보정을 위해, 평활화된 Held--Karp 층이 기대 차수 균형(expected degree balance)을 복원하고, 인증서 안내 샤프닝(certificate-guided sharpening)이 연결된 분포를 더 투어에 가까운 구조로 추가로 밀어준다. 실험 결과 C2TSP는 해석 가능한 구조 정보를 보존하면서 강한 디코딩 성능을 달성한다. 어블레이션(ablation)은 엣지 섭동과 인증서 안내 샤프닝이 투어 비용과 투어에 가까운 구조를 공동으로 개선함을 추가로 검증한다.
최근의 스케일링 성공에도 불구하고, 다국어 자동 음성 인식(ASR) 성능은 여전히 매우 불균등하며, 롱테일 언어들은 심각한 데이터 부족 문제를 겪고 있다. 본 연구는 저자원 중앙아시아 언어(카자흐어, 키르기스어, 우즈베크어)를 위한 강건한 파운데이션 모델 구축의 과제를 다룬다. 우리는 HuBERT 방식의 목표 함수를 사용하여 200만 시간의 오디오로 사전학습된 Conformer 인코더인 GigaAM Multilingual을 제안한다. 핵심적으로, 고자원 언어 편향을 완화하기 위해 사전학습 단계에서 클러스터 수준의 데이터 균형 전략을, 미세조정 단계에서 도메인 인식 샘플링 방법을 도입한다. 통제된 비교 실험에서, 우리의 접근법은 타겟 언어에 대해 강력한 공개 사전학습 인코더(Whisper Large v3, Omnilingual-1B)를 능가하며, 효율성을 유지하면서 자발화에서 상당한 성능 향상을 달성한다. 우리는 파운데이션 인코더와 ASR 모델을 공개하여, 현실적인 데이터 불균형 환경에서의 효과적인 다국어 적응을 위한 검증된 레시피를 제공한다.
표준 다음 토큰 예측(NTP)이 은닉 표현 공간을 충분히 제약하지 못해 표현 퇴화(representation degeneration) 현상을 유발한다는 문제를 지적하며, 이를 해결하기 위해 동일 모델의 얕은 레이어 표현을 자기지도(self-supervised) 타깃으로 활용해 잠재 공간에서 연속적 밀도 감독을 추가하는 NITP(Next Implicit Token Prediction)를 제안한다. 0.5B~9B 규모의 dense 및 전문가 혼합(MoE) 모델에서 약 2%의 추가 학습 FLOPs만으로 MMLU-Pro 5.7%, C3 6.4%, CommonsenseQA 4.3%의 성능 향상을 달성하며, 추론 비용은 전혀 증가하지 않는다.
음소 인식(PR)은 다국어 및 저자원 음성 처리 과업의 핵심 기반 기술이지만, 안정적인 성능을 달성하는 것은 여전히 어려운 과제로 남아 있다. 영어에 특화된 고성능 모델은 다른 언어로 일반화되지 않으며, 다국어 모델은 사전학습된 표현을 충분히 활용하지 못한다. 또한 데이터 규모, 아키텍처, 학습 목표가 다국어 PR에 어떻게 기여하는지도 명확하지 않다. 우리는 PhoneticXEUS를 제안한다 — 대규모 다국어 데이터로 학습되어 다국어(PFER 17.7%)와 억양이 있는 영어 음성(PFER 10.6%) 모두에서 최신 성능을 달성한다. 통합된 평가 체계 하에 100개 이상의 언어를 대상으로 제어된 ablation을 통해, 우리는 경험적으로 학습 레시피를 수립하고 SSL 표현, 데이터 규모, 손실 목표의 영향을 정량화한다. 더불어 언어군, 억양 음성, 조음 특징에 걸친 오류 패턴을 분석한다. 모든 데이터와 코드는 https://github.com/changelinglab/PhoneticXeus에서 공개적으로 제공된다.
자기지도 학습(SSL)은 근거리 원격 감지에서 어노테이션 비용을 줄이는 유망한 방법을 제공하지만, 데이터 부족으로 인해 고해상도 다중 스펙트럼 무인 항공기(UAV) 영상에 대한 효과는 아직 충분히 탐구되지 않은 상태이다. 본 연구는 여러 센서, 연도, 지역에 걸쳐 수집된 cm 단위 다중 스펙트럼 드론 영상을 활용하여 정밀 농업을 위한 SSL 사전학습을 평가하였다. 트랜스포머 기반 인코더를 Momentum Contrast v3(MoCo-v3) 및 마스크드 오토인코더(Masked Autoencoders)로 사전학습하였으며, 이를 위해 msuav500K와 핀란드 농업 지역에서 새로 수집한 다년간의 UAV 영상을 결합한 통합 데이터셋을 사용하였다. 사전학습에는 교차 센서 호환성을 위해 네 개의 스펙트럼 밴드(Green, Red, Red-Edge, Near-Infrared)를 활용하였다. 모델은 5~100%의 학습 데이터를 사용하여 WeedMap 데이터셋 기반 작물-잡초 의미론적 분할로 평가되었다. 다음 두 가지 하위 태스크를 다운스트림 태스크로 사용하였다: 부분 및 전체 미세조정 조건에서 모든 사전학습 모델을 비교한 태스크 A(독일, RedEdge-M)와, 태스크 A의 최적 인코더를 평가한 태스크 B(스위스, Sequoia). MoCo-v3로 사전학습된 Swin 트랜스포머는 두 태스크 모두에서 가장 높은 성능을 달성하였으며, msuav500K의 사전 공개 버전으로 사전학습된 Doornbos 등의 Swin 트랜스포머 모델을 능가하였다. 또한 사전학습된 Swin 트랜스포머는 교차 센서 및 교차 지역 일반화 능력을 추가로 입증하였다. 향후 연구를 지원하기 위해 핀란드에서 수집한 공개 다년간 다중 스펙트럼 UAV 데이터셋도 함께 제공한다.
A Unified Framework for Comprehensive Cardiac CT Segmentation and Phenotyping: Human-in-the-Loop Data Annotation, Vision Foundation Model Development, Multicenter Evaluation and Clinical Validation
전산화 단층촬영(CT)으로부터 심장 구조물을 포괄적으로 정량화하는 작업은 데이터 가용성이 아닌 측정의 확장성에 의해 제한되어 있어, 임상 현장에서의 일상적 활용이 비현실적이다. 본 연구에서는 휴먼-인-더-루프 어노테이션 파이프라인, 심장 CT 증강 기법, 그리고 60,000개의 레이블 없는 심장 CT 스캔으로 사전학습된 자기지도(self-supervised) 파운데이션 모델을 결합한 포괄적 심장 CT 분할 및 표현형 분석을 위한 통합 프레임워크를 제시한다. 이 방법을 통해 현재까지 구축된 것 중 가장 크고 포괄적인 전문가 어노테이션 심장 CT 분할 데이터셋을 구성하였으며, 총 1,598개 케이스와 14가지 심장 구조물로 이루어져 있다(학습용 1,000개, 외부 테스트 세트 598개). 다섯 개의 외부 데이터셋에서 본 프레임워크는 기존 오픈소스 도구보다 더 정확하고 포괄적으로 모든 구조물을 분할하였다. 자기지도 사전학습은 레이블링 효율성을 향상시켰으며, 저데이터 환경에서의 외부 평가에서 가장 두드러진 성능 향상이 관찰되었다. 합성곱, 트랜스포머, 상태 공간 아키텍처에 걸친 벤치마킹에서 유사한 성능이 나타나, 정확도를 결정하는 요인이 아키텍처가 아닌 데이터 품질과 사전학습임을 시사하였다. 본 프레임워크는 집단 수준의 표현형 분석으로 확장되었으며, 분할된 해부 구조는 인구통계학적 변수 이상으로 심실 기능 및 질병 중증도에 관한 기능적으로 유의미한 정보를 담고 있음이 확인되었다. 사람 레이블이 포함된 최대 규모의 데이터셋, 코드, 모델 가중치, CT 증강 라이브러리, 소프트웨어를 공개함으로써, 본 연구는 일상적으로 획득된 CT 스캔으로부터의 기회적 심장 표현형 분석을 위한 재현 가능한 기반을 제공한다.
실세계 장면 이해를 위한 객체 중심 모델 배포는 일반적으로 강건한 장면 분해와 고품질 생성을 동시에 달성하기 위해 복잡한 파이프라인을 필요로 합니다. 최근 확산(diffusion) 기반 접근법들은 시각적 품질을 향상시켰지만, 이들은 거의 예외 없이 Stable Diffusion과 같은 무거운 사전학습 생성 사전(prior) 및 외부 VAE 잠재 공간에 의존합니다. 본 논문에서는 Slot-RAE를 제안합니다. 이는 시각적 기반 모델(VFM)(예: DINOv3)의 연속적인 의미 특징(feature) 공간 내에서 직접 동작하는 훨씬 단순하고 완전히 통합된 프레임워크입니다. Slot-RAE는 Diffusion 트랜스포머(DiT) 디코더와 표현 정렬(REPA, Representation Alignment) 헤드를 사용하는 특징 공간 확산 프로세스를 적용합니다. 텍스트-이미지 사전에 크게 의존하는 기존 확산 기반 객체 중심 방법들과 달리, Slot-RAE의 생성 핵심 구성요소(슬롯 어텐션과 DiT)는 고정된 VFM 특징 공간 내에서 처음부터 학습됩니다. 이를 통해 VAE 병목과 태스크 비특화 생성 사전학습의 필요성이 제거됩니다. COCO 데이터셋에 대한 실험 결과, Slot-RAE는 구조적 단순성에도 불구하고 최첨단 성능을 달성합니다. 기존 객체 중심 잠재 확산 모델보다 훨씬 빠르고 계산 효율적이면서도, 비슷한 수준의 비지도 객체 검출, 더 높은 품질의 이미지 재구성, 강건한 제로샷 합성성(compositionality)을 제공합니다.
WiFi 채널 상태 정보(CSI)는 카메라 사용이 불가한 환경에서 프라이버시를 보호하는 인체 자세 감지를 가능하게 하지만, 기존 WiFi 기반 자세 추정기는 환경 변화에 취약하고 확장성을 제한하는 비용이 높은 카메라 기반 어노테이션 파이프라인에 의존한다. 본 논문에서는 WiFi-JEPA를 제안한다. 이는 하드웨어 특유의 아티팩트를 포함할 수 있는 원시 CSI 신호를 재구성하는 대신 마스킹된 잠재 임베딩을 예측함으로써 CSI 고유 표현을 학습하는 자기지도학습 프레임워크이다. WiFi-JEPA는 세 가지 기여를 한다: (i) 채널, 시간, 링크(C,T,L)에 걸친 CSI 텐서에 맞춰 설계된 CSI 전용 토큰화 및 링크 마스킹; 전체 송수신(Tx-Rx) 안테나 링크를 마스킹함으로써 모델이 다른 공간 링크 뷰로부터 하나의 뷰를 예측하도록 강제하여, 3D 공간 구조에 관한 정보를 담은 교차 링크 상관관계를 포착한다. (ii) 무작위화된 기하학적 프리미티브로부터 다양한 비레이블 CSI를 생성하는 레이 트레이싱 CSI 시뮬레이션 파이프라인으로, 자세 어노테이션 없이 확장 가능한 사전학습 데이터를 제공한다. (iii) Person-in-WiFi-3D에서의 최첨단 결과: WiFi-JEPA는 동일한 평가 프로토콜 하에서 단일 및 다중 인물 3D 자세 추정 모두에서 기존 WiFi-CSI 기준 모델을 능가한다. 또한 시뮬레이션된 CSI가 실제 CSI에 대한 보완적인 사전학습 신호를 제공하며, 비전 고유의 자기지도학습(SSL) 목적 함수 네 가지는 처음부터 학습하는 것보다 성능을 저하시키는 반면, WiFi-JEPA는 다운스트림 자세 추정을 일관되게 향상시킴을 보인다.
정확 이벤트 스포팅(Precise Event Spotting, PES)은 시각적으로 유사하지만 의미적으로 구별되는 인접 프레임을 구분해야 하므로, 이미지 분류 및 세밀하지 않은 행동 인식과 근본적으로 다릅니다. DINO와 같은 자기 증류 방법이 이미지에서 강력한 표현 학습 능력을 보였음에도 불구하고, 이를 PES에 직접 적용하면 효과적이지 않다는 것을 발견했습니다. 지도 학습 없이는 미묘하지만 중요한 모션 단서가 노이즈로 억제되어 정확한 이벤트 경계에 둔감한 표현으로 이어집니다. 이를 해결하기 위해, 프레임 수준 위치 파악에 필요한 모션에 민감하고 경계를 인식하는 단서를 보존하고자 프로젝션 헤드 출력이 아닌 시간적으로 유익한 백본 특징을 정렬하는 반지도 학습 목적 함수인 시간적 특징 증류(Temporal Feature Distillation)를 제안합니다. 램프업 스케줄을 갖춘 지도 학습 웜업은 레이블 없는 증류가 시작되기 전에 의미 있는 이벤트 단서가 학습되도록 보장함으로써 학습을 더욱 안정화합니다. 또한 비전 트랜스포머에 모션 인식 시간 정보를 주입하는 다중 스케일 게이팅 이동 모듈인 Transformer Gate Shift를 소개합니다. 네 가지 세밀한 스포츠 벤치마크에 대한 실험은 완전 지도 학습 및 반지도 학습 기준선 대비 일관된 성능 향상을 보여줍니다. FSPerf에서 10% 지도 학습 조건 하에서 우리의 방법은 가장 강력한 경쟁 접근법 대비 mAP를 4.54 포인트 향상시키며, 80%의 레이블 데이터만으로도 네 개 데이터셋 중 두 개에서 완전 지도 학습 100% 기준선과 동등하거나 이를 능가합니다.
자기지도 데이터 분할은 완전히 샘플링된 정답 데이터 없이 불완전한 측정값으로부터 학습을 가능하게 하는, 희소뷰(sparse-view) CT 재건을 위한 유망한 패러다임으로 부상하였다. 그러나 분할 전략, 전처리, 추론을 포함한 주요 설계 선택들의 영향은 아직 충분히 이해되지 않고 있다. 본 연구에서는 분할 기반 재건을 이 세 가지 구성 요소로 분해하는 통합 프레임워크를 제안하며, 이를 통해 기존 방법들의 통제된 비교와 두 가지 점진적 확장, 즉 다중 분할(multi-partition splitting) 및 대안적 추론 전략을 지원한다. 독립 및 상관 잡음 조건하에서의 시뮬레이션된 LoDoPaB-CT 데이터에 대한 실험과 실세계 2DeteCT 데이터셋에 대한 검증 결과, 최적의 분할 전략은 측정 잡음 구조에 강하게 의존하는 것으로 나타났다. 격자 기반 분할(lattice-based splitting)은 독립 잡음 조건에서 유리한 성능을 보이는 반면, 각도 마스킹(angular masking)은 상관 잡음 및 실제 측정 데이터에서 더 강인하다. 다중 분할은 여러 설정에서 순수 투영 방향 분할(projection-wise splitting)보다 일관되게 향상된 성능을 보인다. LPIPS 및 HaarPSI를 포함한 보완적인 지각적·구조적 지표들은 PSNR과 SSIM만으로는 덜 명확하게 드러나는 마스킹 전략 간의 차이를 보여준다. 이러한 결과들은 자기지도 희소뷰 CT 재건 방법 설계를 위한 실용적인 지침을 제공하며, 현실적인 영상 환경에서 일반적인 독립성 가정의 한계를 부각시킨다.
이미지 분할(image segmentation)을 위한 지도 학습은 일반적으로 공간적으로 정렬된 이미지와 레이블 세트를 필요로 합니다. 이미지와 레이블이 서로 다른 출처에서 비롯된 경우, 페어링이 정렬되지 않을 수 있으며, 이는 학습된 모델의 성능을 크게 저하시킬 수 있습니다. 이는 항공 또는 위성 이미지가 다른 출처(예: OpenStreetMap)의 레이블과 함께 공동 등록되는 원격 탐사 분야에서 특히 흔히 발생합니다. 본 연구에서는 레이블 정렬을 동시에 학습하는 정렬되지 않은 레이블 기반 학습을 위한 새로운 접근 방식을 제안합니다. 제안하는 정렬 및 분할(AnS) 방법은 공간 트랜스포머 모듈을 기반으로 어파인 변환을 사용하여 정렬되지 않은 레이블을 변환함으로써, 표준 시맨틱 분할 네트워크에 더 나은 학습 타겟을 제공합니다. 자기지도(self-supervised) 정규화 손실을 통해 이러한 시맨틱 분할 네트워크에서 정렬되지 않은 레이블의 지름길 학습을 방지하며, 특히 체계적으로 정렬되지 않은 학습 데이터에 대해 이 방법이 데이터 증강과 상호 보완적임을 보입니다. AnS 접근 방식의 결정적인 특성은 어떠한 골든 레이블도 요구하지 않고 학습한다는 점입니다. 서로 다른 도시의 합성 데이터와 실세계 데이터 모두에 대한 실험을 통해, 제안 방법이 고품질 건물 분할과 정밀한 레이블-이미지 정렬을 동시에 가능하게 함을 보입니다. 코드와 파생 데이터셋은 https://github.com/venkanna37/align-and-segment 에서 이용할 수 있습니다.
비전 파운데이션 모델(VFM)에서 LiDAR 백본으로의 크로스 모달 증류는 최근 3D 장면 이해를 위한 밀집 포인트별 어노테이션 의존도를 줄이는 자기지도 사전학습 전략으로 부상하고 있다. 그러나 기존의 증류 파이프라인은 일반적으로 VFM을 동결된 특징 소스로 취급하고 고정된 이미지 임베딩에 매칭하도록 이질적인 3D 백본을 학습시키며, 이는 학생 모델로 하여금 밀집 ViT 토큰 표현과 희소 3D 인코더 사이의 모달리티 격차와 크로스 아키텍처 격차를 동시에 극복하도록 강요한다. 우리는 TOLiD를 제안한다. 이는 LiDAR 표현 학습을 위한 자기지도 사전학습 방법으로, LiDAR 백본을 동결된 VFM 교사로부터 초기화된 학생 비전 트랜스포머(ViT)와 결합하고 호환 가능한 패치 토큰 표현에 대한 감독을 적용함으로써 이 격차를 해소한다. TOLiD는 각 이미지 패치 프러스텀(frustum) 내의 포인트 특징 집합을 Frustum Pooling에 이어 Frustum Attention을 통해 토큰으로 변환하고, 가시성 마스킹을 통한 토큰 수준 증류를 수행한다. LiDAR 전용 배포를 위해서는 LiDAR 포인트가 부족한 패치를 피하기 위해 마스킹된 이중선형 샘플링(masked bilinear sampling)을 사용하여 토큰 특징을 포인트별 표현으로 다시 리프팅한다. 우리는 TOLiD를 다섯 개의 이질적인 LiDAR 데이터셋과 네 개의 크로스 센서 적응 쌍에서 광범위하게 평가하여, 동결된 백본과 경량 헤드를 통한 향상된 전이 성능을 입증한다.
레이아웃 기반 3D 장면 합성기는 범주형 클래스 레이블과 정준 포즈 규약이라는 두 가지 인간 어노테이션 채널을 사용하여 각 객체를 배치한다. 본 연구에서는 객체 기하학에서 도출된 단일 자기지도(self-supervised) 토큰이 이 두 채널을 대체할 수 있는지를 탐구하며, 그러한 토큰을 합성기와 분리하여 표현(representation) 그 자체로서 직접 연구한다. 유한 스칼라 양자화(FSQ) 포인트 클라우드 오토인코더를 레이블이나 포즈 어노테이션 없이 배치된 3D-FUTURE 가구 데이터에 대해 챔퍼(chamfer) 손실로 학습한다. 진단용 프로브는 코드만으로 세부 범주(62.6 ± 0.5%), 상위 범주(85.6 ± 1.3%), 요(yaw)(52.7 ± 0.5도)를 복원한다. 챔퍼 목표를 회전된 포인트 클라우드에서 비회전 포인트 클라우드로 교체하면 요 신호가 소멸되는 반면 클래스 복원율은 향상되며, 이는 코드의 회전 정보가 학습 목표에 의해 제어될 수 있음을 보여준다. 에셋 라이브러리 전반으로의 확장에는 전이 가능한 코드가 필요하다. 미지 데이터셋(ShapeNet)에서의 정렬은 범주에 따라 달라지는데, 박스형 가구는 전이가 잘 되는 반면 유기적 형태의 가구는 그렇지 않으며, 목표 비의존적 증강(target-blind augmentation)이 이 격차를 부분적으로 좁혀준다.
자기지도 학습(SSL)은 대규모 비레이블 전체 슬라이드 이미지(WSI)로부터 전이 가능한 표현을 학습하는 효과적인 패러다임으로 부상하고 있다. 그러나 기존의 SSL 방법들은 주로 일반적인 시각적 특징을 학습하며, 질환 특성화에 핵심적인 병리 특이적 형태학적 패턴을 명시적으로 포착하는 데 종종 실패한다. 이러한 한계를 해결하기 위해, 우리는 병리 인식 프로토타입 증류를 갖춘 Tiny Vision Transformer인 TVT-PAPD를 제안한다. 이 자기지도 병리 표현 학습 프레임워크는 Tiny Vision Transformer(TVT)와 새로운 병리 인식 프로토타입 증류(PAPD) 모듈을 통합한다. PAPD는 학습 가능한 병리 프로토타입 뱅크를 활용하여 대표적인 조직 형태학적 패턴을 발견하고 보존하며, 의미론적으로 유사한 병리 영역이 일관되고 판별적인 표현을 학습하도록 유도한다. 제안된 프레임워크는 9,000만 개의 파라미터로 계산 효율성을 유지하면서 병리 인식 특징 학습을 향상시킨다. Cancer Genome Atlas(TCGA) 저등급 신경교종(LGG)/교모세포종(GBM) 데이터셋 및 Indian Pathology Brain(IPD-Brain) 데이터셋에 대한 실험에서, TVT-PAPD는 LGG-GBM 분류에서 각각 93.02% 및 90.23%의 가중 F1-점수를 달성하면서 독립적인 신경교종 데이터셋 전반에 걸쳐 강력한 코호트 간 일반화 능력을 보인다.
고품질 알파 매트는 주석 비용이 매우 높기로 악명 높아, 딥 이미지 매팅에 근본적인 데이터 병목을 야기한다. 기존 연구들은 트라이맵이나 마스크와 같은 더 거친 레이블을 사용해 주석 비용을 줄이려 했지만, 여전히 비용이 높은 픽셀 단위 지도에 의존하여 확장성과 일반화에 한계가 있다. 본 연구에서는 이 경계를 한층 더 밀어붙여 다음과 같은 질문을 던진다: RGB 이미지만으로, 수동 주석 없이 자동 매팅 모델을 학습할 수 있는가? 우리는 SSMatte를 제시함으로써 이에 답하는데, 이는 완전 지도 자동 매팅과 동등한 성능을 최초로 달성한 자기지도 프레임워크이다. 핵심 통찰은 문제를 의미론적 앵커링(semantic anchoring)과 세부 매팅(detail matting)으로 분해하는 것이다. SSMatte는 먼저 일반화된 Rayleigh 몫에 기반한 새롭고 학습 효율적인 의미론적 앵커링 손실을 통해 클래스 토큰 시드를 전파함으로써, 동결된 자기지도 ViT 특징으로부터 의미론적 매팅 프롬프트를 생성한다. 이 프롬프트는 이후 세부 매팅 네트워크를 앵커링하며, 해당 네트워크는 알파-RGB 일관성을 강제하는 고정점(fixed-point) 기반 손실로 최적화된다. 광범위한 실험을 통해 SSMatte가 기존 약지도 방법을 능가하고, 인물 사진 벤치마크에서 완전 지도 모델과 동등한 성능을 보이며, 추가 데이터에 따른 우수한 스케일링 및 일반화 특성을 나타냄을 확인하였다. 본 연구는 자동 매팅을 완전한 주석 불필요 패러다임으로 새롭게 이끈다. 코드는 공개될 예정이다.
수관(tree crown)은 정적인 객체가 아니기 때문에 강건한 AI를 위한 어려운 대상이다: 분광 반응, 내부 질감, 투명도, 외관상 경계가 생장 계절에 걸쳐 상당히 변한다. 우리는 PhenoEmbed를 개발한다. 이는 Dölauer Heide의 산림 수관 물후에 관한 18시점 UAV 다중분광 시계열 벤치마크인 HeideBench에서 대조(contrastive) 및 마스크 재구성(masked reconstruction) 목적함수로 학습된 자기지도(self-supervised) 수관 중심 시간적 임베딩 모델이다. 이 모델은 계절적 수관 역학을 잎 출현, 수관 폐쇄, 노화(senescence), 낙엽 조건에 의해 구동되는 물후적 외관 변화로 취급한다. 분할된 수관 다각형은 시간 축에 걸쳐 정렬된 수관 중심 크롭을 추출하기 위한 객체 앵커로 유지되어, 나무당 하나의 256차원 벡터로 계절적 수관 외관이 학습될 수 있도록 한다. 5,885개의 크롭 안전 수관에 대해 추출된 임베딩은 구조화된 저차원 구성을 보여주며, 처음 두 주성분이 분산의 25.1%를 설명하고 최근접 이웃 검색은 상위-1 코사인 유사도 중앙값 0.946을 나타낸다. 수작업 시간적 특징 및 학습된 평균 풀링 기준선과 비교할 때, PhenoEmbed는 실질적으로 더 컴팩트한 최근접 이웃 구조를 산출하며, 어블레이션 실험은 대조 손실, 마스크 재구성 손실, 명시적 계절 시간 특징이 각각 학습된 임베딩 공간의 구조에 영향을 미침을 보인다. 이러한 결과는 PhenoEmbed를 재사용 가능한 산림 수관 표현 학습기로 지지하며, 이 특징들이 계절 변화 하에서 나무 수준 모델을 향상시키는지에 대한 향후 다운스트림 검증을 동기 부여한다.