PyTorchKR Papers

최신 논문

총 65편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09583v2cs.CV

Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing

Large-scale foundation models such as the Segment Anything Model 3 (SAM 3) promise a transition toward open-vocabulary, training-free computer vision. However, their capacity to generalize out-of-distribution to the top-down geometric structures of Earth Observation imagery remains largely unquantified. We present a multi-task empirical evaluation of SAM 3 across remote sensing scene classification, object detection, and instance segmentation, without any fine-tuning. For scene classification, we repurpose its decoupled binary presence head as a standalone zero-shot classifier. For detection and segmentation, we compare textual and visual prompts, where a visual prompt reveals one true instance of the target class in the image being segmented. Text alone performs poorly, while adding a visual prompt raises accuracy sharply, and combining both raises or lowers accuracy depending on the task. We also compare SAM 3's text-only performance against several general-domain, open-vocabulary detection and segmentation models under the same evaluation protocol, and find that it leads all of them on both benchmarks. Its accuracy without a visual prompt nonetheless remains limited, motivating parameter-efficient fine-tuning as a direction for future work.

arXiv:2606.20812v2cs.LG

B[FM]²: 플로우 매칭과 SplitUNet을 활용한 뇌 파운데이션 모델

B[FM]$^2$: Brain Foundation Model via Flow Matching with SplitUNet

EEG foundation models can learn generalizable representations from large-scale EEG corpora to enable single-backbone transfer across diverse clinical and brain-computer interface tasks. Existing models typically discretize the continuous multi-channel EEG waveform into patches or codebook tokens and train a transformer with masked self-supervision. Recognizing that this discretization fragments continuous brain rhythms and obscures fine-grained temporal dynamics, we present B[FM]$^2$(Brain Foundation Model via Flow Matching), whose inductive bias aligns with the data by pretraining directly on the raw signal using continuous-time flow matching without patches, tokenization, or masking. However, multi-channel EEG signals pose an architectural challenge for flow matching: time is densely sampled and highly autocorrelated (thousands of timepoints), while the electrode axis is short (tens of channels) at distinct scalp positions. To address this time-electrode asymmetry, we introduce SplitUNet, a velocity network that factorizes each block into separate 1D temporal and 1D electrode convolutions and downsamples only along time, preserving electrode topology throughout the hierarchy. B[FM]$^2$ sets a new state of the art on $7$ of $9$ standard downstream EEG classification tasks, using a pretraining budget of only $36{,}895$ segments ($\approx$ 307h), 1-2 orders of magnitude ($\approx$ 30x) less than required by existing EEG foundation models. Further, it generates synthetic EEGs that two board-certified neurologists cannot distinguish from brain data (Cohen's $\kappa = -0.096$). https://jd730.github.io/projects/BFM2

arXiv:2606.30410v2cs.LG

IID를 넘어서: 표 형식 파운데이션 모델은 실제로 얼마나 일반적인가?

Beyond IID: How General Are Tabular Foundation Models, Really?

Foundation models for predictive machine learning on tabular data have recently gained significant traction in academia and industry. Research communities across disciplines are increasingly evaluating tabular foundation models on diverse datasets and tasks. However, these task- and discipline-specific evaluations remain largely inaccessible to model researchers because benchmark software and evaluation protocols are fragmented. As a result, model researchers rely on standard benchmarks, which are mostly defined for tasks where tabular foundation models already excel. The most challenging scenarios are excluded, limiting meaningful progress in the field by focusing on marginal improvements on IID data rather than on broader, more demanding challenges. To overcome this, we introduce BeyondArena, the first unified holistic benchmark for tabular data that supports diverse task types (IID, temporal, grouped), across sample size and feature dimensionality scales, with diverse feature types (with text, with high cardinality) from a broad range of disciplines. To enable unified benchmarking beyond standard benchmarks, we introduce DataFoundry, a Python framework and metadata schema for curating tabular datasets for predictive machine learning. Our results across 11 models and 142 curated datasets show that current open-source tabular foundation models are competitive or excel on datasets up to 100k rows, while traditional tree-based and deep learning models still dominate on grouped or large data. BeyondArena guides model research for the most demanding challenges in tabular data, enabling progress towards truly foundational tabular models.

arXiv:2609.27611v2cs.CV

A generalizable structural brain MRI foundation model via dual-priority federated pretraining

Foundation models hold promise for generalizable analysis of structural brain magnetic resonance imaging (MRI) scans across diverse populations and imaging conditions. However, existing models typically rely on centralized pretraining using data pooled across cohorts, which is constrained by privacy and data-governance requirements. Moreover, larger cohorts can dominate optimization, underutilizing anatomical information from smaller cohorts and limiting generalization. Here we present BrainFedFM, a structural brain MRI foundation model federatively pretrained on 164,707 three-dimensional scans drawn from diverse real-world data distributions and organized across 42 federated sites. BrainFedFM uses dual-priority federated pretraining, in which spatial-priority masking emphasizes informative anatomical regions during local training, while site-priority aggregation adaptively weights contributions during global aggregation. Across 20 downstream datasets spanning 17 classification, regression and segmentation tasks, BrainFedFM achieved the state-of-the-art performance across seven foundation models, including four centralized models, while showing consistent advantages in classification and regression tasks and strong robustness under underrepresented populations and challenging imaging conditions. These findings demonstrate the generalizability of BrainFedFM and highlight federated pretraining as a practical strategy for developing neuroimaging foundation models from distributed data without pooling raw images.

arXiv:2605.29280v3cs.LG

LoopFM: 추천을 위한 파운데이션 모델의 과거 표현 기반 학습

LoopFM: Learning frOm HistOrical RePresentations of Foundation Model for Recommendation

지식 증류(KD)는 대규모 파운데이션 모델(FM)의 단일 스칼라 예측값을 소형 버티컬 모델(VM)로 전달하지만, 단일 스칼라로는 더 큰 FM이 학습하는 풍부한 중간 지식을 전달할 수 없기 때문에 FM의 성능 향상분 중 VM이 흡수하는 비율인 전이 비율(transfer ratio)이 감소하는 문제를 겪습니다. 이러한 병목 현상을 해결하기 위해, 서빙 시 실시간 FM 추론이나 FM과 VM 간의 아키텍처 결합을 요구하지 않으면서 FM의 중간 임베딩을 다운스트림 VM의 입력 피처(예: 사용자 히스토리 시퀀스)로 구조화하여 고대역폭 전이 채널을 여는 프레임워크인 LoopFM(Learning frOm HistOrical RePresentations of FM)을 제안합니다. 또한 이득 분해(gain decomposition) 및 전이 비율 분석을 포함한 LoopFM의 이론적 프레임워크를 제공합니다. 세 가지 공개 벤치마크에서 LoopFM은 강력한 AUC 향상(예: TaobaoAd에서 6% 이상)과 KD와의 상호보완적인 지식 전이 능력을 입증했습니다. 수십억 개의 예제와 수조 개의 매개변수를 가진 FM으로 구성된 산업 규모 시스템에서, LoopFM은 KD 대비 지식 전이 비율을 약 2배로 높여 초기 출시 후 상반기에 +0.5%의 전환율 개선을 달성했으며, 이어진 하반기의 두 차례 개별 출시에서 각각 +1.03% 및 +1.22%의 전환율 개선을 이끌어냈습니다. 체계적인 실험을 통해 LoopFM은 시퀀스 길이, 임베딩 차원, 업스트림 FM 크기에 걸친 스케일링 법칙(scaling law)을 보여줍니다.

arXiv:2512.23065v4cs.CL

TabiBERT: 터키어를 위한 대규모 ModernBERT 기반 모델 및 통합 벤치마크

TabiBERT: A Large-Scale ModernBERT Foundation Model and A Unified Benchmark for Turkish

BERT의 도입으로 인코더 전용 트랜스포머(transformer) 모델은 자연어 처리(NLP) 분야의 기반 패러다임으로 자리 잡았습니다. 인코더 전용 모델은 텍스트 생성보다 문맥 표현과 낮은 추론(inference) 비용이 더 중요한 분류(classification), 태깅, 검색 작업에서 여전히 표준 도구로 활용되고 있으나, 터키어에는 ModernBERT에 집약된 최신 기술(회전 위치 임베딩(RoPE), FlashAttention, 개선된 정규화(normalization))을 적용하여 처음부터(from scratch) 학습(training)된 단일 언어 인코더가 부재했습니다. 이에 본 논문에서는 ModernBERT 아키텍처를 기반으로 웹 텍스트(72%), 학술 논문(19%), 소스 코드(6%), 수학 콘텐츠(0.3%)로 구성된 865억 8천만 토큰 규모의 다중 도메인 코퍼스에서 샘플링한 1조 개의 토큰을 처음부터 사전학습한 단일 언어 터키어 인코더인 TabiBERT를 소개합니다. 이 모델은 기존 터키어 BERT 모델의 16배에 달하는 8,192개 토큰의 컨텍스트 길이를 지원하며, 긴 컨텍스트에서 ModernBERT 아키텍처가 지닌 효율성을 그대로 계승합니다. 엄격하고 재현 가능한 평가를 위해, 표준화된 데이터 분할과 평가 프로토콜을 갖춘 8개 작업 범주에 걸친 27개 데이터셋으로 구성되고 0-100 척도의 GLUE 스타일 매크로 평균으로 요약되는 벤치마크인 TabiBench를 제시합니다. TabiBERT는 8개 범주 중 5개에서 터키어 모델들을 앞서며, 기존 최고 성능 모델인 BERTurk를 8개 중 6개 범주에서 능가합니다. 이러한 성능 향상은 질의응답(+9.55 F1)과 코드 검색(+2.41 NDCG@10)에 집중된 반면, 4개의 단문 텍스트 범주는 포화 상태에 가깝습니다. TabiBERT의 평균 점수는 77.28점으로 BERTurk의 75.66점을 상회하며, 다국어 모델인 mmBERT는 파라미터 수가 2배, 학습 토큰 수가 3배이고 터키어 입력당 토큰 수가 41% 더 많은 조건에서 78.98점을 기록했습니다. 향후 터키어 인코더 연구를 위한 투명하고 재현 가능한 기반으로서 모델 가중치, 학습 설정 및 평가 코드를 공개합니다.

arXiv:2609.06849v2cs.AI

SleepFM-2를 통해 200만 시간의 수면 데이터로부터 전이 가능한 인간 생리학적 특성 학습하기

Learning transferable human physiology from two million hours of sleep with SleepFM-2

수면은 뇌, 심장, 근육 및 호흡계 전반의 조화로운 활동을 포착함으로써 건강 상태를 들여다볼 수 있는 야간의 창을 제공합니다. 본 논문에서는 사전학습(pre-training)에 사용된 235,865건을 포함하여 26개 코호트의 수면다원검사(PSG) 기록 282,511건을 바탕으로 개발 및 평가된 수면 파운데이션 모델(foundation model)인 SleepFM-2를 소개합니다. 이 데이터는 200만 시간 이상의 다중모달(multimodal) 생리 신호에 걸쳐 있습니다. 이전 SleepFM과 비교하여, SleepFM-2는 질병 예측 및 수면 점수 측정을 개선하고, 각성(arousal), 사지 운동 및 호흡 이벤트 탐지를 지원하며, 웨어러블 센싱과 주관적 수면 표현형(phenotypes)으로 전이(transfer)됩니다. SleepFM-2의 PSG 표현(representation)을 연령, 성별, BMI와 결합한 모델은 사전학습 중 접하지 않은 한 의료 시스템을 포함한 두 개의 비공개(held-out) 코호트에서 이후 기록된 188개 전자의무기록(EHR) 표현형에 대해 사전 지정된 변별력 및 유의성 기준을 충족했습니다. 또한 SleepFM-2는 동일한 기록에서 도출된 480개 특징(feature) 기준선(baseline) 모델을 능가했습니다. 이 질병 점수는 감소된 시그마 대역 공간 결합 및 증가된 수면밀도(hypnodensity) 엔트로피와 연관된 재현 가능한 주성분을 드러냈습니다. 동결된 인코더(frozen encoder)는 수면 이벤트에 대해 전문가 채점자의 관찰된 범위 내에서 작동했으며, 각성 중 뇌파(EEG), 헤드밴드 및 인이어 EEG, 손목 PPG 및 손목 가속도계 데이터로 전이되었습니다. 또한 6개 가속도계 코호트 전반에서 수면 단계 분류(sleep staging)를 개선했으며, UK Biobank에서 가속도계 데이터로 직접 사전학습된 모델과 유사한 질병 예측 성능을 달성했습니다. 마지막으로 SleepFM-2는 기존 PSG 요약으로는 포착되지 않던 주관적 수면의 측면, 특히 기록된 밤에 대한 보고 내용을 포착했습니다. 이러한 결과는 다중모달 수면 생리학이 질병, 임상 작업, 센서 및 주관적 경험 전반에 걸쳐 인간 건강에 대한 전이 가능한 표현을 제공할 수 있음을 보여줍니다.

arXiv:2610.02597v1cs.CV

GRAFT: 지속적 교사 지식 증류를 통한 응집형 파운데이션 모델의 점진적 확장

GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation

DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.

arXiv:2609.35943v2cs.CV

HERO: 종양학 분야의 강건한 표현 학습을 위한 조직병리학 인코더

HERO: Histology Encoder for Robust Representation in Oncology

대규모 병리학 이미지 말뭉치로 학습된 파운데이션 모델(foundation model)은 이제 전산병리학(computational pathology)을 위한 강력하고 전이 가능한 표현을 제공합니다. 지난 몇 년간 이러한 모델들이 잇달아 공개되었으며, 각 모델은 이전 모델보다 더 많은 슬라이드로 학습되었습니다. 표준 분류 및 분할(segmentation) 벤치마크에서 선도적인 모델들 간의 격차는 이제 매우 미미한 수준입니다. 그러나 임상 현장에서는 파운데이션 모델이 학습 데이터에 포함되지 않은 병원, 스캐너 및 염색 프로토콜에서 생성된 이미지에 적용됩니다. 인코더는 일반적으로 생물학적 정보와 함께 이러한 획득 요인(acquisition factor)들을 함께 임베딩하며, 이는 다운스트림 오류를 유발하고 안전한 임상 도입을 저해할 수 있습니다. 따라서 병리학 파운데이션 모델은 표현 품질을 유지하면서도 데이터 획득 변화(acquisition shift)에 강건해야 하지만, 강건성은 모델 간 비교에서 거의 고려되지 않는 기준이었습니다. 본 보고서에서는 DINO 및 iBOT 목표로 학습되고, 약 575,000개의 임상 전체 슬라이드 이미지(WSI)에서 추출한 형태학적으로 균형 잡힌 5억 개의 타일 말뭉치에서 고해상도 그람 앵커링(Gram anchoring)으로 정제된 ViT-G/14 병리학 파운데이션 모델인 HERO(Histology Encoder for Robust Representation in Oncology)를 소개합니다. 평가된 공개 벤치마크 전반에서 HERO는 비교된 최고 수준(state-of-the-art)의 파운데이션 모델 중 기관, 스캐너 및 염색 변화에 대해 가장 강력한 강건성을 보였습니다. 또한 타일 수준의 분류, 분할 및 유전자 발현 예측에서 필적하는 성능을 달성했으며, 평가된 39개 슬라이드 수준 임상 작업 전반에서 평균 1위를 기록했고, 동일 가중치 프레임워크 수준 분석에서도 6개 벤치마크 프레임워크 전반에 걸쳐 가장 우수한 평균 순위를 기록했습니다.

arXiv:2610.00414v1cs.CV

이미지 잠재 공간에서 퍼지 규칙으로: 위장관 파운데이션 모델의 해석 가능한 분석

From Image Latent Space to Fuzzy Rules: Interpretable Analysis of Gastrointestinal Foundation Model

대규모 데이터셋으로 사전학습된 파운데이션 모델은 의료 영상 과제로의 강력한 전이 가능성을 보여준다. 그러나 이들의 잠재 표현이 임상적으로 관련 있는 정보를 어떻게 인코딩하는지 이해하는 것은 안전이 중요한(safety-critical) 영역에서 여전히 미해결 과제로 남아 있다. 본 연구는 사전학습된 파운데이션 모델의 내부 레이어가 생성하는 패치 수준 특징을 어떠한 미세조정 없이 해석하는 프로토타입 기반 퍼지 규칙 프레임워크를 제안한다. 클래스별 프로토타입은 특징 공간에서의 군집화(clustering)를 통해 학습되며, 이를 통해 압축된 시각적 패턴을 얻는다. 이후 패치 특징은 프로토타입과의 유사도로 표현되고, 사람이 읽을 수 있는 언어적 IF-THEN 조건을 가진 퍼지 규칙에 의해 분류된다. 이 프레임워크는 ImageNet-1K와 GastroNet-5M으로 사전학습된 ViT-S/16 백본의 마지막 두 블록에 걸쳐 적용되며, 동일한 고정(frozen) 특징 조건에서 k-최근접 이웃(k-nearest neighbours), 커널 SVM, 선형 프로빙(linear probing)과 비교하여 무선 캡슐 내시경 분류, 위장관 내시경 분류, 대장 용종 분할(segmentation) 과제에서 벤치마크된다. 실험 분석 결과, 제안된 방법은 백본 미세조정 없이도 이러한 블랙박스 분류기들과 비슷한 정확도에 도달하며, 도메인 특화 사전학습이 판별력이 있으면서도 기호적으로 압축 가능한 특징을 산출함을 보여준다. 도출된 규칙은 실제 데이터로부터 추출되어 해석 가능한 용어로 표현되기 때문에, 합성 의료 영상을 조사하는 도구로도 추가로 활용되어, 생성 모델이 어떤 실제 프로토타입과 규칙을 재현하거나 재현하지 못하는지를 사람이 읽을 수 있는 방식으로 설명하며, 단일 점수로 요약하는 대신 합성 영상이 실제 조직과 어디에서 달라지는지를 국소적으로 파악할 수 있게 한다. 따라서 이 프레임워크는 파운데이션 모델이 임상적으로 관련 있는 구조를 어떻게 조직화하는지에 대한 투명하고 깊이 수준에서 해석 가능한(depth-resolved) 시각을 제공하며, 추출된 규칙의 실용적인 후속 활용 방안도 함께 제시한다.

arXiv:2609.24787v1cs.CV

산림 포인트 클라우드를 위한 파운데이션 모델을 향하여

Toward a foundation model for forest point clouds

산림 조사는 대규모 3D 포인트 클라우드에서 산림 특성을 도출하기 위해 인공지능(AI) 모델에 점점 더 의존하고 있습니다. 현재의 모델들은 대개 단일 작업, 센서 및 산림 유형에 특화되어 있어, 어노테이션, 연산, 전문 지식 측면에서 적응 비용이 많이 듭니다. 본 연구에서는 단일 사전학습(pre-training) 모델이 다양한 산림 조사 환경에 걸쳐 전이 가능한 표현을 학습할 수 있는지 묻습니다. 언어 모델링과 컴퓨터 비전(CV)의 최근 발전에 영감을 받아, 3D 임업을 위한 파운데이션 모델(FM)을 향한 첫걸음을 내딛습니다. LitePT를 백본으로 사용하여, 산림 시맨틱 및 인스턴스 분할, 수종 분류(classification), 수령 회귀 벤치마크에서 새로운 최고 성능(state of the art)을 달성하는 강력한 지도학습 기준선(baseline)을 먼저 구축합니다. 그런 다음 다양한 산림 생태계에 걸쳐 항공, UAV 및 모바일 레이저 스캐닝을 아우르는 대규모 레이블 미지정 코퍼스를 구축하고, 자기지도학습을 사용하여 동일한 백본을 사전학습합니다. 다양한 어노테이션 예산 하에서 네 가지 대표적인 임업 작업에 대해 스크래치 학습(training from scratch), 지도 사전학습, 자기지도 사전학습을 비교함으로써 표현 학습 전략을 체계적으로 평가합니다. 스크래치 학습과 비교하여, 자기지도 사전학습은 모델(model) 수렴(convergence)을 가속화하고 어노테이션이 부족할 때 일관되게 성능을 향상시킵니다. 작업 특화 지도 사전학습과 비교할 때, 자기지도 사전학습은 다운스트림 임업 작업 전반에 걸쳐 더 전이 가능한 표현을 생성합니다. 이러한 발견은 사전학습된 표현이 가장 가치 있는 실질적인 영역을 규명하며, 산림 시맨틱보다는 인스턴스 구별이 범용 3D 산림 파운데이션 모델로 나아가는 주된 남은 장애물임을 시사합니다. 코드와 모델은 https://github.com/prs-eth/ForPT 에서 확인할 수 있습니다.

arXiv:2607.10358v3cs.CV

도메인 시프트 하에서 유방촬영술을 위한 기반 모델의 강건성 벤치마킹

Benchmarking the Robustness of Foundation Models for Mammography under Domain Shift

기반 모델(foundation model)은 유방촬영술의 이미지 특징 추출기로 점점 더 많이 활용되고 있으나, 외부 도메인 시프트 하에서의 강건성은 아직 불분명하다. 우리는 통합된 고정 백본 선형 프로브(linear-probe) 프로토콜을 사용하여 유방 밀도, BI-RADS 중증도, 암 여부 과제에 걸쳐 15개의 기반 모델 백본을 벤치마킹하였으며, 3개의 소스 데이터셋에서 학습하고 레이블 조화(label harmonization) 후 12개의 과제 호환 분포 외(OOD) 데이터셋에서 평가하였다. 유방촬영술 특화 비전-언어 모델(Mammo-FM 및 MaMA)이 가장 높은 평균 OOD 성능을 제공하지만, 강건성은 유방촬영술 노출만으로 설명되지 않는다. DINOv3는 경쟁력 있는 비전 전용 기준선으로 남아 있으며, 유방촬영술 적응형 사전학습이 일반화를 일관되게 향상시키지는 않는다. 데이터셋 수준의 분석은 선도적인 모델조차 데이터셋 전반에서 이질적인 성능을 보임을 추가로 보여준다. 특징 공간 분석은 유용한 표현이 데이터셋 및 획득 구조를 유지하면서도 임상 신호를 보존할 수 있음을 보여준다. 이러한 발견들은 데이터셋 수준의 OOD 평가를 유방촬영술 표현 평가의 핵심 기준으로 강조한다. 코드는 공개되어 있다: https://github.com/biomedia-mira/mammo-ood.

arXiv:2607.23238v2cs.CV

SARATR-X-v2: SAR 파운데이션 모델을 위한 스케일 인식 구조적 사전학습

SARATR-X-v2: Scale-Aware Structural Pre-Training for SAR Foundation Models

마스크드 이미지 모델링(masked image modeling)은 SAR 사전학습의 지배적 패러다임이 되었으나, 복원 목표(reconstruction target) 설계는 근본적으로 아직 정립되지 않았다. 본 논문은 SAR 사전학습 목표가 전이 가능한 표현(representation)을 만들려면 두 가지 조건을 만족해야 한다고 주장한다: (i) 물리 기반 안정성(physics-grounded stability), 즉 코히런트(coherent) 영상에 내재된 곱셈형 speckle에 대해 목표 연산자(target operator)가 근사적으로 불변인 것; (ii) 의미적 스케일 호환성(semantic scale compatibility), 즉 하류 과제가 요구하는 이질적인 공간 스케일을 포괄하는 것. 이 두 조건은 각각은 달성 가능하지만 동시에 만족시키기는 어렵다. 물리 기반 안정성은 고정 연산자를 선호하고, 의미적 스케일 호환성은 데이터 기반 구성(composition)을 선호한다. 이를 위해 SARATR-X-v2는 단일 설계 안에서 두 가지를 조화시킨다. 목표는 blind-spot 국소 집합(local aggregation)부터 방향성 log-ratio 영역 대비(directional log-ratio region contrast)에 이르기까지 여섯 수용 영역(receptive field)에 걸친 고정 구조 추출기(fixed structural extractors)로 구성되고, 학습 가능한 가중치로 융합되어 마스크 복원(masked reconstruction)을 위한 하나의 통합 supervision 신호를 만든다. 분류, 검출, 세그멘테이션을 아우르는 12개 SAR 벤치마크에서 SARATR-X-v2는 최신(state-of-the-art) 전이(transfer) 성능을 달성한다. 합성 speckle 변화 하에서 제안 목표는 픽셀 공간 supervision 대비 학습된 표현의 perturbation drift를 거의 두 자릿수(두 order of magnitude)만큼 줄인다. 종합하면, 이러한 결과는 물리 기반 안정성과 의미적 스케일 호환성을 코히런트 영상 하 사전학습 목표 설계의 원칙적 프레임워크로 확립하며, 효과적인 SAR 사전학습은 더 많은 신호를 복원하는 것이 아니라 올바른 구조적 목표를 복원하는 것에 관한 것임을 시사한다.

arXiv:2607.11510v2cs.LG

DAG-FM: 이질적인 인과 메커니즘 하에서의 인과 발견을 위한 파운데이션 모델

DAG-FM: A Foundation Model for Causal Discovery under Heterogeneous Causal Mechanisms

관측형 테이블 데이터로부터의 인과 발견은 근본적으로 어려운 문제로, 주로 내재된 인과 메커니즘의 이질성과 방향성 비순환 그래프(DAG)의 고차원 조합적 탐색 공간 때문이다. 본 논문에서는 인과 발견을 분할상환하는 새로운 파운데이션 모델 아키텍처인 DAG-FM을 제안한다. 직접적인 행렬 예측과 달리, DAG-FM은 두 개의 특화된 트랜스포머 기반 서브모듈인 리프 노드 예측기와 부모 노드 예측기를 사용하여 인과 발견 과정을 두 개의 자기회귀(auto-regressive) 단계로 분해한다. 복잡한 행-열 상호작용을 효과적으로 모델링하기 위해, 특징별 표현을 출력하는 견고한 테이블형 상호작용 블록을 채택한다. 핵심적으로, 실제 시나리오에서 다양하고 알려지지 않은 함수적 인과 모델(FCM, Functional Causal Model) 가정을 처리하기 위해 Mixture-of-Leaf-Experts(MoLE)를 도입하여, 모델이 식별 가능한 메커니즘 계열에 동적으로 라우팅하고 적응할 수 있도록 한다. 반복적 추론 알고리즘을 통해 DAG-FM은 인과 순서를 원활하게 추출하고 유효한 방향성 비순환 그래프를 구성한다. 광범위한 실험을 통해 DAG-FM이 합성 벤치마크와 복잡한 실제 데이터셋 모두에서 최첨단 성능을 달성하며, 정확도와 확장성 모두에서 전통적인 고전 알고리즘과 최근의 파운데이션 모델을 크게 능가함을 입증한다.

arXiv:2607.22861v1cs.CV

미세조정을 통한 병리학 파운데이션 모델 강건화

Robustifying pathology foundation models via fine-tuning

병리학 파운데이션 모델(FM)은 강력한 타일 수준 표현을 생성하지만, 스캐너 및 염색 변동성에 여전히 민감하여 실험실 간 배포를 저해한다. 우리는 획득 요인에 대한 병리학 FM의 견고성(robustness)을 향상시키는 새로운 미세조정 방법을 개발했다. 10가지 서로 다른 FM에 적용했을 때, 우리의 미세조정 전략은 관찰된 트레이드오프 없이 모든 모델의 견고성과 다운스트림 성능을 일관되게 향상시킨다. 평균적으로 PathoROB 견고성 지수를 23%(0.72에서 0.87) 향상시키며, Patho-Bench, HEST, THUNDER를 통합한 전체 크로스-벤치마크 성능을 43% 증가시킨다. 개별적으로는 견고성에서 최대 72%(Phikon-v2), 성능에서 최대 76%(Midnight-12k)의 향상에 이른다. Phikon-v2(Phaet)와 Midnight-12k(Mascaret)의 미세조정 버전을 https://huggingface.co/wearewaiv/models 에서 공개한다.

arXiv:2607.23258v1cs.AI

CAPT: 칼슘 군집 역학의 데이터셋 간·종 간 전이를 가능하게 하는 다중 과제 연속 자기회귀 트랜스포머

CAPT: A Multi-task Continuous Autoregressive Transformer enabling Cross-dataset and Cross-species Transfer for Calcium Population Dynamics

대규모 칼슘 이미징은 신경 군집 역학을 위한 파운데이션 스타일 모델을 구축할 기회를 만들었지만, 한 가지 핵심 질문은 여전히 해결되지 않았다: \textbf{한 기록 모음으로 사전학습한 모델이 새로운 데이터셋, 실험 패러다임, 심지어 종까지 일반화할 수 있는지 여부이다.} 기존 접근법은 종종 특정 과제에 맞춰 설계되고 단일 데이터셋에서 평가되어, 학습된 표현이 새로운 칼슘 trace 데이터셋에 재사용 가능한지 불분명하다. 이 공백을 해소하기 위해, 칼슘 군집 역학을 위한 \textbf{C}ontinuous \textbf{A}utoregressive \textbf{P}opulation \textbf{T}ransformer인 \textbf{CAPT}를 제안한다. CAPT는 연속 패치 토큰화 전략을 통해 연속 칼슘 trace를 직접 모델링하며 자기회귀적으로 학습되어, 엔드투엔드 사전학습과 다양한 다운스트림 과제에의 적응을 가능하게 한다. 먼저 대규모 마우스 칼슘 이미징 데이터셋에서 CAPT를 사전학습하고, 서로 다른 연구실에서 수집한 독립적인 마우스, 유충기 제브라피시, \textit{C. elegans} 데이터셋에 걸친 전이 가능성을 평가한다. 이러한 전이 설정에서, 사전학습된 백본은 고정하고 적응 모듈만 업데이트한다. 신경 군집 예측 및 행동 디코딩 과제 전반에 걸쳐, CAPT는 특화 및 범용 베이스라인을 일관되게 능가한다. 예측 성능과 함께, \textit{C. elegans} 데이터셋의 NeuroPAL 주석을 이용한 다중모달 분석은 CAPT 임베딩이 데이터셋 간 공유 기능 공간을 형성하고 해부학적 세포 동일성 관련 구조를 포착함을 보여준다. 이 결과는 연속 자기회귀 모델링이 데이터셋, 실험 패러다임, 종에 걸쳐 일반화할 수 있는 칼슘 이미징용 범용 신경 파운데이션 모델을 향한 단순한 경로의 가능성을 열어준다는 것을 시사한다.

arXiv:2607.22408v1cs.LG

LunarFM: 달 표면의 공유 다중모달 표현

LunarFM: A Shared Multimodal Representation of the Moon's Surface

현장 자원 활용(in-situ resource utilization)과 달에 대한 지속적인 인간 거주 전망에 힘입어 달 탐험이 다시 전 세계적 관심을 받으면서, 달 표면의 정확하고 대규모적인 특성화에 대한 수요가 증가하고 있다. 궤도 원격 탐사 데이터가 방대하게 수집되었음에도, 이질적인 다중 계측기 관측, 희소 라벨, 맞춤형 과제별 모델링 워크플로로 인해 과학적 분석과 자원 매핑은 여전히 파편화되어 있다. 본 연구에서는 다양한 궤도 측정으로부터 달 표면의 일반적 표현을 학습하는 다중모달 파운데이션 모델 LunarFM을 소개한다. LunarFM은 세 개의 달 임무에서 여섯 개 계측기의 관측을 통합하여 18개 입력 채널을 공유 임베딩 공간에 매핑한다. 이 임베딩 공간이 유사도 검색, 퓨샷(few-shot) 자원 매핑, 광물 함량 회귀, 지질 단위 분류 등 다양한 다운스트림 응용을 지원함을 보여, 효율적인 과학적 조사와 자원 중심 분석을 가능하게 한다. 위도 70°S에서 70°N에 걸친 공동 등록(co-registered) 다중모달 관측의 머신러닝 준비 데이터셋, 사전학습된 다중모달 마스크드 오토인코더, 그리고 달 표면 특성의 결합 768차원 표현을 제공하는 동반 임베딩 데이터셋을 함께 제공한다. 모든 코드와 데이터는 https://lunarfm.trillium.tech/ 에서 이용할 수 있다.

arXiv:2607.22114v1cs.LG

환자 인식 샘플링을 이용한 EHR Foundation Model 사전학습

Pretraining EHR Foundation Models with Patient-Aware Sampling

전자 건강 기록(EHR)용 자기회귀(autoregressive) foundation model은 일반적으로 언어 모델링의 사전학습 방법을 그대로 차용하는데, 이 경우 환자 궤적(trajectory)이 단일 토큰 스트림으로 연결되고 그 스트림에서 윈도우가 샘플링된다. EHR 데이터에서는 이 선택이 중요한 영향을 미친다. 윈도우가 여러 환자를 섞을 수 있고, 기록이 더 긴 환자가 더 많은 최적화(optimization) 업데이트에 기여하여 바이어스가 도입될 수 있다. 우리는 Patient Sampling을 제안한다. 이는 환자 간에 학습 신호가 어떻게 분배되는지 제어할 수 있는 사전학습 시퀀스 구성 방법이다. 이 방법을 Global Stream이라 부르는 표준 접근법과 비교한다. 조절 가능한 가중치를 갖는 확률적 Patient Sampling이 실제 EHR 데이터에서 성능을 향상시킨다는 것을 보인다. MIMIC-IV v2.2 및 v3.1에서의 하위 임상 과제(downstream clinical task) 전반에 걸쳐, Patient Sampling은 Global Stream 기준선 대비 Macro AUROC와 AUPRC를 개선한다. 이 결과는 자기회귀 EHR foundation model에서 학습 및 검증 시퀀스 구성이 중요하고 아직 충분히 탐구되지 않은 설계 선택임을 보여준다.

arXiv:2601.05148v2cs.CV

Atlas 2 -- 임상 배포를 위한 파운데이션 모델

Atlas 2 -- Foundation models for clinical deployment

병리학 파운데이션 모델은 계산 병리학(computational pathology) 분야의 가능성을 크게 발전시켰지만, 성능, 견고성(robustness), 계산 요구사항 측면의 트레이드오프가 남아 있어 임상 배포를 제한했다. 본 보고서에서는 Atlas 2, Atlas 2-B, Atlas 2-S 세 가지 병리학 비전 파운데이션 모델을 제시한다. 이 모델들은 80개의 공개 벤치마크에 걸친 포괄적 평가에서 최첨단 예측 성능, 견고성, 자원 효율성을 보여줌으로써 이러한 단점을 해소한다. 우리 모델은 Charité - Universitätsmedizin Berlin, LMU Munich, Mayo Clinic 세 의료 기관에서 수집한 550만 장의 조직병리학 전체 슬라이드 이미지(histopathology whole slide image)로 구성된, 지금까지 최대 규모의 병리학 파운데이션 모델 데이터셋으로 학습되었다.

arXiv:2607.21402v1cs.AI

MSBraM: 계층적 EEG 역학 학습을 위한 다중 스케일 자기지도 뇌 파운데이션 모델

MSBraM: A Multi-scale Self-supervised Brain Foundation Model for Hierarchical EEG Dynamics Learning

자기지도(self-supervised) 파운데이션 모델은 최근 뇌전도(EEG) 기반 분석에서 강한 잠재력을 보여주었다. 그러나 기존 접근법은 국소 신경 패턴과 장거리 의존성이 함께 과제 관련 정보를 인코딩하는 EEG 신호의 고유한 다중 스케일 시간 구조를 포착하는 데 어려움을 겪는다. 이러한 한계는 다양한 다운스트림 과제에 걸친 교차 스케일 표현 학습과 일반화를 저해한다. 이 과제를 해결하기 위해, 계층적 EEG 표현을 학습하도록 설계된 다중 스케일(Multi-Scale) 자기지도 뇌 파운데이션 모델 MSBraM을 제안한다. MSBraM은 2단계 사전학습(pre-training) 프레임워크를 따른다. 먼저, 다중 스케일 신경 토크나이저(neural tokenizer)가 벡터 양자화(vector-quantized) 재구성을 통해 원시 EEG 신호를 서로 다른 시간 해상도에서 의미 코드(semantic codes)로 이산화한다. 둘째, 모델은 커리큘럼 다중 스케일 마스킹(curriculum multi-scale masking) 전략을 사용하여 마스킹된 코드를 예측하도록 사전학습되며, 세밀한 국소 패턴을 전역 시간 컨텍스트와 점진적으로 통합한다. 우리는 2,400시간 이상의 EEG 데이터로 MSBraM을 사전학습하고 12개 공개 데이터셋에서 10개 다운스트림 과제에 걸쳐 평가한다. 광범위한 실험 결과, MSBraM은 다른 최신 사전학습 모델들보다 우수한 성능을 달성하여 강한 일반화와 전이 가능성(transferability)을 보여준다. 이러한 결과는 다중 스케일 시간 역학을 명시적으로 모델링하는 것이 효과적인 EEG 파운데이션 모델에 핵심적임을 시사한다.