PyTorchKR Papers

최신 논문

총 32편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13435v1cs.LG

PPG-Bench: PPG 파운데이션 모델을 위한 통합 벤치마크

PPG-Bench: A Unified Benchmark for PPG Foundation Models

광용적맥파(Photoplethysmography, PPG)는 웨어러블 및 임상 기기에서 점점 더 대규모로 기록되고 있으며, 다양한 다운스트림 작업을 위한 재사용 가능한 표현을 계산하기 위해 점점 더 많은 PPG 파운데이션 모델(FM)이 개발되고 있다. 이러한 모델들은 서로 비교하기 어려운데, 평가마다 서로 다른 데이터셋, 작업 정의, 전처리, 다운스트림 헤드, 하이퍼파라미터 튜닝, 기준선을 사용하기 때문이다. 우리는 5개의 공개 PPG FM을 9개의 오픈 액세스 데이터셋과 심혈관 상태 추정, 활동, 수면, 스크리닝, 식별에 걸친 26개 작업에 대해 평가하는 통합 오픈소스 벤치마크인 PPG-Bench를 제시한다. 우리는 적응성이 점차 증가하는 네 가지 다운스트림 체제(선형 프로빙, 랜덤 포레스트, 고정된 MLP 프로브, 엔드-투-엔드 파인튜닝) 하에서 모델별 하이퍼파라미터 최적화와 피험자 분리 교차검증을 적용하여 모델을 평가한다. 우리는 또한 세 가지 대조군, 즉 무작위/상수 기준선, 결정론적 맥박률 변동성(pulse-rate-variability, PRV) 특징 집합, 범용 시계열 FM(MOMENT)과 비교하여 평가한다. 68개의 작업-체제 조합 전체에서 35.3%는 무작위/상수 기준선 대비 FM의 유의미한 이점을 보이지 않았으며, 83.8%에서는 어떤 PPG 전용 FM도 PRV와 MOMENT를 모두 능가하지 못했다. 또한 다운스트림 헤드의 용량을 추가하면 일반적으로 성능이 향상되지만, 모델이 무작위 수준/상수 수준에서 동작하는 경우에는 상당한 성능 저하를 유발할 수 있음을 발견했다. 따라서 현재의 PPG FM은 아직 PPG 신호에 대한 일반화되고 전이 가능한 표현을 제공한다고 주장할 수 없으며, 이 분야의 향후 평가에는 단순하고 학습되지 않은 대조군에 대한 검증이 포함되어야 한다. 벤치마크 코드와 추가 모델 평가 방법은 다음에서 확인할 수 있다 - https://github.com/mannas-ai/ppg-bench.

arXiv:2610.10560v1physics.soc-ph

지구과학 분야 AI 모델의 전략적 거버넌스

Strategic Governance of AI Models in Earth Science

기상 및 기후 데이터로 사전학습(pre-training)된 AI 파운데이션 모델이 기상 예측을 넘어 다양한 지구과학 과제에 점차 널리 미세조정(fine-tuning)되고 있습니다. 이러한 모델의 개발과 도입 속도는 과학계의 평가 능력을 앞지르고 있습니다. 현재 이 모델들은 거의 전적으로 벤치마크 스킬 지표로만 평가받고 있는데, 이는 예측이 기준 결과물을 얼마나 가깝게 재현하는지를 측정할 뿐 모델이 예측 대상 시스템을 지배하는 물리적 과정을 제대로 반영하는지는 측정하지 못합니다. 따라서 예측 스킬과 물리적 신뢰성은 서로 구별되는 특성입니다. 이러한 구분은 모델이 학습하지 않은 기후 변화의 비정상성(nonstationary) 조건 하에서 가장 중대한 영향을 미칩니다. 본 연구에서는 작업 특화 에뮬레이터부터 파운데이션 모델에 이르기까지 지구과학 분야 AI 모델의 물리적 평가를 위한 5가지 우선순위로 학습 데이터, 미세조정, 행동 테스팅, 기저 메커니즘 해석 가능성(mechanistic interpretability), 그리고 출력 검증을 제시합니다. 또한 향후 10년을 위한 3가지 활동으로 1) 공개된 AI 지원 평가 데이터셋 구축, 2) 물리 기반 평가를 위한 공통 보고 기준 수립, 3) 이러한 모델의 안전성(safety)에 관한 전담 연구 프로그램 운영을 제안합니다.

arXiv:2605.15871v2cs.AI

에이전틱 신경망 아키텍처 발견: AIRA-Compose 및 AIRA-Design

Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design

재귀적 자기 개선을 향해, 우리는 대규모 언어 모델(LLM) 에이전트가 표준 트랜스포머(Transformer)를 넘어 파운데이션 모델을 자율적으로 설계하는 방안을 연구한다. 우리는 고수준 아키텍처 탐색을 위한 AIRA-Compose와 저수준 메커니즘 구현을 위한 AIRA-Design이라는 이중 프레임워크 접근법을 소개한다. AIRA-Compose는 24시간의 예산 하에 11개의 에이전트를 사용하여 기본적인 계산 프리미티브를 탐색한다. 에이전트들은 백만 단위 매개변수 후보들을 평가하고, 상위 설계를 350M, 1B, 3B 규모로 외삽한다. 이를 통해 두 가지 패밀리에 걸친 14개의 아키텍처, 즉 AIRAformer(트랜스포머 기반)와 AIRAhybrid(트랜스포머-Mamba 기반)가 도출된다. 1B 규모에서 사전학습된 이 모델들은 Llama 3.2 및 Composer 기반 기준 모델들을 일관되게 능가한다. 다운스트림 태스크에서 AIRAformer-D와 AIRAhybrid-D는 Llama 3.2 대비 정확도를 각각 2.4% 및 3.8% 향상시킨다. 나아가 AIRA-Compose는 매우 효율적인 스케일링 프론티어를 갖춘 모델들을 발견하는데, AIRAformer-C는 Llama 3.2 및 Composer의 최적 트랜스포머보다 54% 및 71% 더 빠르게 스케일링되며, AIRAhybrid-C는 Nemotron-2보다 23%, Composer의 최적 하이브리드보다 37% 뛰어난 스케일링 속도를 보인다. AIRA-Design은 20개의 에이전트에게 장거리 의존성을 위한 새로운 어텐션(attention) 메커니즘과 고성능 학습(training) 스크립트를 작성하도록 지시한다. Long Range Arena 벤치마크에서 에이전트가 설계한 아키텍처는 문서 매칭 및 텍스트 분류(classification)에서 인간의 최고 성능(SOTA) 대비 2.3% 및 2.6% 이내의 격차를 달성한다. Autoresearch 벤치마크에서는 Greedy Opus 4.5가 고정된 시간 예산 하에서 0.968의 검증(validation) 비트/바이트(bits-per-byte)를 달성하여 기존에 발표된 최솟값을 넘어섰다. 종합하면, 이러한 프레임워크들은 AI 에이전트가 사람이 수작업으로 설계한 기준 모델과 대등하거나 이를 능가하는 아키텍처 및 알고리즘 최적화를 자율적으로 발견할 수 있음을 보여준다. 이는 차세대 파운데이션 모델을 발견하기 위한 강력한 패러다임을 확립하며, 재귀적 자기 개선을 향한 분명한 진전을 나타낸다.

arXiv:2610.02608v1cs.AI

시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다

Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing

시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.

arXiv:2511.21739v2cs.DL

과학은 프론티어를 따라가지 못하고 있다: 50만 편의 논문을 통해 살펴본 파운데이션 모델 도입 현황

Science Is Falling Behind the Frontier: Foundation Model Adoption Across Half a Million Papers

본 논문에서는 단순한 인용이나 키워드 조사가 아닌, 과학 분야에서의 인공지능(AI) 파운데이션 모델(foundation model) 활용에 대한 최초의 대규모 분석을 제시합니다. 연구 결과, 모델 도입은 거의 지수적인 속도로 급격히 증가했으며 언어학, 컴퓨터 과학, 공학 분야에서 가장 높은 활용도를 보였습니다. 언어 모델의 비중이 커지고 있음에도 불구하고, 과학 분야에서 가장 널리 사용되는 파운데이션 모델은 비전 모델이었습니다. 또한 공개 가중치(open-weight) 모델이 지배적인 것으로 나타났습니다. AI 개발자들이 모델의 매개변수(parameter) 수를 늘려감에 따라 과학자들도 이를 따르고 있으나 그 속도는 훨씬 느립니다. 2015년에는 과학 분야에서 채택된 파운데이션 모델의 평균 크기가 개발된 평균 모델보다 5.4배 더 컸지만, 2024년에는 이 관계가 역전되어 새로 구축된 모델의 평균 크기가 도입된 평균 모델보다 6.9배 더 커졌습니다. 아울러 과학자들이 이러한 더 작은 모델을 사용하는 것이 AI 기반 과학의 모든 이점을 얻는 데 한계로 작용할 수 있음을 시사하는 증거도 제시합니다. 더 큰 모델을 사용하는 논문일수록 영향력이 더 높은 저널에 게재되고 더 많은 인용 수를 기록하고 있습니다.

arXiv:2609.27232v1cs.LG

fMRI 파운데이션 모델에 대한 스케일링 연구

A Scaling Study for fMRI Foundation Models

스케일링 법칙은 컴퓨터 비전(CV)과 자연어 처리(NLP)에서 대규모 모델 개발을 이끌어 왔지만, 기능적자기공명영상(fMRI) 파운데이션 모델에서는 데이터, 모델 크기, 연산(compute) 간 관계가 여전히 불분명하다. 본 연구에서는 200개 이상의 소스 데이터셋에서 수집한 사전학습 데이터와 10,000 GPU-hours 이상의 실험을 통해 통제된 실증 연구를 수행한다. 사전학습 프레임워크와 다운스트림 프로토콜을 고정한 채, 사전학습 데이터 규모, 모델 크기, 학습 기간을 변화시킨다. 다운스트림 성능은 일반적으로 연산이 증가할수록 향상되지만, 유사한 연산을 사용하는 모델도 성능이 크게 달라질 수 있다. 추가 사전학습 데이터는 모델 크기가 클수록 더 큰 이득을 가져오며, 데이터와 모델 크기를 함께 스케일링해야 함을 시사한다. 동일한 연산에서 사전학습 데이터를 늘리는 것이 모델 크기를 늘리는 것보다 더 많은 태스크에 이롭지만, 패턴은 태스크마다 다르다. 이어서 분포 내(ID) 다운스트림 성능을 이용해 두 가지 고정 연산 예산에서 사전학습 데이터 규모, 모델 크기, 학습 기간의 조합을 선택한다. 이렇게 선정된 모델은 분포 외(OOD) 평가 전에 확정(locked)된다. 이 모델들은 비교 대상 fMRI 파운데이션 모델 중 평가된 OOD 태스크 전반에서 최고 평균 성능을 달성하면서 사전학습 연산은 더 적게 사용한다. 전반적으로, 연산만으로는 fMRI 스케일링을 특징짓지 못하며, 성능은 사전학습 데이터, 모델 크기, 학습 기간이 어떻게 결합되느냐에 달려 있음을 보여준다.

arXiv:2606.04525v4cs.CL

GENEB: 유전체 모델 비교가 어려운 이유

GENEB: Why Genomic Models Are Hard to Compare

유전체 파운데이션 모델 간의 비교가 어렵다는 문제를 해결하기 위해 40개 모델의 고정된 표현을 100개 작업에서 평가하는 대규모 진단 벤치마크인 GENEB을 제안합니다. 분석 결과 모델 순위는 작업 카테고리에 따라 크게 달라지며, 모델 규모보다는 아키텍처와 사전학습 데이터의 정렬이 성능에 더 큰 영향을 미침을 보여줍니다.

arXiv:2607.23146v1cs.LG

파운데이션 모델과 미세조정: 시계열 예측을 위한 차세대 모델

Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting

자연어 처리(NLP) 분야의 대규모 언어 모델(LLM) 최근 돌파구에서 영감을 받아, 파운데이션 모델은 제로샷 시계열 예측을 위한 유망한 패러다임으로 등장했으며, 사전학습 중 한 번도 접하지 않은 데이터셋에서도 정확한 예측을 가능하게 한다. 수천만에서 수억 개에 이르는 파라미터 규모의 이러한 모델은 방대하고 다양한 시계열 컬렉션에 대해 사전학습되어, 점 예측과 확률적 예측을 모두 지원하는 일반화 가능한 표현을 학습한다. 이 접근법은 데이터셋별 모델 설계와 수동 튜닝의 필요성을 줄여, 다양한 예측 문제에 대한 통합 솔루션을 제공한다. 본 연구에서는 이러한 모델의 기반이 되는 주요 아키텍처, 사전학습 전략, 최적화 방법을 검토한다. 또한 특정 데이터셋에서의 성능 향상을 위해 선정된 파운데이션 모델의 사전학습 후 미세조정을 조사한다. 실증 결과는 이 단계가 제로샷 기준선 대비 예측 정확도를 일관되게 향상시킴을 보여준다.

arXiv:2607.24422v1cs.CV

IJCB-AFMFR 2026: 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회

IJCB-AFMFR 2026: Competition on Adapting Foundation Models for Face Recognition Using Synthetic Training Data

본 논문은 2026 International Joint Conference on Biometrics(IJCB 2026)에서 개최된 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회(Adapting Foundation Models for Face Recognition Using Synthetic Training Data, AFMFR)의 요약을 제시한다. 경진대회에는 상호 보완적인 두 트랙에 걸쳐 4개 팀으로부터 총 8건의 유효한 제출물이 접수되었다. Full Data Track에서는 참가자들이 대규모 합성 신원(identity) 데이터를 사용하여 CLIP ViT-L/14 파운데이션 모델을 적응시키며, Limited Data Track은 보다 자원이 제한된 적응 환경을 반영하도록 설계되었다. 모든 학습 데이터는 IDPERTURB만을 사용하여 생성되었다. 제출된 솔루션은 Borda count 방법을 사용하여 LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C, TinyFace를 포함한 다양한 벤치마크에서의 검증(verification) 및 식별(identification) 성능을 기준으로 순위가 매겨졌다. 공정성(fairness) 평가는 RFW 데이터셋에서 4개 인구통계학적 그룹에 걸쳐 추가로 수행되었다. 결과는 합성 학습 데이터를 이용한 CLIP 파운데이션 모델의 적응이 기성(off-the-shelf) 모델 대비 상당한 개선을 보이며, 여러 경우 기준선을 능가함을 보여준다. 특히 Sub-Center ArcFace(DMSTI-Neurotechnology)를 이용한 전체 미세조정(full fine-tuning)이 Full Data Track을 선도했으며, rank-stabilized LoRA 적응(Idiap-BSP)은 제한된 데이터 조건에서 가장 효과적인 것으로 나타났다.

arXiv:2607.22671v1cs.AI

AIR-BENCH Live: 파운데이션 모델을 위한 진화하는 안전성 벤치마크

AIR-BENCH Live: An Evolving Safety Benchmark for Foundation Models

파운데이션 모델 안전성 벤치마크는 출판 당시의 AI 위험을 포착한다. 모델이 개선되고 정부가 새로운 AI 안전성 법률을 제정함에 따라, 위험 분류 체계는 더 이상 포괄적이지 않게 되고 공격 프롬프트는 효과를 잃는다. 우리는 AIR-BENCH 2024의 자가 진화형 후속작인 AIR-BENCH Live를 제시한다. 자동화된 업데이트 파이프라인은 정부 규제를 모니터링하고 새로운 정책을 현재의 4단계 위험 분류 체계에 대해 분류하며, 기존 범주에 매칭하거나 새로운 세분화된 범주를 제안한다. 그다음, 다중 에이전트(multi-agent), 페르소나 기반 프롬프트 생성 알고리즘이 최소한의 인간 검토로 현실적이고 다국어 프롬프트를 생성하며, 현대적인 jail breaking 기법으로 개선할 여지를 남긴다. 이 알고리즘은 레거시 프롬프트를 개편하고 새로운 범주에 대한 프롬프트를 생성하는 데 사용된다. 현재 버전에서 파이프라인은 벤치마크를 314개에서 335개의 세분화된 위험으로 확장했으며, 21개의 새로운 범주는 7개 관할권에 걸친 31개의 진정으로 새로운 정책 조항에서 도출되었다. 최근 14개 모델을 평가한 결과, (자체 행동 기준으로 판단된 모델들 사이에서 0.17에서 0.89까지) 넓은 안전성 격차가 있음을, 현대화된 프롬프트가 2024년 세트보다 평균 0.06점 더 어렵다는 점(가장 큰 하락은 가장 순응적인 모델들에 집중됨)을, 그리고 대부분의 모델이 비영어 프롬프트에서 소폭 덜 안전하다는 점을 발견한다. 새로운 규제를 지속적으로 흡수하고 프롬프트를 재생성함으로써, AIR-BENCH Live는 빠르게 변화하는 분야와 함께 진화하도록 설계되었다.

arXiv:2607.22264v1cs.LG

다중모달 입력을 갖는 자기회귀 EHR 파운데이션 모델

Autoregressive EHR Foundation Models with Multimodal Inputs

토큰화된 전자건강기록(EHR)으로 학습된 자기회귀 파운데이션 모델은 제로샷 임상 예측을 지원할 수 있지만, 대부분은 구조화된 이벤트 코드만을 대상으로 동작하며 여러 모달리티를 체계적인 방식으로 통합하지 않는다. 우리는 모달리티별 잠재 압축과 시간 정렬을 갖춘 게이트 크로스-어텐션(gated cross-attention)을 사용하여, ECG 파형, 흉부 X-ray 이미지, 임상 기록 등 보조 임상 모달리티로 이러한 모델을 조건화하는 프레임워크를 제시한다. 우리는 두 가지 핵심 설계 선택을 조사한다: (1) 다중모달 크로스-어텐션에 들어가기 전에 모달리티별 긴 시퀀스(예: ECG 시계열)를 어떻게 압축할 것인가. 이 특징은 연산 오버헤드를 줄이는 데 필수적일 수 있으며 일반화에도 유리할 수 있다; (2) 각 모달리티에 대한 사전학습 인코더 선택이 하류 성능에 어떤 영향을 미치는가. MIMIC-IV에서 통제된 ablation을 통해, 최적의 잠재 압축 구성이 압축하지 않은 크로스-어텐션과 평균 풀링 모두를 능가함을 보인다. 인코더 선택은 모달리티 내에서 뚜렷한 효과를 보이며, 더 강력한 사전학습 인코더가 일관되게 더 약한 대안들을 능가한다. 또한 보조 모달리티를 단순히 추가하는 것만으로는 EHR 전용 기준선 대비 ICU 사망률 예측에서의 개선을 보장하지 않음을 보인다. 이는 융합 아키텍처의 신중한 설계와 임상 맥락에서의 적절한 평가가 필요함을 시사한다.

arXiv:2604.17961v2cs.CV

DifFoundMAD: 파운데이션 모델과 차분 모orphing 공격 탐지

DifFoundMAD: Foundation Models meet Differential Morphing Attack Detection

본 연구에서는 DifFoundMAD를 제안한다. DifFoundMAD는 비전 파운데이션 모델(FM)의 일반화 능력을 활용하여 의심되는 모orphing 얼굴과 실시간 촬영 이미지 간의 불일치를 포착하는 매개변수 효율적 D-MAD 프레임워크이다. 기존 D-MAD 시스템이 얼굴 인식 임베딩이나 수작업 특징 차이에 의존하는 것과 달리, DifFoundMAD는 표준 차분 패러다임을 따르면서 기저 표현 공간을 FM에서 추출한 임베딩으로 대체한다. 경량 파인튜닝(fine-tuning)과 클래스 균형 최적화(optimization)를 결합함으로써, 제안 방법은 기저 FM의 풍부한 표현 사전(prior)을 보존하면서 소수의 매개변수만 업데이트한다. 표준 D-MAD 벤치마크에 대한 광범위한 교차 데이터베이스 평가를 통해 DifFoundMAD가 최신(state-of-the-art) 시스템 대비 일관된 성능 향상을 달성함을 보였으며, 특히 출입국 관리와 같은 운영 배포에서 요구되는 엄격한 보안 수준에서 두드러진다. DifFoundMAD를 사용하면 고보안 수준에서 현재 최신 기술이 보고한 오류율이 6.16%에서 2.17%로 감소했다.

arXiv:2602.07643v2cs.CV

Universality Reconsidered: Rethinking the Validation of Foundation Models for General-Purpose 3D Medical Segmentation

Foundation models have emerged as a transformative paradigm in 3D medical imaging, with the promise of unified quantitative analysis across diverse targets and imaging modalities. Yet the prevailing conception of universality remains incomplete. Current models are predominantly developed and evaluated on datasets largely concentrated around a limited set of imaging modalities and anatomical regions. In this Perspective, we evaluate representative 3D segmentation foundation models using paired whole-body structural and functional imaging data. Our analysis reveals a substantial gap between benchmark-reported performance and real-world generalization, with marked degradation on previously unseen data and particularly severe failures on functional imaging modalities. These findings suggest that current foundation models remain far from achieving true universality. We argue that progress requires not only scaling models and datasets, but also a reconsideration of how universality is defined and validated, extending evaluation beyond regional structural benchmarks toward whole-body structural and functional imaging. Our observations highlight the need to distinguish benchmark success from genuine clinical generalization. Bridging this gap will be essential for translating foundation models from controlled evaluation settings to real-world medical practice.

arXiv:2605.18147v2cs.LG

신용 리스크 예측을 위한 파운데이션 모델: 게임 체인저인가?

Foundation Models for Credit Risk Prediction: A Game Changer?

예측 모델은 신용 리스크 관리에서 핵심적인 역할을 하며, 부도 확률과 손실의 정확한 추정을 통해 중요한 의사결정을 안내한다. 많은 연구가 새로운 모델링 기법을 도입해 왔으며, 최신 기술(state-of-the-art)을 정리한 대규모 벤치마크 연구가 이를 보완해 왔다. 오늘날 SHAP 설명기(explainer)와 결합된 그래디언트 부스팅(gradient-boosting) 모델과 같은 준표준이 등장했지만, 리스크 모델의 지속적인 개선은 여전히 최우선 과제로 남아 있다. 한편, 특히 대규모 언어 모델(LLM)을 비롯한 AI의 급속한 발전은 예측 모델링 패러다임을 뒤흔들고 있다. 다양한 도메인의 광범위한 데이터셋으로 사전학습(pre-training)된 파운데이션 모델은 사전 지식(prior knowledge)을 활용하여 뛰어난 성능을 보여 왔다. 자연어 처리(NLP)와 컴퓨터 비전(CV)에서는 널리 쓰이지만, 표 형태(tabular) 데이터용 파운데이션 모델은 최근에야 등장했다. 우리는 도메인 외(out-of-domain) 데이터에 대한 사전학습이 중소기업(SME) 대출이나 특화된 기업 포트폴리오와 같은 소규모 데이터 환경에서 특히 유용하며, 저부도(low default) 포트폴리오와 클래스 불균형(class imbalance)을 포함한 오랜 과제 해결에 도움이 될 수 있다고 추정한다. 본 논문은 최근 제안된 표 형태 파운데이션 모델을 확립된 기법과 고급 머신러닝 기법을 포함한 광범위한 경쟁 모델과 비교 벤치마크하며, 두 핵심 과제인 PD(부도 확률) 및 LGD(부도 시 손실) 모델링을 대상으로 한다. 평가는 다양한 데이터셋, 성능 지표, 실험 조건을 포괄한다. 표 형태 파운데이션 모델이 일반적으로 데이터셋과 과제 전반에서 최고의 성능을 보인다. 더욱이 데이터셋 크기가 줄어들수록 예측 성능이 크게 향상된다. 이러한 결과는 모델이 하이퍼파라미터 튜닝 없이 즉시(out-of-the-box) 테스트되었음에도 주목할 만하며, 이는 사용 편의성을 보장하고 계산 비용을 완화한다.

arXiv:2607.13386v1cs.CV

FM$^2$: 이질적 다중 모달 의료 영상을 위한 통합 연합 파운데이션 모델

FM$^2$: Unified Federated Foundation Models for Heterogeneous Multimodal Medical Imaging

의료 영상용 파운데이션 모델 구축은 여러 기관 간 데이터 풀링(pooling)을 요구하지만, 프라이버시 규정으로 인해 중앙 집중식 집계가 금지된다. 기존 연합 파운데이션 모델은 자연 이미지 모델을 파인튜닝하여 의료 도메인 전이 성능이 낮거나, 단일 모달리티 내에서 처음부터 학습하여 작업을 통합할 유연성이 부족하다. 우리는 영상 모달리티 이질성(Imaging Modality Heterogeneity)이라는 미개척 과제를 식별한다. 여기서 클라이언트는 두 가지 구조적 체제에서 동작한다: 겹침(Overlapped, 공유 모달리티와 이질적 레이블 분포)과 비겹침(Non-overlapped, 클라이언트마다 완전히 분리된 모달리티). 우리는 FM$^2$를 제안한다. 이는 핵심 백본을 처음부터 학습하여 의료 도메인 충실도를 보존하면서, 선택적으로 생의학 사전학습 인코더를 비전-언어 정렬에 통합하는 통합 프레임워크이다. FM$^2$는 각 클라이언트에 이중 전문가 혼합(MoE) 모듈(개인화된 범주 지식을 위한 클래스별 MoE와 공유 교차 모달리티 표현을 위한 도메인별 MoE)을 장착하고, 모달리티별 전문가 파라미터를 명시적으로 정렬하는 이질적 모달리티 정렬(HMA) 정규화를 결합한다. 이를 통해 증명 가능한 $O(1/\sqrt{T})$ 수렴 및 일반화 보장을 제공한다. FM$^2$는 또한 캡션 강화 학습(CEL)을 포함한다. 여기서 로컬에 보관된 GPT-4o 생성 캡션이 텍스트 의미적 다리로 작용하여 분리된 모달리티를 가진 클라이언트 간 표현 전이를 가능하게 하며, 연합 의료 VQA로의 확장성을 보여준다. 우리의 MIMH 벤치마크(분류 및 CEL)와 실제 의료 VQA 데이터셋에 대한 실험은 세 가지 작업 모두에서 최신 연합 기준선 대비 일관된 우수성과 강한 모달리티 외 일반화를 확인한다.

arXiv:2408.12322v2cs.CV

멀티모달 파운데이션 모델과 기하학을 활용한 제로샷 3D 일반 장애물 탐지

Zero-shot 3D General Obstacle Detection via Multimodal Foundation Models and Geometry

일반 장애물 탐지는 자율주행, 특히 희귀하거나 미지의 객체가 등장하는 롱테일 시나리오에서 매우 중요합니다. 기존 방법들은 지도 학습이나 사전 정의된 카테고리에 의존하여 일반화 능력이 제한됩니다. 본 연구에서는 멀티모달 파운데이션 모델과 기하학적 추론을 결합한 학습-프리(training-free) 방식의 3D 장애물 탐지 접근법을 제안합니다. 핵심 아이디어는 장애물을 도로 표면으로부터의 이탈로 탐지하고, 이를 2D에서 분할한 뒤 시간적 LiDAR 집계를 통해 3D로 위치를 추정하는 것입니다. 해당 파이프라인은 태스크별 학습 없이 제로샷(zero-shot) 방식으로 동작합니다. 실험 결과, 최대 100미터까지 정확한 위치 추정이 가능하며, 파운데이션 모델 사전 정보를 통해 재현율이 10~25% 향상되고 확장 가능한 자동 레이블링이 가능함을 보여줍니다.

arXiv:2607.07951v1cs.LG

극한 환경 이벤트에 대한 파운데이션 모델의 일반화 가능성 평가: 캘리포니아 산불 PM2.5 사례 연구

Evaluating the Generalizability of Foundation Models for Extreme Environmental Events: Case Study of California Wildfire PM2.5

산불 연기로 인한 극단적인 PM2.5 농도 급등 예측에서 시계열 파운데이션 모델(TSFM)이 일반 벤치마크와 달리 환경 극단값 조건에서 어떤 성능을 보이는지 평가하기 위해, 캘리포니아 79개 관측소의 12년치 시간별 데이터셋과 사고-제외 교차검증(LOIO) 프로토콜을 사용해 6가지 TSFM 구성과 완전 학습된 BiLSTM·LSTM·Transformer를 비교했다. 제로샷 TSFM은 단순 지속 예측 대비 소폭 개선에 그쳤고 Chronos-2는 심각한 RMSE 꼬리 불안정성을 보인 반면, BiLSTM이 MAE 5.16 μg/m³와 위험 구간 초과 F1 0.63으로 모든 지표에서 최고 성능을 달성해 대형 사전학습 모델이 환경 예측에서 보편적으로 우월하다는 가정에 의문을 제기한다.

arXiv:2607.07907v1cs.LG

비전, 언어, 비디오, 오디오를 아우르는 멀티모달 언러닝: 방법론, 데이터셋, 벤치마크 서베이

Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks

VLM, DM, LLM, AFM의 채택이 확산됨에 따라, 이러한 멀티모달 파운데이션 모델들은 학습 데이터에서 비롯된 민감하거나 저작권이 있거나 편향되거나 안전하지 않은 교차 모달 연관성을 의도치 않게 인코딩할 수 있다. 삭제 요청이나 정책 변경 이후 재학습을 수행하는 것은 현실적으로 어려운 경우가 많으며, 지식이 공유 표현 전반에 분산되어 있어 특정 지식만을 선택적으로 망각시키는 것 역시 쉽지 않다. 멀티모달 언러닝(multimodal unlearning)은 전체적인 유용성을 유지하면서 모달리티 전반에 걸쳐 선택적 제거를 가능하게 함으로써 이 문제를 해결한다. 본 서베이는 최근의 발전, 새롭게 등장하는 응용 분야, 미해결 문제를 토대로, 비전·언어·오디오·비디오 전반에 걸친 멀티모달 언러닝에 대한 통합적이고 시스템 지향적인 관점을 제시한다. 제안하는 분류 체계는 모델 아키텍처와 모달리티에 걸친 체계적 비교를 가능하게 하며, 삭제 강도, 유지(retention), 효율성, 가역성, 강건성 간의 트레이드오프를 명확히 한다. 본 서베이는 멀티모달 언러닝의 미래 연구 및 실제 배포를 지원하기 위해 미해결 문제와 실용적 고려 사항을 부각시킨다. 정리된 저장소를 공개한다: https://smsnobin77.github.io/Awesome-Multimodal-Unlearning/

arXiv:2607.04919v1cs.LG

파운데이션 모델은 언제 효과적인가? 사전학습된 시계열 예측기의 손익분기점 분석

When Do Foundation Models Pay Off? A Break-Even Analysis of Pretrained Time Series Forecasters

시계열 파운데이션 모델(Chronos, Moirai, Lag-Llama)과 고전적 베이스라인(XGBoost, ARIMA 등)을 30개 벤치마크 데이터셋과 6가지 학습 데이터 규모에서 비교한 최초의 체계적 손익분기점 분석으로, 15개 데이터셋에서는 데이터 양과 무관하게 파운데이션 모델이 우세하지만 6개 데이터셋에서는 학습 데이터 2%만으로도 고전적 방법이 앞서는 것을 확인하였다. n_train < 700이고 계절성이 존재하면 제로샷 FM을 사용하고 LoRA 파인튜닝은 생략하라는 실용적 의사결정 규칙을 제시하며, 짧은 시계열에서 LoRA 파인튜닝이 오히려 성능을 저하시킬 수 있음을 경고한다.

arXiv:2607.05168v1cs.AI

인공지능에서 기호적 방법의 변화하는 역할

The Changing Role of Symbolic Methods in Artificial Intelligence

지능 시스템은 왜 명시적인 기호 추론(symbolic reasoning)을 수행해야 하는가? 컴퓨터 과학은 전통적으로 기호 추론을 지능의 핵심 요소로 간주해 왔다. 그러나 현대 파운데이션 모델의 놀라운 성공은 근본적인 질문을 제기한다. 점점 더 유능해지는 AI 시스템이 명시적인 기호 추론 없이도 작동할 수 있다면, 기호적 방법은 실제로 어떤 역할을 하는가? 이 논문은 명시적 기호 추론이 지능의 근본적인 속성이 아니라, 단순화된 현실 모델에서 작동하는 것의 계산적 귀결임을 주장한다. 우리는 압축 원리(Compression Principle)를 제안한다. 즉, 모든 계산 모델은 현실의 단순화된 표현이며, 명시적 기호 추론은 모델 구성 과정에서 누락된 정보를 보완한다는 것이다. 이 원리로부터 우리는 모델링-추론 트레이드오프(Modeling-Reasoning Trade-off)를 도출한다. 계산 모델이 세계의 더 풍부한 표현을 보존할수록, 명시적 기호 추론의 필요성은 그에 상응하여 감소한다. 이 관점은 기호적 방법의 역사적 성공과 현대 파운데이션 모델의 놀라운 효과성 모두에 대한 통합적 설명을 제공한다. 역설적으로, 같은 발전이 인간에게는 기호적 방법을 점점 더 중요하게 만든다. 지능 시스템이 더욱 유능해지고 불투명해질수록, 기호적 표현은 인간이 요구사항을 명시하고, 동작을 검증하며, 자율 시스템을 규제하고, 신뢰를 구축하는 인터페이스로서의 역할을 점점 더 많이 담당하게 된다. 따라서 우리는 기호적 방법의 미래가 지능 시스템의 계산 엔진으로서가 아니라, 점점 더 유능해지는 AI 시스템과 이를 구축하고 관리하며 의존하는 인간 사이의 기호적 인터페이스로서 존재한다고 주장한다.