SFT를 과도하게 진행하면 롤아웃 분포가 압축되어 엔트로피 붕괴가 일어나고, pass@1이 가장 높은 체크포인트를 GRPO(그룹 상대 정책 최적화)에 쓰는 관행이 Qwen2.5-Coder-3B에서 RL 이전 성능은 오르는데 GRPO pass@10은 0.806에서 0.481로 떨어지는 순위 역전을 유발할 수 있음을 보인다. RL 이전 엔트로피 선별과 초기 GRPO 엔트로피 모니터링을 결합한 2단계 진단으로 고위험 체크포인트를 조기에 걸러낼 수 있으며, KL 정규화와 레이블 스무딩은 붕괴된 체크포인트를 복구하지 못했다.
생체의학 테이블 예측에서 측정 노이즈는 k차 상호작용을 특징 신뢰도의 k제곱만큼 감쇠시키고 선형 항은 한 번만 감쇠시켜, 기저 생물학이 비선형적이어도 딥 네트워크·부스팅 트리 등 유연한 모델이 선형 회귀와 대등해지거나 뒤처질 수 있음을 초과 위험 항등식으로 보여준다. UK Biobank 140개 작업에서도 이 노이즈 서명이 확인되며, 노이즈로 지워진 비선형성은 더 큰 코호트나 복잡한 모델이 아니라 측정 품질 개선으로만 회복할 수 있다.
작업 레이블 없이 적절한 PEFT 어댑터를 고르는 문제에 대해, ARIADNE는 각 어댑터를 학습 데이터 임베딩의 중심점(centroids)으로 표현하고 입력과의 잠재 공간 근접성으로 라우팅하는 학습 없는 어댑터 독립적 프레임워크를 제안합니다. Llama 3.2 1B Instruct 기준 23개 자연어 처리(NLP) 작업에서 상한 성능의 97.44%를 회복했고, 44개 작업으로 확장해도 추가 학습 없이 평균 89.7%의 어댑터 선택 정확도를 달성했습니다.
중첩 표본추출(NS) 기법은 고가능도 영역을 효율적으로 탐색하는 능력 덕분에, 특히 우주론과 천문학 분야에서 널리 주목받아 왔습니다. 이는 암시적 가능도 최적화와 유사한 특징으로서, NS의 성공을 뒷받침합니다. NS의 전체 이론적 유도는 복잡하며 여러 근사를 포함하지만, 핵심적인 과제는 성능에 결정적인 가능도 제약 사전분포(likelihood-constrained priors)로부터의 표본추출에 있습니다. 본 연구는 NS 유도에 대한 포괄적이고 상세한 설명을 제공하여, 이론적 기초와 실제적 과제를 모두 명확히 합니다. 우리는 NS 절차에 대한 철저한 설명을 제공하며, 장점과 잠재적 한계를 모두 강조합니다. 이를 통해 본 연구는 해당 방법에 대한 이해를 심화하고, 다양한 과학적 응용 분야에 걸쳐 향후 개선, 새로운 변형, 그리고 더 효율적인 구현의 개발을 촉진하는 것을 목표로 합니다. 따라서 본 연구의 주요 기여는 두 가지입니다. 해당 분야의 입문자를 위한 튜토리얼 역할과 숙련된 실무자를 위한 비판적 리뷰 역할을 수행한다는 점입니다.
우리는 기록된 문맥형 밴딧 데이터로부터 최적 정책을 식별하기 위한 언제든 유효한 프레임워크를 개발합니다. 많은 응용 설정에서 분석가는 후보 정책 클래스 $Π$ 내에서 최적 정책을 선택하고자 하지만, 데이터는 분석가가 제어할 수 없는 외부적으로 결정된 로깅 정책에 의해 생성됩니다. 분석가는 또한 증거를 지속적으로 모니터링하고, 미리 고정된 표본 크기에 얽매이는 대신 최적 정책이 명확해지는 시점에 중단하기를 원할 수 있습니다. 본 논문은 시간에 대해 높은 확률로 균일하게 참 최적 정책 집합을 유지하는 시간 인덱스 집합 $S_t$를 구성하여 이러한 문제를 해결합니다. 결과적인 절차를 통해 분석가는 정책 가치를 모니터링하고, 명백히 비최적인 정책을 제거하며, 추론(inference)을 무효화하지 않으면서 데이터 의존적인 시점에 중단할 수 있습니다. 최적 정책이 유일한 경우, 우리는 그 식별을 위한 정지 시간을 정의하고, $Δ_{\min}$을 최상의 정책 가치와 차선의 정책 가치 사이의 격차라고 할 때 $O\!\left(\frac{\log |Π|+\log\log(1/Δ_{\min})}{Δ_{\min}^2}\right)$의 비율로 스케일링되는 표본 복잡도 상한을 도출합니다. 시뮬레이션 결과, 언제든 유효한 접근 방식이 고정-$N$ 설계에 비해 상당한 표본 절약 효과를 낼 수 있음이 입증되었습니다. 온라인상의 잘못된 정보를 줄이기 위한 대규모 적응형 실험에 대한 적용 사례는 최적 정책에 대한 증거가 축적됨에 따라 본 방법이 동적인 관점을 어떻게 제공하는지 보여줍니다.
도구 변수(IV) 및 근접 인과 학습(Proxy) 방법은 관측되지 않은 교란이 존재하는 상황에서 인과 추론을 위한 핵심 프레임워크입니다. 방법론적으로 상당한 발전에도 불구하고, 기존 접근법은 신뢰할 수 있는 인식론적 불확실성(EU) 정량화를 거의 제공하지 못합니다. 우리는 불확실성 인식 인과 학습을 위한 Deconditional 가우시안 프로세스(DGP) 프레임워크를 통해 이러한 격차를 해결합니다. 우리의 정형화는 널리 사용되는 커널 추정량을 사후 평균으로 복원하여 예측 정밀도를 보장하는 한편, 사후 분산을 통해 원칙에 입각하고 잘 보정된 EU를 산출합니다. 더욱이, 이 확률적 구조는 주변 로그 가능도 최적화를 통해 체계적인 모델 선택을 가능하게 합니다. 실험 결과는 경험적 커버리지 빈도와 의사결정 인식 정확도 기각 곡선을 통해 평가된, 유익한 EU 정량화와 함께 강력한 예측 성능을 입증합니다. 종합적으로, 우리의 접근법은 신뢰할 수 있는 불확실성을 바탕으로 관측되지 않은 교란 하에서의 인과 추론을 위한 통합적이고 실용적인 솔루션을 제공합니다.
대규모 언어 모델(LLM)은 자동화된 코드 번역 시스템의 기능적 정확성을 크게 향상시켰지만, 번역된 프로그램의 런타임 효율성은 상대적으로 주목받지 못했다. 무어의 법칙(Moore's law)이 쇠퇴하면서 런타임 효율성은 기능적 정확성과 더불어 프로그램 품질에서 점점 더 중요해지고 있다. 우리의 예비 연구에 따르면 LLM이 번역한 프로그램은 종종 사람이 작성한 프로그램보다 느리게 실행되며, 이 문제는 프롬프트 엔지니어링만으로는 해결할 수 없다. 따라서 본 연구는 SwiftTrans를 제안한다. SwiftTrans는 두 가지 핵심 단계로 구성된 코드 번역 프레임워크이다: (1) 다관점 탐험(Multi-Perspective Exploration) 단계에서는 MpTranslator가 병렬 문맥 내 학습(ICL)을 활용해 다양한 번역 후보를 생성한다; (2) 차이 인식 선택(Difference-Aware Selection) 단계에서는 DiffSelector가 번역들 간의 차이를 명시적으로 비교하여 최적 후보를 식별한다. 또한 MpTranslator를 위한 계층적 가이던스(Hierarchical Guidance)와 DiffSelector를 위한 서수 가이던스(Ordinal Guidance)를 도입하여 LLM이 이 두 핵심 구성 요소에 더 잘 적응하도록 했다. 번역된 프로그램의 런타임 효율성 평가를 지원하기 위해 기존 벤치마크인 CodeNet과 F2SBench를 확장하고 새로운 벤치마크 SwiftBench를 도입했다. 세 벤치마크 전반에 걸친 실험 결과는 SwiftTrans가 정확성과 런타임 효율성 모두에서 일관된 개선을 달성함을 보여준다.
프로덕션 대규모 언어 모델(LLM) 어시스턴트는 사용자 요청을 점점 커지는 전문 도구 라이브러리로 라우팅하지만, 카탈로그가 스케일링될 때 라우팅 정확도는 어떻게 저하되는가? 배포된 기업 생산성 어시스턴트의 110개 에이전트, 584개 도구 카탈로그에서 단일 단계 라우팅을 연구하며, 10개에서 110개 에이전트까지 세 가지 프론티어 모델을 평가한다. 사양이 부족한 요청에 대한 라우팅 F1은 모델 전반에 걸쳐 16–23퍼센트 포인트 하락한다. 오라클 분석은 저하를 검색(retrieval) 격차(모델이 올바른 도구를 찾아내지 못함)와 혼동(confusion) 격차(완벽한 검색이어도 오라클 상한이 10pp 하락)로 분해한다. 임베딩 기반 단기 목록화(shortlisting)는 두 제공자와 세 모델 모두에서 전체 규모에서 F1을 +10–11pp 회복한다. 프로덕션 주석 연구(1,435개의 사람이 라벨링한 발화, 세 명의 주석자)는 절대 성능이 10–15pp 낮음에도 불구하고 실제 트래픽에서 +10–17pp의 회복을 확인한다.
대규모 언어 모델(LLM)과 외부 도구의 통합은 AI 에이전트의 기능을 크게 확장했습니다. 그러나 LLM과 도구의 다양성이 증가함에 따라 최적의 모델-도구 조합을 선택하는 것은 고차원 최적화 문제가 되었습니다. 기존 접근 방식은 종종 단일 모델이나 고정된 도구 호출 로직에 의존하여, 이종 모델-도구 쌍 간의 성능 차이를 활용하지 못합니다. 본 논문에서는 교차 도메인 복잡한 추론을 위한 동적 도구 사용을 위한 이중 경로 프레임워크인 ATLAS (Adaptive Tool-LLM Alignment and Synergistic Invocation)를 제안합니다. ATLAS는 다음과 같은 이중 경로 접근 방식을 통해 작동합니다: (1) 도메인 특화 정렬을 위해 경험적 사전 지식을 활용하는 \textbf{학습 없는(training-free) 클러스터 기반 라우팅}, (2) 분포 외(out-of-distribution) 일반화를 위해 자율적인 궤적을 탐색하는 \textbf{강화학습(RL) 기반 다단계 라우팅}. 15개 벤치마크에 걸친 광범위한 실험을 통해 본 방법이 GPT-4o와 같은 폐쇄형 모델을 능가하며, 분포 내(in-distribution) 및 분포 외(out-of-distribution) 작업 모두에서 기존 라우팅 방법을 초과함(+10.1%, +13.1%)을 입증했습니다. 또한, 본 프레임워크는 특화된 멀티모달 도구를 조율함으로써 시각적 추론에서 상당한 향상을 보여주었습니다.
스테레오 매칭은 대규모 데이터셋에서 학습된 파운데이션 모델을 통해 발전해 왔으나, 이 패러다임은 확장성 병목 현상을 겪고 있습니다. 새로운 데이터를 통합하려면 비용이 많이 드는 통합 재학습이 필요하기 때문입니다. 모델 병합(model merging)은 소스 체크포인트(checkpoint)가 확보된 후 전문화된 모델들의 지식을 통합함으로써 확장 가능한 사후 대안을 제공합니다. 그러나 기존 병합 방법은 일반적으로 사용 가능한 모든 모델을 유지하거나 탐욕적 포함(greedy inclusion)에 의존하는데, 이는 유해한 작업 벡터(task vector) 간섭을 보존할 수 있습니다. 본 연구에서는 적응형 모델 병합을 위한 coarse-to-fine 진화적 프레임워크인 StereoFactory를 제안합니다. 1단계(Stage 1)에서는 유전 알고리즘을 사용하여 모델 부분 집합의 조합 공간을 탐색함으로써 참여할 모델을 결정합니다. 2단계(Stage 2)에서는 선택된 작업 벡터에 대한 아키텍처 적응형 라우팅(architecture-adaptive routing)의 CMA-ES 최적화와 선택적 모듈 수준 스케일링을 통해 모듈 수준 지식 전문화(서로 다른 기능 모듈이 지식 소스에 대해 뚜렷한 선호도를 나타내는 현상)를 해결합니다. 두 가지 아키텍처와 네 개의 벤치마크(benchmark)에 걸친 실험 결과, StereoFactory는 동일한 체크포인트 풀(pool) 하에서 가장 우수한 4개 벤치마크 평균 성능을 일관되게 달성했습니다. 가장 강력한 통제된 기준선(baseline) 대비 NMRF에서 평균 오차를 3.80에서 3.30으로, FoundationStereo에서 2.88에서 2.19로 감소시켰습니다. 이 사후 탐색 과정은 해당 통합 재학습에 소요되는 실제 시간(wall-clock time)의 단 2.7~3.7%만을 필요로 합니다. 분석 결과, 지식 기여는 본질적으로 모듈 특화적이며, 선택된 부분 집합은 아키텍처 간 전이 시 최소한의 성능 저하만을 보이는 것으로 나타났습니다. 코드는 논문 수락 후 다음 주소에서 공개될 예정입니다: https://github.com/XiandaGuo/StereoFactory.
개인화된 심장 전기생리학(EP) 디지털 트윈을 구축하려면 단순히 매개변수를 적합(fitting)시키는 것보다 각 환자에게 적합한 모델 구조를 식별하는 것이 필요합니다. 기존 방법은 전문가가 수동으로 하이브리드 물리-신경망 아키텍처를 규정하는 데 의존하므로 깊은 도메인 전문 지식이 필요하며 환자 간에 전이되지 않습니다. 최근 연구에서는 대규모 언어 모델(LLM)을 적용하여 하이브리드 모델을 생성하거나 하이브리드 모델로 작동하게 했습니다. 그러나 유망한 일반화 능력에도 불구하고, 이러한 LLM 기반 방법들은 안정적인 심장 시뮬레이션에 필요한 구조적 사전 지식(structural priors)이 부족합니다. 따라서 우리는 심장 EP 도메인 지식을 구조화된 행동 공간으로 공식화하고 LLM 에이전트를 활용하여 하이브리드 모델을 발견하는 LEADS 프레임워크를 제안합니다. 에이전트는 반복적인 추론 및 행동 루프를 통해 하이브리드 모델을 선택, 결합 및 정제(refine)하고, 경사하강법은 매개변수 적합을 처리합니다. 제안된 LEADS는 개방형 아키텍처 발견을 허용하면서 모든 후보 모델이 물리적 근거(physically grounded)를 가지며 해석 가능하고 수치적으로 안정적이 되도록 설계합니다. 우리는 세 가지 실제 반응 모델(ground-truth reaction models)이 있는 합성 데이터와 실제 심장 EP 데이터에서 LEADS를 검증하여, 인간이 설계한 하이브리드 모델과 다른 LLM 기반 하이브리드 모델링보다 우수한 성능을 보임을 입증했습니다.
머신 러닝(ML) 기법은 다양한 문제에 적용되어 왔습니다. 그러나 머신 러닝 모델에 머신 러닝을 적용하는 것은 아직 탐색되지 않은 방향입니다. 이를 위해 본 논문은 모든 ML 모델이 일반 분류(OCC) 모델로 근사화될 수 있다는 점에 착안하여 OCC 모델의 메타 분류를 다룹니다. 제안 방법은 OCC 모델을 정상성(normality) 순위로 표현하고, 최근접 이웃 및 순위 상관 지표를 사용하여 이를 분류합니다. 실험에서는 클래스가 학습(training) 데이터셋, 알고리즘, 하이퍼파라미터에 해당하는 OCC 모델을 분류합니다. 제안 방법은 클래스 레이블이 데이터셋인 경우 높은 정확도를 달성합니다. 또한, 학습 데이터셋이 동일한 클래스를 포함하는 경우 알고리즘을 분류할 수 있습니다. 나아가 논의를 통해 OCC 모델의 분류는 본질적으로 여러 샘플을 단일 입력으로 취급하는 데이터셋의 분류임을 강조합니다. 실험에서는 수면 기록을 사용하여 데이터셋 분류를 보여줍니다. 제안된 방법은 OCC 모델, 데이터셋, 순위를 분류하기 위한 통합 솔루션을 제공할 수 있습니다. 소스 코드는 공개 저장소 https://github.com/ToshiHayashi/ClassOCC에 업로드되어 있습니다.
대규모 언어 모델(LLM)의 미세조정은 연산 집약적이고 오류가 발생하기 쉽습니다. 모델 성능은 데이터 품질과 하이퍼파라미터 선택에 민감하게 의존하며, 단순한 실행은 모델 성능을 저하시킬 수도 있습니다. 이는 실질적인 질문을 제기합니다: 전체 학습 실행에 착수하기 전에 미세조정 성능을 예측할 수 있을까요? 우리는 미세조정 성능의 사전 예측을 위한 경량 프레임워크인 TUNEAHEAD를 제안합니다. TUNEAHEAD는 정적 데이터셋 기술자와 짧은 표준화된 프로브에서 얻은 동적 프로브 특징을 결합하여 각 후보 실행을 메타 특징 벡터로 인코딩합니다. 예측기는 이러한 특징을 성능 추정치로 매핑하고, SHAP 기반 속성은 예측을 주도하는 구체적인 특징을 밝혀내는 해석 가능한 진단을 제공합니다. Qwen2.5-7B-Instruct에서 수행된 1,300회 이상의 미세조정 실행에서 TUNEAHEAD는 Early-Stop Extrapolation 및 ProxyLM과 같은 강력한 베이스라인을 일관되게 능가했습니다. 370회 실행의 홀드아웃 테스트 셋에서 TUNEAHEAD는 1.47퍼센트 포인트의 RMSE를 달성했으며, 95.1%의 예측을 실제 점수의 ±3퍼센트 포인트 이내에 위치시켰습니다. 이러한 정확한 연속 예측은 불필요한 전체 미세조정을 줄이면서 가장 유망한 실행은 유지할 수 있는 실용적인 진행/중단(go/no-go) 스크리닝 정책을 지원합니다.
대규모 언어 모델(LLM)의 미세조정에 드는 높은 비용은 중요한 경제적 장벽이 되며, 사전 성능 예측은 이 비용을 획기적으로 줄이기 위한 핵심 해결책을 제공합니다. 그러나 사전 성능 예측의 이론적 한계는 여전히 탐구되지 않았습니다. 우리는 이를 정보 제약 하의 확률적 추정 문제로 공식화하여, 예측 위험을 내재적 한계(정적 데이터-모델 호환성)와 감소 가능한 최적화 분산이라는 두 가지 구성 요소로 분해합니다. 우리는 최적화 분산이 그 감쇠율에 대해 필연적인 하한을 가짐을 증명하며, 이는 사용되는 예측기에 관계없이 불확실성이 얼마나 빨리 사라지는지에 대한 근본적인 제약을 의미합니다. 이러한 역학을 기반으로 우리는 예산 최적의 프로빙 원칙을 도출하고, 작업을 정적 충분(Static-Sufficient), 동적 임계(Dynamic-Critical), 노이즈 지배(Noise-Dominant)의 세 가지 명확한 영역으로 분류하는 예측 가능성 상태도를 소개합니다. 합성 및 실제 벤치마크에 대한 광범위한 실험은 이러한 이론적 영역을 검증하고 우리의 프로빙 전략의 효율성을 입증합니다.
대규모 언어 모델(LLM)은 정확도, 지연 시간, 비용 특성이 서로 다른 다양한 사용자 작업을 처리하기 위해 엣지-클라우드 추론 시스템에 점점 더 많이 배치되고 있다. 각 수신 작업에 적절한 LLM을 선택하는 것은 서비스 품질과 효율적인 자원 활용을 보장하는 데 중요하다. 그러나 모델 이질성, 확률적이고 알려지지 않은 성능 특성, 시간에 따라 변하는 작업 수요로 인해 정적 선택 전략은 부적절하다. 실제 배포 환경에서는 종종 금전적 지출 한도와 같은 엄격한(hard) 자원 예산과, 지연 시간 보장과 같은 완화된(soft) 서비스 수준 요구사항이 함께 부과된다. 이러한 제약은 온라인 의사결정에 추가적인 어려움을 만든다. 우리는 이 문제를 제약 확률적 밴딧 학습 과제로 공식화하며, 학습자는 packing형(엄격) 제약과 covering형(완화) 제약 모두 하에서 모델을 순차적으로 선택하면서 시변 작업 수요에 적응한다. 학습자는 기저 보상, 비용, 지연 시간 분포에 접근할 수 없으며 부분 피드백에 의존해야 한다. 우리는 신뢰 경계(confidence-bound) 추정과 수요 예측을 활용하여 보상 극대화와 장기적 제약 만족의 균형을 맞추는 새로운 온라인 학습 알고리즘을 개발한다. 우리는 완전 정보를 갖는 오프라인 벤치마크 대비 준선형(sublinear) regret과 준선형 covering 제약 위반을 보이는 이론적 보장을 제공한다. 합성 워크로드에 대한 실험 결과는 동적이고 자원 제약이 있는 환경에서 우리 접근법의 효과성과 견고성을 보여준다.
본 연구는 자유 주행 시뮬레이션에서 생성된 CFD 데이터로부터 선박 유체력 계수를 식별하기 위한 지도 학습 기법을 조사합니다. 구체적으로, 일반 최소제곱법(OLS)과 정규화 회귀 방법을 Abkowitz 유형의 기동 모델에 적용합니다. 학습 및 검증 데이터셋은 지그재그 및 선회 기동에 대한 URANS 시뮬레이션 결과에서 도출되었으며, 실험용 벤치마크 데이터를 통해 검증되었습니다. 본 분석은 계수 집합의 크기, 예측 모델 학습에 필요한 최소 학습 길이, 그리고 기동 조합이 모델 성능에 미치는 영향을 평가합니다. 결과에 따르면, 적절한 계수 선택, 회귀 모델 또는 입력 데이터 변동성을 통해 다중공선성이 해결된다면 대각 지그재그 기동이 유체력 시스템 식별에 적합함을 보여줍니다. 더 큰 계수 집합은 가변 조건에 대한 모델 유연성을 높여주지만, 다중공선성에 더 취약합니다. 정규화 회귀 기법은 다중공선성을 효과적으로 완화하고 예측 정홅도를 현저히 향상시키는데, 더 다양한 기동 데이터를 포함하는 것 또한 동일한 효과를 보입니다. 테스트된 모델 중 릿지 회귀(Ridge regression)가 계산 효율성과 예측 정홅도 사이에서 최상의 절충안을 제공했습니다.
The Critical Role of Model Selection in Causal Inference: A Comparative Analysis of Classification Models within the InferBERT Framework for Pharmacovigilance
약물 부작용(ADE)의 인과관계와 허위 상관관계를 구별하는 것은 약물감시에서 핵심 과제로 남아 있다. InferBERT 프레임워크는 트랜스포머 모델과 Do-calculus를 통합하지만, 그 성공은 기반 분류 모델에 달려 있다. 본 연구는 InferBERT에서 모델 선택의 영향을 평가하며, 단순한 모델로 충분한지, 도메인 특화 사전학습이 도움이 되는지, 대규모 언어 모델(LLM)로의 스케일링이 인과 탐지를 개선하는지, 사후 보정(post-hoc calibration)의 효과는 어떠한지를 분석한다. 우리는 두 벤치마크, 즉 진통제 유발 급성 간부전(AILF)과 트라마돌 관련 사망(TRAM)에 대한 비교 연구를 수행하였다. XGBoost(기준선), ALBERT(원래 InferBERT), BioBERT(생의학 트랜스포머), Med-LLaMA(의료 LLM)의 네 가지 모델을 20회 반복 5-겹 교차 검증으로 평가하였다. 정확도, 등온 회귀(isotonic regression) 적용 전후의 기대 보정 오차(ECE), PRR·ROR·EBGM과의 인과 용어 Jaccard 일치도를 측정하였으며, 대응 t-검정으로 유의성을 검증하였다. BioBERT는 두 데이터셋 모두에서 가장 높은 정확도를 달성한 반면, Med-LLaMA는 크기와 매개변수 효율적 미세조정에도 불구하고 성능이 저조하였다. 도메인 특화 사전학습이 결정적인 요인이었다. 보정은 ECE를 개선하였으나 정확도와 인과 탐지에는 혼재된 효과를 나타냈다. BioBERT의 우수성은 전통적 약물감시 신호와의 가장 강한 일치도로도 이어졌다. 이러한 결과는 도메인 특화 사전학습이 단순한 기준선 및 대형 LLM에 비해 명확한 이점을 제공함을 보여준다. 관리 가능하고 도메인을 인식하는 모델에 투자하는 것이 모델 크기를 단순히 확장하는 것보다 전산 약물감시에 더 효과적이다.
대규모 언어 모델(LLM)에 다중 모달리티를 통합하는 것은 비텍스트 데이터에 대한 이해를 강화하여 다중 모달 작업을 수행할 수 있게 하는 강력한 방법입니다. 비전-언어 모델(VLM)은 의료, 로봇 공학, 접근성을 포함한 다양한 실용적인 사용 사례로 인해 다중 모달 모델 중 가장 빠르게 성장하는 카테고리를 형성합니다. 안타깝게도, 문헌상의 서로 다른 VLM들이 다양한 벤치마크에서 인상적인 시각적 능력을 보여주지만, 이들은 인간 전문가에 의해 수작업으로 제작되며, 작업 특화 다중 모달 모델을 생성하는 자동화된 프레임워크는 존재하지 않습니다. 우리는 수동 개입 없이 사용자 정의 작업에 대해 최적의 VLM을 효율적으로 찾아내는 자동화된 다중 모달 모델 탐색 프레임워크인 Mordal을 소개합니다. Mordal은 탐색 과정에서 고려해야 할 후보의 수를 줄이고 남은 각 후보를 평가하는 데 필요한 시간을 최소화함으로써 이를 달성합니다. 평가 결과, Mordal은 그리드 서치(grid search)보다 $8.9\times$--$11.6\times$ 더 적은 GPU 시간을 사용하여 주어진 문제에 대한 최적의 VLM을 찾을 수 있음을 보여줍니다. 또한 Mordal은 다양한 작업에서 최첨단 모델 선택 방법보다 평균 약 69\% 더 높은 가중 켄달의 타우(weighted Kendall's $\tau$)를 달성함을 발견했습니다.
기존 대규모 언어 모델(LLM) 평가의 불확실성을 해결하기 위해 요인 분석(FA)을 적용하여 성능 행렬이 낮은 순위(low-rank) 구조를 가짐을 입증하고, 소수의 잠재 요인이 모델의 핵심 능력을 설명함을 보여준다. 이를 기반으로 중복 작업 식별, 효율적인 모델 프로파일링, 원하는 스킬 프로필에 맞는 모델 선택을 위한 실용적인 도구를 제안한다.
제한된 테스트 샘플로 인한 벤치마킹(benchmarking)의 변동성 문제를 해결하기 위해 교차 검증(cross-validation)이 성능 추정의 신뢰도를 크게 높일 수 있음을 입증합니다. 샘플 게인(sample gain) 개념을 도입하여 다중 분할이 성능 추정의 안정성을 실질적으로 개선함을 보여주며, 효율적인 조기 중단 절차도 제안합니다.