부분 선형 모델 $Y = μ_0(X) + β_0 \cdot T + \varepsilon$ 및 $T = π_0(X) + u$를 구조 비의존(structure-agnostic) 설정에서 고려한다. 여기서 $μ_0$와 $π_0$의 구조는 알 수 없으며, 방해 요인(nuisance)들은 블랙박스 가설 클래스(black-box hypothesis class)로 추정한다. 해당 클래스의 학습 가능성(learnability)은 모델 오지정(model misspecification)이 없을 때의 추정 오차 $δ_s$와, $μ_0$ 및 $π_0$에 대한 각각의 $L_2$ 오지정 오차 $δ_{a, μ}$, $δ_{a, π}$로 특성화된다. 목표 선형 계수 $θ_0 = β_0$에 대한 새로운 추정량을 제안하며, 오차율은 \[ \frac{1}{\sqrt{n}} + δ_{a, μ} \cdot δ_{a, π} + [δ_s]^2. \] 대응하는 하한(lower bound)도 증명되어, 이 수렴률은 더 이상 개선할 수 없음을 의미한다. 이중 머신러닝(double machine learning, DML)이 산출하는 곱 형태의 수렴률과 비교하면, 우리의 추정량은 추가 비용이나 가정 없이 차선(suboptimal) 항 $\max(δ_{a, μ}, δ_{a, π})\cdot δ_s$를 제거한다. 기저 통찰에 기반하여—이는 단일 학습기(one-learner) 설정이나 부분 선형 모델에 국한되지 않는다—Transductive Adversarial Moment-calibrated Editing(TAME)을 제안한다. TAME는 추론(inference) 표본에서 블랙박스 회귀 추정치가 유도하는 편향 제거(debiasing) 가중치를 적대적 조건부 모멘트 보정(adversarial conditional moment calibration)을 통해 국소적으로 편집한다. TAME는 임의의 초기 블랙박스 추정치와 결합할 수 있으며, 방해 요인의 난이도가 불균형할 때 DML 보장을 엄밀히 개선할 수 있다. TAME가 도입한 이점을 완전히 활용하는 방법을 논의한다. 여기에는 두 학습기(two learners) 사용의 이득, 모델 선택을 위한 결과적 과소평활(under-smoothing) 원칙, 기타 선형 함수형 추정 문제로의 확장이 포함된다.
생성 모델은 다양한 응용 분야에서 놀라운 성공을 거두었지만, 평가는 여전히 원칙적인 불확실성 정량화(uncertainty quantification)가 부족하다. 본 논문에서는 서로 다른 생성 모델이 테스트 샘플의 기저 분포에 얼마나 가까운지를 비교하는 방법을 제안한다. 특히 본 접근법은 생성 모델과 알려지지 않은 테스트 분포 사이의 거리를 측정하기 위해 Kullback-Leibler(KL) 발산을 사용한다. KL은 RKHS 기반 거리에서 사용되는 커널과 같은 튜닝 매개변수가 필요 없으며, 불확실성 정량화를 가능하게 하는 중요한 소거(cancellation)를 허용하는 유일한 $f$-발산이이기 때문이다. 또한 본 방법을 조건부 생성 모델 비교로 확장하고, 데이터가 제한된 설정을 다루기 위해 Edgeworth 전개를 활용한다. 알려진 정답(ground truth)을 갖는 시뮬레이션 데이터셋에서 본 접근법이 효과적인 커버리지율(coverage rate)을 달성하고, 커널 기반 방법에 비해 더 높은 검정력(power)을 갖는다는 것을 보인다. 이미지 및 텍스트 데이터셋의 생성 모델에 적용했을 때, 본 절차는 벤치마크 지표와 일치하는 결론을 통계적 신뢰도와 함께 제공한다.
LLM에 대한 다수결 투표는 다양성으로부터 이득을 본다고 널리 가정되며, 다양성 측정치는 어떤 모델을 결합할지 선택하는 데 사용된다. 우리는 이러한 다섯 가지 측정치가 다양성을 추적하는지, 아니면 주로 역량을 재표현하는지를 묻고, 명시적 역량 통제 하에서 MMLU-Pro에서 30개 LLM의 31,900개 부분집합(TruthfulQA에서는 29개)에 걸쳐 최고 성능 멤버 대비 다수결 투표 이득의 예측변수로서 이를 감사한다. 세 가지 발견이 도출된다. 첫째, 잠재적 상보성(latent complementarity)은 어디에나 존재한다. 오라클 이득은 모든 부분집합에서 양수이지만, 단순 투표는 전체 표준 크기-3 부분집합의 9.98%에서만(홀드아웃 최고 선택 시 18.71%) 최강 멤버를 이기며, 크기 2–4를 통합한 비율은 1.27%로, 이는 부분적으로 결정론적 짝수 크기 투표 행동을 반영한다. 둘째, 공동 정확도 프록시(strict diversity)는 평균 정확도를 1에서 뺀 값과 거의 공선(collinear)이다(크기-3 Spearman rho = +0.991 / +0.988). 원(raw) 다양성–이득 연관은 역량과 강하게 얽혀 있으며, 한 가지 예외를 제외하고 통제 하에서 불안정하다. 셋째, 세 가지 선형 분할표(contingency-table) 통계량은 대수적으로 분리 불가능(non-separable)하다. 역량 통제 후 경험적으로 안정적인 잔여는, 더 많은 공유 오류가 더 낮은 이득에 대응하는 완만한 잔차 쌍별 공동 실패(co-failure) 연관이다. 이 방향은 견고하지만 그 크기는 구성에 따라 달라진다. strict diversity, disagreement, double-fault를 독립 예측변수로 취급하는 공동 원(raw)공간 선형 회귀는 구조적으로 계수(rank) 부족(rank-deficient)이다.
기업용 라우터는 쿼리를 전문 에이전트에게 할당하지만, 배포된 프로파일은 정적인 반면 에이전트는(프롬프트, 도구, 모델 등) 진화하고, 개발자들은 설명이나 예시(exemplars)를 최신 상태로 유지하는 경우가 드뭅니다. 우리는 FlyRoute를 제안한다. 이는 실제 트래픽으로부터 역량 증거를 축적하는 자기 진화형 프로파일링 프레임워크로, 후보를 디스패치하고, 성공한 쌍을 품질 게이트를 거쳐 각 에이전트의 성공 저장소에 넣으며, 주기적으로 증거를 학습된 역량 설명으로 증류(distill)하고, 해당 설명과 BM25로 검색한 성공 사례를 LLM 라우터에 주입한다.
이 플라이휠을 데이터 효율적으로 만들기 위해 FlyRoute는 프로파일 불확실성, BM25 관련성, 어휘적 신규성을 결합한 목표 지향 탐험 정책을 도입한다. 이는 타당한(plausible) 쿼리에 대해서만 프로파일이 부족한 에이전트를 우선시하고 중복된 증거 수집을 피한다.
실제 라우팅된 쿼리로 구성된 독점 기업 개발자 지원 데이터셋에서의 실험에서, FlyRoute는 동일 백본(backbone) 제로샷(zero-shot) LLM 라우터의 정확도를 에이전트당 시드 쿼리 5개만으로 72.57%에서 78.04%로 향상시켰으며, 이는 프로파일 검색만으로도 콜드 스타트(cold-start) 라우팅을 강화할 수 있음을 보여준다. 플라이휠에 라벨이 붙은 학습 쿼리 7,211개를 스트리밍한 후 정확도는 89.83%까지 상승한다(제로샷 대비 +17.26pp; 콜드 스타트 대비 +11.79pp). 단일 정답(single-gold) 테스트 쿼리에 대한 표준 라우팅 정확도 기준으로 네 개의 전문 도메인에서 일관된 향상을 보인다.
대규모 기초 모델을 기반으로 구축된 인공지능은 언어 이해, 컴퓨터 비전(CV), 추론을 변화시켰지만, 이러한 시스템은 여전히 고립되어 있으며 각자의 역량을 쉽게 공유할 수 없다. 신뢰할 수 있는 지능 시스템을 위해서는 독립적으로 개발된 블랙박스 기초 모델들의 상보적 강점을 조율하는 것이 필수적이지만, 확립된 방법은 존재하지 않는다. 여기서 우리는 이러한 조율이 StackingNet이라 불리는 메타-앙상블(meta-ensemble) 프레임워크를 통해 달성될 수 있음을 보인다. StackingNet은 추론 시 독립 모델들의 출력 예측을 집계한다. StackingNet은 정확도를 향상시키고, 개별 모델 오류와 그룹별 격차를 줄이며, 모델 신뢰도를 순위화하고, 성능을 저하시키는 모델을 식별하거나 제거한다. 이 모든 것은 내부 파라미터나 학습 데이터에 접근하지 않고 이루어진다. 언어 이해, 시각 속성 추정, 학술 논문 평가에 걸쳐, StackingNet은 개별 모델과 고전적 앙상블을 일관되게 능가하며, 기초 모델들이 균일하게 강할 때에도 이러한 이득이 지속된다. 이러한 이득은 창발적(emergent) 집단 인지가 아니라 독립 모델 간 분산 감소와 합의 정렬(consensus alignment)에서 비롯되며, 모델 풀이 더 다양해질수록 그 폭이 넓어진다. 모델 다양성을 불일치의 원천에서 협력의 자원으로 전환함으로써, StackingNet은 조율된 인공지능을 향한 실용적 경로를 제공한다. 여기서 진보는 더 큰 단일 모델뿐만 아니라 많은 전문화된 모델들 간의 원칙적 협력에서도 창발한다.
경험적 파이프라인에서 초기 고재현율 단계는 어떤 항목이 이후의 검토, 라벨링, 모델링 단계로 넘어갈지를 결정하며, 이 단계에서 놓친 관련 항목은 이후 모든 단계에서 손실된다. 우리는 유한 표본 유효성 하에서 이 놓친 관련 질량이 작다는 것을 인증하기 위해 필요한 감사 라벨 수를 연구하며, 주요 결과는 이 문제의 라벨 복잡도를 특성화한다. 우리는 먼저 후보 집합 내부의 라벨만을 사용하는 어떤 절차도 놓친 질량에 대한 비자명한 상한을 인증할 수 없음을 보인다. 감사는 미회수 관련 항목이 존재할 수 있는 유일한 영역인 제외 풀(excluded pool)을 샘플링해야 한다. 그다음 매칭되는 유한 코퍼스 하한을 증명한다. 관련 항목이 하나도 없을 때 $m$개 미만의 놓친 관련 항목을 높은 확률로 인증하는 임의의 유효한 감사는, 적응적이고 포함 풀(included pool) 전체에 라벨을 부여할 수 있더라도, 제외 풀 라벨의 $N_0/m$ 차(order)만큼을 검사해야 한다. 따라서 제외 풀 감사는 제로 누락(zero-miss) 체계에서 놓친 질량 인증에 있어 단순히 편리한 것이 아니라 minimax rate-optimal하다. 이 특성화를 바탕으로, 우리는 점근 근사 대신 이항 및 초기하(hypergeometric) 역변환을 사용하는 정확한 유한 표본 도구 키트를 개발한다. 이는 놓친 질량을 인증하고, 이중 풀(two-pool) 설계를 통해 재현율로 변환하며, 사전 지정된 중첩 후보 생성기(nested candidate generator) 패밀리를 동시에 인증하고, 선언된 교란 메커니즘에 대한 스트레스 테스트 인증서를 생성한다. 이러한 인증서는 관측 가능한 검토 부담과 결합하여 놓친 질량 목표를 충족하는 사전 지정 후보 생성기 중 부담이 가장 적은 것을 선택하는 데 사용할 수 있다. 모든 보장은 하나의 규율 하에서 성립한다. 후보 생성기, 또는 그로부터 선택되는 사전 지정 패밀리, 그리고 감사 규칙은 인증 라벨을 조사하기 전에 고정된다.
BoN은 여러 후보를 샘플링하고 프록시 점수로 하나를 선택하여 모델 출력을 개선하지만, 완전한 후보를 신뢰할 수 있게 평가할 수 있다고 가정합니다. 많은 비전-언어 태스크는 대신 부분 검증만 제공합니다. 신뢰할 수 있는 전체 응답 검증기가 없더라도 소견(finding), 스팬(span), 값(value), 영역(region), 또는 관계(relation)는 검증 가능할 수 있습니다. 또한 동일한 주장이 상반된 입장을 가진 후보들 사이에서 반복될 수 있어, 하나의 관측이 풀의 일부를 뒷받침하면서 다른 후보와 모순될 수 있습니다. 우리는 BoN 후보 풀을 고정한 채 재사용 가능한 주장을 부호가 있는 후보-요인 그래프(signed candidate--factor graph)로 표현하고, 최종 선택을 바꿀 수 있는 증거 행동(evidence actions)에 제한된 예산을 배분하는 추론 시점 선택 프레임워크인 Best-of-Evidence(BoE)를 제안합니다. BoE는 부분 검증 하에서의 선택을 형식화하고 실용적인 점수 기반 컨트롤러를 제공하며, 예산이 0인 경우 기본 BoN 결정을 복원합니다. 이론적으로, 잔여 증거 용량(residual evidence capacity)이 증거 기반 개선의 한계를 제한함을 보이고, 공유 요인 쿼리(shared factor queries)가 요인-코드(factor-code) 모델에서 Θ(K) 대비 O(log K)의 쿼리 분리(query separation)를 달성할 수 있음을 보입니다. 네 가지 의료 VQA 설정에서의 Common-ledger 실험은 증거가 신뢰할 수 있고 대조적이며 결정에 관련될 때 BoE가 고정 풀 선택을 개선하고 일부 BoN 실패를 구제할 수 있음을 보여 주며, 동시에 보편적 이득을 막는 채널 품질(channel-quality)과 후보 생성(candidate-generation) 한계를 드러냅니다.
시공간 머신러닝 모델링은 환경 연구에서 중요한 도구이다. 그러나 머신러닝 모델은 분포와 같은 학습 데이터의 특성뿐만 아니라 교차 검증(cross-validation) 전략을 포함한 방법론적 선택에도 매우 민감하다. 각 결정은 모델 자체는 물론 특정 목적에 대한 모델 품질과 적용 가능성의 추정에도 영향과 함의를 갖는다. 과학에서 머신러닝 기반 환경 지도가 차지하는 큰 역할과 이를 실무로 이전하는 점을 고려할 때, 이상적으로는 표준화된 모델 프로토콜을 사용한 시공간 모델의 투명한 보고는 신뢰, 투명성, 비교 가능성을 확보하는 데 필수적이다. 그러나 시공간 모델링을 위한 그러한 프로토콜은 현재 부족하다. 우리는 STeMP(Spatio-Temporal Modelling Protocol, 시공간 모델링 프로토콜)를 제안하여 이 공백을 메우고자 한다. STeMP는 모델 작동 방식을 이해하기 위한 표준화된 보고와, 중요한 결정과 매개변수를 지적함으로써 모델링 과정 중 가이드를 제공하는 두 가지 목적을 수행한다. 이 프로토콜은 개요(Overview), 모델(Model), 예측(Prediction)의 세 섹션으로 구성된다. 개요 섹션에는 메타데이터가 포함되며, 모델 및 예측 섹션은 예측 변수, 평가, 소프트웨어, 그리고 모델링 워크플로의 기타 관련 요소를 상세히 기술한다. 프로토콜 정의는 GitHub에 호스팅되어 있으며 R 패키지(https://github.com/LOEK-RS/STeMP)와 함께 제공된다. R 패키지에는 웹 애플리케이션이 포함되어 있으며, 이를 통해 프로토콜을 수동으로 또는 제공된 모델링 객체로부터 반자동 방식으로 작성할 수 있다. 일반적인 함정이 발견되면 프로토콜에서 경고가 반환되며, 이는 저자에게 모델링 과정의 가이드로 도움이 될 뿐만 아니라 검토자가 모델링 연구를 평가하는 데에도 지원할 수 있다. GitHub를 통해 커뮤니티의 기여와 피드백 수용을 장려한다.
대규모 언어 모델(LLM) 앙상블은 여러 LLM의 예측을 결합하여 신뢰성을 향상시키는 데 점점 더 많이 사용되고 있다. 그러나 기존 집계 방법은 일반적으로 모든 모델이 동일하게 신뢰할 수 있다고 가정하여 불확실성 품질의 차이를 간과한다. 이러한 가정은 신뢰성과 역량이 크게 달라지는 이질적 LLM에 잘 맞지 않으며, 순진한 집계는 신뢰할 수 없거나 적대적인 전문가(expert)에 취약해진다.
본 연구에서는 다중 LLM 집계를 불확실성 인식 신뢰 추정 문제로 공식화한다. 우리는 의사결정 이론의 구조화된 전문가 판단(structured expert judgment)을 적용하여, 맥락 인식 보정 질문을 사용해 확률적 예측의 품질에 기반하여 전문가 신뢰성을 추정한다. 구체적으로, 과신하는 잘못된 예측에 페널티를 부과하고 잘 보정된 전문가를 선호하는 Cooke 방식 로그 가중치(Cooke-style log weighting)를 사용한다.
MMLU와 MMLU-Pro에서 동질적, 이질적, 오염된 전문가 패널에 걸쳐 우리 접근법을 평가한다. 결과에 따르면 집계 방법들은 동질적 설정에서 유사하게 수행되지만, Cooke 가중치는 이질성과 오염 하에서 핵심적이 된다. 이는 우수한 정확도-신뢰성 균형을 달성하며, 신뢰할 수 없는 전문가가 도입되었을 때에도 견고함을 유지한다. 이러한 발견은 다중 LLM 집계가 단순히 예측을 결합하는 것이 아니라, 불확실성 하에서 신뢰를 보정하는 것을 요구함을 시사한다.
글로벌 동영상 플랫폼용 추천 모델과 같은 대규모 머신러닝 시스템을 최적화하려면 방대한 하이퍼파라미터 탐색 공간을 헤집어야 하며, 더 중요하게는 미묘한 사용자 행동을 포착하기 위해 정교한 최적화기, 아키텍처, 보상 함수를 설계해야 한다. 이러한 영역에서 실질적인 개선을 달성하는 것은 사소한 과제가 아니며, 전통적으로 새로운 가설을 검증하기 위해 광범위한 수동 반복에 의존해 왔다. Google의 Gemini 계열을 포함한 대규모 언어 모델(LLM)을 활용하여 엔드투엔드 자동화 워크플로우 내에서 고성능의 복잡한 모델 변경 사항을 자율적으로 생성, 학습, 배포하는 자기 진화 시스템을 제안한다. 자기 진화 시스템은 프록시 지표를 사용해 고처리량 가설 생성을 수행하는 오프라인 에이전트(내부 루프)와, 실제 프로덕션 환경에서 지연된 북극성(north star) 비즈니스 지표에 대해 후보를 검증하는 온라인 에이전트(외부 루프)로 구성된다. 우리의 에이전트는 전문 머신러닝 엔지니어(MLE)처럼 동작한다: 깊은 추론 능력을 보이며, 최적화 알고리즘과 모델 아키텍처에서 새로운 개선점을 발견하고, 장기적인 사용자 참여를 목표로 하는 혁신적인 보상 함수를 수립한다. 이 접근법의 효과는 YouTube에서의 여러 성공적인 프로덕션 런칭을 통해 입증되었으며, 자율적이고 LLM 기반 진화가 개발 속도와 모델 성능 모두에서 전통적인 엔지니어링 워크플로우를 능가할 수 있음을 확인했다.
경량 대규모 언어 모델(LLM)은 점점 더 개인용 컴퓨터에 로컬로 배포되고 있으며, 자원이 제한된 엣지 및 모바일 환경에서 점점 더 중요한 역할을 할 것으로 예상된다. 이러한 환경에서는 에너지 소비, 실행 시간, 메모리 사용량이 실용적 사용성에 직접적인 영향을 미치지만, LLM 효율성에 대한 기존 평가는 대체로 매개변수 수나 FLOPs와 같은 대리 지표에 의존하며, 종종 작업 정밀도와 분리되어 있다. 본 논문은 경량 LLM 추론에 대한 정밀도 인식 프로파일링을 위한 PTME 기반 실험 프레임워크를 제안하며, 하드웨어 수준의 직접 측정을 통해 정밀도(Precision), 실행 시간(Time), 최대 메모리 사용량(Memory), 에너지 소비(Energy)를 공동으로 측정한다. 이 방법론은 제어된 데스크톱 플랫폼에서 엣지 수준의 자원 한계 하에 로컬로 실행된 대표적인 경량 LLM 집합에 적용되며, 코드 생성, 수학적 추론, 다과제 이해를 아우르는 벤치마크를 사용한다. 우리는 정적 대리 지표가 추론 비용을 잘 근사하지만 정밀도를 예측하지 못한다는 것을 발견한다. 자원 한계를 강화하면 정밀도에 영향을 주지 않으면서 비용이 증가하며, 에너지보다 실행 시간을 더 강하게 증폭시키고 더 큰 모델에 가장 큰 불이익을 준다. 게다가 어떤 단일 모델도 모든 PTME 차원에서 우위를 차지하지 않으며, 파레토 분석은 정확도만 또는 효율성만으로 평가할 경우 숨겨질 비지배(non-dominated) 구성을 드러내어, 서로 다른 자원 한계 하에서 모델을 선택하는 데 실용적인 지침을 제공한다. 이러한 결과는 크기, FLOPs, 지연 시간, 또는 정확도만으로 경량 LLM을 선택하면 잘못된 배포 후보를 고를 수 있음을 보여준다. PTME 프로파일링은 더 낮은 물리적 비용으로 유용한 정확도를 유지하는 구성을 드러낸다.
동일하지 않은 변수 집합 위에 정의된 두 확률 그래프 모델(probabilistic graphical model) 간의 원칙적인 비교를 가능하게 하려면, 이들을 공통의 가측 공간(measurable space)으로 끌어올려야 한다. 이를 위해 임의의 두 주어진 모델에 대한 확장 체계를 제안하고 형식적 기반을 확립한다: 맞지 않는 구성 요소는 조건부 균등(Laplace) 확장을 사용하여 보완하여, 결과적인 결합 분포가 원래 분포와 곱셈 상수(multiplicative constants)만큼만 다르고 투영(projection) 하에서 일치하도록 한다. 이는 확률적 의미(probabilistic semantics)를 보존하면서 잘 정의된 분포 불일치(distributional discrepancy) 측도를 적용할 수 있게 한다. 본 논문은 투영 하에서 유도된 결합 분포의 불변성을 확립하고, 확장을 이용하여 두 인수 그래프(factor graph)를 최소 구조적 확장으로 가장 작은 공통 가측 공간 및 공통 그래프 구조로 확장하는 결정적 알고리즘을 제공한다. 또한 구조적·측도론적(measure-theoretic) 성질을 논의하고 비교 방법론을 위한 유망한 기준을 식별한다.
로컬-클라우드 협업은 자원 제약 하에서 대규모 언어 모델(LLM)을 배포하는 실용적인 방법이지만, 기존 방법들은 종종 학습된 라우터나 협업 인식 파인튜닝에 의존하여 라우팅 동작을 특정 운영 구간에 묶는다. 본 연구에서는 그러한 학습이 불필요할 수 있음을 보인다. 로컬 모델 자체의 추론 시 샘플링된 응답들 간 일치도는 이미 로컬 실행을 신뢰할 시점과 더 강력한 클라우드 모델로 오프로딩할 시점을 결정하는 강력한 신호를 제공한다. 우리는 CARGO라는 학습 없는 라우팅 프레임워크를 제안하며, 프롬프트 변형 샘플링을 통해 이 일치도를 추정하고, 샘플 효율적인 불확실성 제어를 위해 베이지안 조기 종료를 적용하며, 경량의 배포 시점 보정을 통해 임의의 목표 협업 비율을 지원한다. 다양한 추론 및 질의응답 과제, 여러 로컬 LLM 계열과 규모, 사전학습 및 파인튜닝된 로컬 모델 전반에 걸쳐 CARGO는 다른 학습 없는 베이스라인을 일관되게 능가하며, 여러 설정에서 지도 학습된 라우터를 넘어선다. 이러한 결과는 효과적이고 적응 가능한 로컬-클라우드 협업이 추가로 학습된 라우터 없이도 로컬 모델의 고유한 응답 행동에서 직접 창발할 수 있음을 시사한다.
대규모 언어 모델(LLM)의 과제별 능력을 향상시키려면 주로 대규모 지시 미세조정 데이터셋이 필요하다. 그러나 이러한 데이터의 방대한 규모는 상당한 주석 비용을 수반하며, LLM을 특정 과제에 맞게 조정하기 위한 최적화 방법이 부족하다. 위 문제들을 해결하기 위해, 데이터 분해, 지시 미세조정, 프롬프트 추론을 포함하는 \textbf{E}xtractive 기반 LLM 구축을 위한 \textbf{Plan}ning 프레임워크인 \textbf{PlanE}를 제안한다. 또한 특정 데이터셋에 대해 최적의 base-LLM과 그 DTI 조합을 선택하여 구축 효율을 개선하는 Data-Tuning-Inference(DTI) 플래너를 도입한다. 실험 결과는 두 가지 관점에서 PlanE의 효과를 보여준다: (1) 동일한 base-LLM을 사용할 때 서로 다른 데이터셋에서, (2) 동일한 데이터셋에서 서로 다른 base-LLM을 사용할 때. 또한 서로 다른 최적화 목표 하에서 제안한 DTI 플래너의 일반화 가능성을 검증한다. 코드는 https://github.com/gugugu-469/PlanE 에서 공개되어 있다.
Sentinel-2 영상은 개방형 접근, 전 지구적 커버리지, 잦은 재방문 주기를 제공하여 대규모 실용 건물 매핑에 매력적이지만, 기본 10m 해상도는 건물 대 비건물 분류를 어렵게 하며, 특히 소형 또는 서브픽셀(sub-pixel) 건물에서 더욱 그렇고, 성능은 계절성과 건축 환경의 이질성 모두에 따라 달라질 수 있다. 본 논문은 이러한 효과를 체계적으로 정량화하고 보다 공식화되고 실무 지향적인 모델 선택을 지원하도록 설계된 Sentinel-2 건물 탐지 프레임워크를 제안한다. 우리는 바르샤바 지역에 걸친 전용 다중 시점 Sentinel-2 데이터셋을 구축하고, 공식 폴란드 지형 데이터베이스(BDOT10k)의 건물 경계(footprint)를 Sentinel-2 픽셀 격자에 래스터화하여 이진 정답(ground-truth) 마스크를 생성한다. 두 가지 확립된 컨볼루션 분할(segmentation) 백본(U-Net 및 DeepLabV3+)을 사용하여, 먼저 장면별 미세조정을 수행해 견고한 아키텍처를 선택하고 L1C와 L2A 제품 각각에 대해 최적의 월별 모델을 식별한다. 그다음 각 최적 월별 모델을 모든 장면에 적용하는 교차 시점 추론을 수행하여 (i) 어떤 월이 유리한 학습 및 추론 조건을 제공하는지, (ii) 성능이 계절 간에 어떻게 전이되는지, (iii) 처리 수준(processing level)의 영향, (iv) 이러한 효과가 건축 지역 유형에 따라 어떻게 달라지는지를 평가할 수 있게 한다. 이러한 결과를 바탕으로 다양한 촬영 시기와 정착지(settlement) 특성 하에서 일상적인 Sentinel-2 건물 분류를 위한 실용적 가이드라인을 제공한다.
대규모 언어 모델(LLM)은 강력한 추론 능력과 방대한 세계 지식으로 인해 최근 추천 시스템에서 주목받고 있지만, 기존 LLM 기반 에이전트는 환각과 컨텍스트 길이 제한에 시달려 전체 순위(full-ranking) 추천 작업에 적합하지 않다. LLM 자체를 수정하기보다 아키텍처 설계를 통해 이러한 한계를 우회하기 위해, LLM이 여러 추천 모델을 도구로 상호작용하는 중앙 계획자 역할을 하는 메모리 기반 Personalized Recommendation Tool learning via autonomous language Agents(PRTA) 에이전트 기반 추천 프레임워크를 제안한다. LLM 기반 에이전트는 고수준 추론과 개인화된 도구 선택을 담당하고, 전통적인 추천 모델은 행동 패턴 모델링에서의 확장성을 활용하여 전체 순위 점수 산출을 수행한다. 개인화된 도구 선택을 지원하기 위해, 사용자 프로필과 후보 순위 목록을 기반으로 각 사용자에 대해 도구를 평가하고 비교할 수 있도록 에이전트에 반성(reflection) 메커니즘을 설계한다. 세 개의 공개 데이터셋에 걸친 광범위한 실험은 전체 순위 추천 성능 향상에서 PRTA가 전통적인 추천 및 LLM 기반 베이스라인 대비 우수함을 보여준다.
클라우드, 엣지, 기업 환경 전반에 걸친 머신러닝 시스템의 급속한 배포는 모델 최적화를 시스템 엔지니어링의 핵심 과제로 부각시켰다. 양자화, 가지치기, 지식 증류, 매개변수 효율적 미세조정(PEFT), 추론 시간 최적화에 이르는 풍부한 문헌에도 불구하고, 실무자들은 원칙적인 방법론보다는 휴리스틱을 통해 이러한 기법들을 탐색하는 경우가 많다. 우리는 최적화를 제약 기반 다목적 엔지니어링 의사결정으로 공식화해야 한다고 주장하며, 데이터 가용성, 지연 시간 예산, 메모리 예산, 정확도 허용치, 재학습 예산의 다섯 가지 상호작용하는 제약 차원을 따라 모든 프로덕션 배포를 특성화하는 통합 프레임워크를 제안한다. 이 분류 체계를 바탕으로, 연구 문헌 전반에 보고된 실증적 이득을 종합하고 이를 알고리즘 범주가 아닌 운영상 제약에 매핑한다. 실용적 관련성을 확보하기 위해, 우리는 최근 문헌을 검토하여 핵심 배포 병목에 대한 측정 가능한 개선을 보고하는 방법들을 선별했다. 우리는 규범적 의사결정 프레임워크를 제안하고, 실무에서 이를 설명하기 위해 네 가지 대표적인 산업 시나리오에 대한 최적화 파이프라인을 제공한다. 우리가 아는 한, 본 연구는 연구 문헌의 정량적 증거를 종합하여 모델 최적화를 제약 인식 다목적 엔지니어링 프로세스로 공식화하려는 최초의 구조화된 시도 중 하나를 제공한다.
기업 NLP에서 사용자 신뢰를 위해 견고한 설명이 점점 더 요구되고 있지만, 표현 기반 설명기가 불가능한 블랙박스 배포(API 전용 접근)라는 일반적인 경우에는 사전 배포 검증이 어렵고, 기존 연구는 설명이 실제 사용자 노이즈 하에서 안정적으로 유지되는지에 대해 제한적인 지침만 제공하며, 특히 조직이 인코더 분류기에서 디코더 LLM으로 전환할 때 그렇다. 이 간극을 메우기 위해, 우리는 leave-one-out occlusion 기반의 토큰 수준 설명을 위한 통합 블랙박스 견고성 평가 프레임워크를 제안하고, 여러 심각도 수준에서의 현실적인 교란(교환, 삭제, 셔플, 역번역) 하에서 상위 토큰 flip rate로 설명 견고성을 구체화한다. 이 프로토콜을 사용하여, 세 개의 벤치마크 데이터셋과 인코더 및 디코더 계열에 걸친 여섯 개 모델(BERT, RoBERTa, Qwen 7B/14B, Llama 8B/70B; 64,800건)에 대해 체계적인 교차 아키텍처 비교를 수행한다. 우리는 디코더 LLM이 인코더 베이스라인보다 상당히 더 안정적인 설명을 생성함을(평균 73% 낮은 flip rate) 발견했으며, 안정성이 모델 스케일에 따라 향상됨을(7B에서 70B로 44% 향상) 발견한다. 마지막으로, 견고성 향상을 추론 비용과 연관 지으며, 규정 준수가 중요한 애플리케이션에서 배포 전 모델 및 설명 선택을 지원하는 실용적인 비용-견고성 트레이드오프 곡선을 도출한다.
비대칭 무작위 행렬을 군집화하는 혼합 모형은 차원 축소를 수행하지 않을 경우 과매개변수화 문제를 자주 겪을 수 있다. 쌍선형 요인 분석기를 사용하더라도, 군집 간 매개변수에 제약을 가함으로써 추가적인 매개변수 축소를 달성할 수 있다. 본 원고에서는 비대칭 행렬 변량 쌍선형 요인 분석기 혼합 모형에 대한 256개 모형으로 구성된 절약적 모형군을 제안하며, 특히 skew-t 분포의 경우를 다룬다. 매개변수 추정을 위한 AECM 알고리즘이 상세히 논의된다. 또한 광범위한 시뮬레이션이 수행되었으며, 본 방법은 MNIST 데이터셋과 Olivetti faces 데이터셋에 적용된다.
특징 선택(FS)은 바이오마커 발견 및 임상 예측 모델링에 필수적이다. 지난 수십 년간 FS에 대한 방법론적 문헌은 풍부하고 성숙해져, 다양한 알고리즘적 접근법의 스펙트럼을 제공하고 있다. 그러나 이러한 방법론적 진보의 많은 부분이 응용 생의학 연구로 완전히 이전되지 못했다. 또한 고차원 특징 공간, 적은 표본 크기, 다중공선성, 결측값 등 생의학 데이터에 내재된 과제들로 인해 FS는 사소하지 않다. 방법론 개발과 실제 적용 사이의 이러한 격차를 해소하기 위해, 우리는 ROOFS(RObust biOmarker Feature Selection)를 제안한다. 이는 https://gitlab.inria.fr/compo/roofs 에서 이용 가능한 Python 패키지로, 연구자들이 문제에 맞는 FS 방법을 선택하는 데 도움을 주도록 설계되었다. ROOFS는 사용자 데이터에서 여러 FS 방법을 벤치마킹하고, 낙관주의 보정(optimism correction)을 사용하여 추정한 하류 예측 성능, 안정성, 개별 특징의 강건성, 시뮬레이션된 결과를 갖춘 반합성(semi-synthetic) 데이터에서 평가한 참양성(true positive) 및 위양성(false positive)률을 포함한 포괄적인 평가 지표 세트를 요약하는 보고서를 생성한다. 우리는 폐암에서 anti-PD-(L)1 면역치료에 대한 내성의 예측인자를 식별하는 것을 목표로 하는 PIONeeR 임상시험 데이터에서 ROOFS의 유용성을 보여준다. ROOFS에 수집된 34개 FS 방법 중 23개를 11개 분류기와 조합하여(253개 모델) 평가하였고, t-test와 로지스틱 회귀에서 얻은 Benjamini-Hochberg false discovery rate 조정 p-value의 합집합을 기반으로 한 필터를 최적 접근법으로 식별하였으며, 널리 사용되는 LASSO를 포함한 다른 방법들을 능가하였다. 우리는 ROOFS를 활용한 포괄적인 벤치마킹이 FS 발견의 재현성을 향상시키고 임상 모델의 전환(translational) 가치를 높일 잠재력이 있다고 결론짓는다.