인간은 점점 더 AI 보조를 받아 의사결정을 내리고 있다. 예를 들어 의사들은 AI가 추천한 진단 검사를 따르고 그 결과를 바탕으로 진단을 내릴 수 있다. 서로 다른 특징(예: 검사 결과)이 상관되어 있을 때 단기적 의사결정 품질과 장기적 인간 학습을 균형 있게 하기 위해 AI가 어떤 검사를 추천해야 하는지가 자연스러운 질문이다. 선행 연구는 특징이 독립적일 때 동일한 검사를 반복적으로 추천하는 정상 정책이 최적임을 보였지만, 우리는 특징 상관이 이러한 정책의 성능을 임의로 나쁘게 만든다는 것을 증명한다. 대신, 우리는 모든 최적 정책이 탐험-후-확정(explore-then-commit) 구조를 따라야 함을 증명한다. 초기에는 AI가 다양한 검사를 제공하여 인간이 정확한 특징 계수를 학습할 수 있게 해야 하며, 그다음 AI는 단일 검사 세트에 확정(commit)해야 하고, 탐험 길이는 특징 상관 정도에 따라 달라진다. 우리는 최적 정책 계산이 NP-hard임을 증명하고, 유한 시계에 대해 최적 정책을 찾는 동적 프로그래밍 기반 알고리즘을 도출한다. 또한 더 짧은 시계에 대해 계획하고 정상 접미를 덧붙이는 근사법을 개발하여 준최적 성능을 달성한다. 실험 결과는 더 강한 특징 상관이 더 긴 탐험 단계로 이어진다는 것을 보여줌으로써 이론을 보완한다.
라벨링 예산이 제한된 경우 전체 데이터셋으로 의료 이미지 분류기를 학습하는 것은 낭비적이다. 모든 샘플이 동등하게 기여하지 않지만, 전문가 라벨을 확보하는 것은 비용이 많이 든다. 액티브 학습(active learning)은 반복적 질의를 통해 라벨링 비용을 줄이지만, 오라클에 대한 반복적 접근을 가정하며 여러 라운드의 모델 학습이 필요하다. facility location과 같은 원샷 기하학 기반 방법은 재학습은 피하지만, 데이터 매니폴드의 국소 구조를 무시하는 쌍별 거리 위에서 동작한다. 우리는 완전히 고정된 파운데이션 모델 임베딩 위에서만 동작하는 그래프 기반 원샷 선택 방법을 제안한다. 사전학습된 인코더의 임베딩이 주어지면, 모든 학습 샘플에 대해 k-근접 이웃 그래프를 구성하고, 열 확산 커널로부터 2항 커버리지 커널을 도출하여 직접 이웃 관계와 2-hop 이웃 관계를 모두 포착한다. 이 커널에 대한 탐욕적 facility location을 통해 데이터 매니폴드의 커버리지를 최대화하는 클래스 균형 부분집합을 선택한다. 2항 커널은 선택 동작에서 전체 스펙트럴 열 커널과 일치하면서, 단일 하이퍼파라미터를 사용한 희소 행렬 연산으로 계산을 줄인다. 조직병리학, 방사선학, 현미경을 아우르는 5개 MedMNIST 데이터셋에서 평가하고, 학습 역학 기반 및 기하학 기반 베이스라인과 비교한다. 우리 방법은 10가지 데이터셋-비율 조건 중 9개에서 가장 높은 균형 정확도를 달성했으며, 전역 그래프 구성이 클래스별 방법이 놓치는 클래스 간 구조를 포착하는 클래스 불균형 데이터셋에서 가장 큰 이득을 보였고, 선택 과정에서 어떠한 모델 학습도 수행하지 않았다. 코드는 https://github.com/zahiriddin-rustamov/graph-coverage-selection 에서 이용 가능하다.
교정(proofreading)—3D 뇌 재구성에서의 분할(segmentation) 오류 수정—은 시냅스 해상도 커넥톰학(connectomics)의 속도 제한 단계(rate-limiting step)이다. 우리는 ConnectomeBench2를 공개한다. 이는 716,485건 이상의 전문가 라벨링된 교정 결정과 4개의 주요 공개 커넥톰(쥐, 인간, 제브라피시, 파리)에 걸친 450만 건 이상의 관련 이미지를 포함하는 통합 다종(multi-species) 데이터셋으로, 분할(split) 및 병합(merge) 오류 수정을 모두 포괄한다. 이 데이터셋으로 학습된 단일 Vision Transformer는 메시(mesh) 기하학과 전자현미경(electron microscopy)용 공유 인코더를 갖추고, 분할 오류 수정과 병합 오류 식별에서 종(species) 간 인간 수준의 정확도에 도달하며, 성능은 데이터 크기와 모달리티에 따라 스케일링(scaling)된다. 정확도를 넘어, 모델이 분포 내(in-distribution)에서 잘 보정(calibrated)되어 있음을 보이고, 분포 거리 측정이 보지 못한(unseen) 데이터에서 보정과 정확도가 저하될 위치를 예측함을 보이며, 커넥톰학 특화 사전학습(pre-training)과 능동 학습(active learning) 기반 샘플 선택이 새로운 종과 뇌 영역으로 확장하는 데 필요한 라벨링 노력을 실질적으로 줄일 잠재력을 보임을 보인다. 이 벤치마크는 커넥톰 교정을 위한 점점 더 강력한 비전 모델을 학습하고 평가할 인프라를 제공한다.
데이터 및 코드 공개. ConnectomeBench2 데이터셋은 https://huggingface.co/datasets/jeffbbrown2/ConnectomeBench2 Hugging Face에서 공개된다. 동반 코드베이스는 https://github.com/timfarkas/ConnectomeBench2 GitHub에서 이용 가능하다.
본 논문에서는 구조 신뢰성 분석(structural reliability analysis) 내 파괴 확률 추정을 위해 능동형 크리깅 몬테카를로 시뮬레이션(Active Kriging Monte Carlo simulation)과 컨포멀 예측(conformal prediction)을 결합한 새로운 능동형 학습(active-learning) 프레임워크를 소개합니다. 제안된 방법은 J+GP 컨포멀 추정기를 활용하여 소표본 설정(small-sample settings)과 크리깅 대리 모델(kriging surrogate models)에 맞춰 특별히 설계된 적응형 교차 컨포멀(adaptive cross-conformal) 전략을 채택합니다. 기존 표준 AK-MCS 방법들과 달리, 제안된 프레임워크는 예측 오류에 대해 분포 무관(distribution-free)한 보장을 제공하며, 이는 한계 상태 표면(limit-state surface) 근처 샘플의 더 신뢰할 수 있는 분류(classification)로 이어집니다. 이러한 개선된 불확실성 정량화(uncertainty quantification)는 파괴 확률 추정치의 정확도와 견고성(robustness)을 모두 향상시키며, 특히 효율성이 중요한 희귀 사건 영역(rare-event regimes)에서 유용합니다. 재현 가능한 수치 결과를 통해 해당 방법의 효과를 입증하며, 잘 알려진 벤치마크(benchmarks)에서 기존 접근법들과의 비교 분석을 수행합니다.
대규모 언어 모델(LLM)은 대규모 인간 평가가 비용이 많이 들고 확장하기 어렵기 때문에 개방형 생성(open-ended generation)의 판사로 점점 더 많이 사용되고 있으나, 이들의 선호도는 여전히 인간의 판단을 대리하기에는 불완전합니다. 기존 감사 파이프라인은 종종 인간 주석, 휴리스틱 필터링, 또는 강력한 판사의 출력에서 얻은 것과 같이 신뢰할 수 있는 예제의 부분 집합이나 깨끗한 지도 신호가 미리 사용 가능하다고 가정합니다. LLM 평가에서 이 가정은 취약합니다. 초기 분할은 판사의 바이어스(bias)를 상속받을 수 있으며, 인간 검증은 일반적으로 대규모로 안정적인 그룹을 정의하기에 너무 희소합니다. 우리는 선택된 인간 검증 하에서 쌍대 LLM-as-a-judge 결정을 감사하기 위한 적응형 불확실성 인식 정제 프레임워크인 AURA를 제안합니다. AURA는 인간 일치 신호를 반복적으로 학습하고, 신뢰할 수 있는 증거를 전파하며, 인간 검토를 위해 불확실한 비교를 우선시합니다. 핵심 아이디어는 판사에 대한 신뢰를 증거가 축적됨에 따라 점진적으로 정제되는 잠재 양으로 처리하는 것입니다. 우리는 간결한 공식화, 안정적인 정제 절차, 그리고 합성 및 실제 쌍대 LLM 답변 데이터 모두에 대한 포괄적인 평가를 제공합니다.
효과적인 머신러닝은 데이터를 모델링하는 방법뿐만 아니라 어떤 데이터를 수집할지 선택하는지에도 달려있다. 대규모 시퀀스 모델이 데이터 모델링에 혁명을 일으켰지만, 자동화된 데이터 선택, 즉 "내재적 호기심(intrinsic curiosity)" 문제는 여전히 중요한 과제로 남아 있다. 고전적인 접근 방식은 새로 획득한 관찰이 월드 모델의 예측 능력을 얼마나 향상시키는지를 측정하는 "학습 진행도(learning progress)"를 기반으로 에이전트에게 보상을 제공하여 탐험(exploration)을 유도한다. 그러나 이러한 보상을 평가하는 것은 전통적으로 각 궤적(trajectory) 내에서 비용이 많이 드는 경사하강법(gradient descent) 업데이트의 내부 루프(inner loop)를 요구하므로, 대규모로 적용하기에는 계산적으로 비현실적이다. 본 연구에서는 시퀀스 모델의 창발적 문맥 내 학습(ICL) 능력이 즉각적이고 업데이트가 필요 없는 월드 모델로 작용하여 이 병목 현상을 제거할 수 있는지 조사한다. 구체적으로, 문맥 내 학습기의 예측 오류와 반사실적 맥락 조작만을 사용하여 학습 진행도를 최대화하도록 탐험 정책을 학습시킬 수 있는지 평가한다. 먼저 일반적인 마르코프 결정 과정(MDP)에서 이것이 비편향된 방식으로는 불가능하다는 것을 증명한다. 결과적으로 생성되는 내재적 보상은 실제 학습 진행도 추정에 편향을 주는 잡음 항(nuisance terms) 문제를 겪거나, 문맥 내 학습기의 예측 오류를 사용하여 구현할 수 없다. 반대로, 능동 학습(active learning)과 베이지안 실험 설계(Bayesian Experimental Design)를 포함하는 비시간적 설정의 광범위한 하위 클래스에 대해서는 긍정적인 결과를 증명한다. 여기서 ICL 기반 보상은 실제 학습 진행도를 성공적으로 제한하며 점근적으로 수렴한다. 연속 및 기호 환경에 걸친 통제된 실험을 통해 이론을 검증하며, 본 연구의 ICL 기반 프레임워크가 최적으로 탐험하는 호기심 많은 데이터 수집 정책을 성공적으로 학습시킴을 입증한다.
방대한 후보군에서 작고 다양하며 고품질의 부분집합을 선택하는 것은 현대 머신러닝에서 반복적으로 등장하는 기본 연산입니다. 여기에는 대규모 모델의 학습 및 미세조정을 위한 데이터 큐레이션과 코어셋 선택, 능동학습 배치 획득, 문맥 내 학습을 위한 프롬프트 및 예제 선택, 검색 다양화, 그리고 실험 설계가 포함됩니다. 결정식 점 과정(Determinantal Point Processes, \DPP s)은 이 작업을 위해 원칙에 기반하고 잘 보정된 다양성의 개념을 제공하지만, 크기가 $k$인 부분집합 $S$를 선택하여 $\logdet(L_S)$를 최대화하는 \emph{MAP} 목적함수는 NP-난해(NP-hard)하며, 표준적인 탐욕적 알고리즘과 샘플링 알고리즘은 기본 집합의 크기 $n$에 대해 초선형적으로 증가합니다. 이러한 비용은 다양성이 가장 중요한 데이터 중심 환경, 즉 $n$이 수백만에서 수십억 개의 후보 예제, 특징(feature), 또는 임베딩에 이르는 경우에 특히 과도합니다. 우리는 \DPP-MAP을 스티펠 다양체(Stiefel manifold) 위의 연속 최적화 문제로 재정의하고, 그 1계 최적성 조건이 이전에 연구되지 않은 형태의 \emph{고유벡터 의존성을 가진 비선형 고유값 문제}(\NEPv)를 형성함을 보입니다. 이 \NEPv\는 스펙트럼 간(spectral gap)에 기반한 국소 수축 보장을 갖는 자기 일치 장(\SCF) 반복(iteration)을 허용하며, 이는 다양성 목적함수가 고유벡터 의존 연산자를 구동하는 원칙에 기반한 반복적 솔버를 제공합니다. 그 결과인 알고리즘인 \OurMethod은 커널(kernel)과의 행렬-벡터 곱만을 필요로 하며, 적은 수의 반복 $t$에 대해 $O\! \big((ndk+nk^2)\,t\big)$ 시간에 실행되어 $n$에 대해 거의 선형적으로 확장되며 ML에서 일반적인 저계수 및 특징 맵 커널과 직접 통합됩니다. 본 논문은 완화, 솔버, 및 확장성 분석에 초점을 맞추며, 실제 데이터에 대한 전체 벤치마킹은 계획된 실증 연구로 미뤄집니다.
심실 빈맥(Ventricular tachycardia)은 생명을 위협하는 리듬 장애이자 심장성 급사의 주요 원인입니다. 페이스 매핑(pace-mapping)은 심실 빈맥(VT) 도관 절제술(catheter ablation) 중 개입 목표 부위를 식별하는 임상 절차입니다. 이는 임상의가 심실 내 다양한 부위에 자극을 가하고 결과 심전도(ECG)를 신속하게 해석하여 다음 자극 위치를 결정하거나 목표 부위가 식별되었는지 확인해야 합니다. 임상의를 다음 자극 부위로 안내하는 능동 학습(active learning) AI 모델이 제안되었으며, 이는 자극 부위의 수를 줄이고 페이스 매핑의 효율성을 높이는 데 잠재력을 보여주었습니다. 기존 방법들은 동일한 환자 내 또는 환자 간의 여러 심실 빈맥(VT)에 걸쳐 지식을 전이할 수 없어 각 목표마다 재학습이 필요합니다. 우리는 과거 페이스 매핑 데이터에서 축적된 지식을 포착하고 전이하여 향후 목표 심실 빈맥(VT)에 필요한 페이스 매핑 데이터의 양을 줄이는 지속적 AI 보조 페이스 매핑인 cAPM을 소개합니다. 이는 자극 부위에서 12유도 심전도(ECG) 형태학으로의 매핑을 학습하는 과제 비의존적(task-agnostic) 대리 신경망, 각 목표에 대해 가장 정보성이 높은 자극 부위를 선택하여 이 대리 모델을 정교화하는 능동 학습(active-learning) 전략, 그리고 이전 목표의 지식을 유지하면서 순차적으로 수행하는 지속적 학습(continual learning) 전략을 통해 가능해집니다. 다양한 생리학적 조건과 심실 형상학에 걸쳐 순차적으로 제시되는 국소화 작업으로 구성된 실리콘 내(in-silico) 테스트베드에서 평가한 결과, 과거 데이터 샘플의 리플레이(replay) 유무와 관계없이 cAPM은 4.5개의 페이스 매핑 부위를 사용하여 임상 허용 오차(5mm 정확도) 내에서 국소화할 확률이 81%에 달했으며, 이는 13.7개의 자극 부위를 사용하여 38%의 확률을 달성한 최첨단 능동 학습 방법과 대비됩니다. 이러한 결과는 페이스 매핑을 안내하는 데 사용될 수 있는 생체 내(in-vivo) 전임상 및 임상 연구를 향한 cAPM 준비를 위한 강력한 기반을 제공합니다.
선호 기반 사후 학습은 언어 모델을 정렬하는 중심적인 패러다임이 되었습니다. 일반적인 데이터 수집 전략은 각 프롬프트에 대해 소수의 완성을 생성하고 결과로 나오는 비교 쌍에 라벨을 부여하는 것입니다. 그러나 인간 선호 라벨은 추가적인 완성을 생성하는 것보다 훨씬 비용이 많이 들기 때문에, 동일한 라벨링 예산을 다르게 사용하는 것을 제안합니다: 더 큰 완성 풀을 생성하되, 가장 정보성이 높은 비교 쌍에만 라벨을 부여하는 것입니다. 본 논문은 선호 기반 사후 학습에서 어떤 쌍을 비교해야 하는지 연구합니다. 우리는 비교 선별을 표본 설계 문제로 공식화하고, 선호 기반 사후 학습 목적 함수 하에서 최종 정책의 품질로 설계를 평가합니다. 우리는 이 프레임워크를 직접 선호 최적화(DPO)에 적용하여, 라벨링된 쌍의 선택이 DPO 학습을 통해 다운스트림 정책 성능으로 어떻게 전파되는지 분석합니다. 우리의 주요 결과는 DPO로 학습된 정책의 사후 학습 최적성 갭에 대한 일치하는 상한 및 하한을 제공합니다. 이 상한 및 하한은 비교 선택이 설계에 의존하는 단일 정보 행렬을 통해 다운스트림 성능에 영향을 미친다는 것을 보여주며, 이 행렬은 라벨 할당을 매개변수 추정 오차 및 정책 비최적성과 연결합니다. 이를 통해 예산이 제한된 비교 선별을 위한 명시적인 최적화 기준이 도출되며, 생성된 대규모 완성 풀에서 정보성이 높은 쌍을 선택하기 위한 실용적인 표본 설계를 제안합니다. 합성 설정 및 언어 모델 사후 학습 벤치마크에 대한 실험 결과, 제안된 설계가 일반적인 비교 선택 휴리스틱보다 샘플 효율성을 일관되게 향상시키는 것으로 나타났습니다.
원격 탐사 시맨틱 세그멘테이션은 비용이 많이 드는 픽셀 수준 주석이 필요하며, 모델이 센서, 플랫폼 또는 지리적 위치 간에 거의 전이되지 않으므로 거의 모든 문제가 새로운 데이터셋을 요구합니다. 기존의 인간 루프 프레임워크는 모델의 예측 분포에서 작동하는 보조 메커니즘(의사 레이블, 전파, CRF, 파운데이션 모델 프롬프트, 보조 헤드)을 통해 희소한 클릭을 조밀한 지도로 확장합니다. 구조적으로 해당 분포에서 확신을 가지고 틀린 픽셀은 확신을 가지고 맞은 픽셀과 구별할 수 없으므로, 이를 읽는 규칙으로는 둘을 분리할 수 없으며, 구별 신호는 모델 외부에 있습니다. 본 논문은 임의의 픽셀이 아닌 확신을 가진 모델 오류를 타겟팅하는 전문가 클릭만으로도 확장 메커니즘 없이 조밀한 지도와 대등할 수 있다는 가설을 제시합니다. iSAGE(Iterative Sparse Annotation Guided by Expert)는 통합 오픈 소스 플랫폼에서 이 가설을 실현하며, 여기서 오류 가중치 손실은 각 클릭에서 그래디언트를 증폭하고 어노테이션 기록 자체가 확장 가능하고 수정 가능하며 감사 가능한 데이터셋이 됩니다. 실험은 최소 노력 체제를 사용합니다: 프레임당 클래스당 최대 1개의 레이블된 픽셀입니다. BsB Aerial에서 iSAGE는 대조적인 클래스 동역학과 함께 조밀한 지도의 97.2%를 복원합니다(픽셀의 0.040%에서 74.79% mIoU): 무정형 클래스(permeable areas)는 시드에서 포화되는 반면, 작은 클래스(cars)는 후반부 반복 노력이 필요합니다. ISPRS Vaihingen(외부 벤치마크)에서 iSAGE는 픽셀의 0.011%로 76.78% mIoU에 도달하여 조밀한 기준선(76.65%)과 일치하고 게시된 모든 방법을 능가합니다. 동일한 파이프라인에서 4가지 출력 읽기 메커니즘(예산 1--100배에 걸친 오라클 엔트로피, 임계값 0.90--0.99의 의사 레이블, CRF 기반 전파, 균일 무작위)은 iSAGE보다 7.4에서 14.5 pp 낮은 수준에서 정체됩니다. 조사된 31가지 방법 중 iSAGE는 보조 메커니즘 없이 작동하는 유일한 반복적 인간 루프 프레임워크입니다.
비전-언어 모델(VLMs)은 정교한 기반 구조화 시각적 추론(sophisticated grounded structured visual reasoning)을 향해 빠르게 발전하고 있습니다. 이러한 고급 기능을 위해 모델을 학습(training)하려면 공간 좌표, 오픈 어휘 설명, 구조화된 속성, 위상 관계를 하나의 표현으로 매끄럽게 통합하는 새로운 종류의 데이터가 필요합니다. 그러나 기존 데이터 주석 도구는 표현력 제한, 주석-학습(annotation-training)의 심각한 결합 해제, 낮은 데이터 재사용성이라는 세 가지 체계적 병목 현상으로 인해 이러한 복잡한 요구 사항을 충족하는 데 근본적으로 실패하고 있습니다. 이러한 인프라 격차를 해소하기 위해 우리는 오픈 소스 주석 도구인 ScreenAnnotator를 소개합니다. 첫째, 공간적, 의미적, 구조적 프리미티브(primitives)를 단일 단위로 결합하는 통합 주석 원자 스키마(schema)를 정의합니다. 둘째, 베이지안 주석 검증기(Bayesian Annotation Verifier, BAV)가 내장된 온-정책(on-policy) 주석 루프를 구현합니다. 마지막으로, 정적 원자를 다양한 다차원 추론 작업으로 동적으로 변환하여 중복된 재주석을 제거하는 템플릿 기반 멀티태스크 데이터 합성 프로세스를 설계합니다. 온-정책 루프는 플로우차트에서 주석 수락률을 거의 100%로, GUI 스크린샷에서 77%로 높이는 한편, 라벨링된 데이터가 누적됨에 따라 이미지당 주석 시간을 꾸준히 줄여줍니다. 플로우차트 시나리오에서 VLM을 미세조정(fine-tuning)하면 76.1%의 평균 정확도를 달성하여 35.1%포인트의 절대적인 향상을 보였습니다. 우리의 코드는 다음에서 확인할 수 있습니다: https://github.com/WnQinm/Annotator.
선호 기반 강화학습(Preference-based RL)은 행동의 쌍대 비교를 통해 보상 모델을 학습하는 방법을 제공하여, 명시적인 보상 설계가 필요 없게 합니다. 그러나 기존 방법은 일반적으로 수동적인 데이터 수집에 의존하며, 특히 학습 초기 단계에서 샘플 효율성이 낮다는 문제가 있습니다. 본 연구에서는 보상, 역학(dynamics), 가치 함수의 불확실성을 통합적으로 추론하여 탐험을 능동적으로 유도하는 모델 기반 접근법을 제안합니다. 제안하는 방법인 불확실성 균형 선호 계획(UBP2)은 보상, 역학, 가치 함수 모델의 앙상블을 활용하여, 기대 보상, 종단 가치, 인식론적 불확실성을 결합한 통합 점수를 기준으로 후보 궤적을 평가합니다. 이 목적 함수 하에서의 계획은 임시적인 탐험 휴리스틱 없이 활용과 정보 획득 사이의 명시적인 트레이드오프를 제공합니다. 표준 정칙성 가정 하에서, 유한 수평(finite-horizon) 및 무한 수평(infinite-horizon) 설정 모두에 대해 아선형 후회(sublinear regret) 보장을 입증합니다. 실험 결과, Meta-World 벤치마크에서 UBP2는 모델 프리(model-free) 선호 기반 방법 및 비낙관적(non-optimistic) 모델 기반 기준선(baseline)보다 훨씬 높은 샘플 효율성을 달성하는 것으로 나타났습니다.
레이블 데이터 없이도 LLM에서 마르코프 무작위 장(MRF)의 단항 편차와 쌍대 공변만 체계적으로 유도해 지식 추출과 순차적 특징 선택 계획을 분리하는 제로샷 능동적 특징 획득(AFA) 프레임워크를 제안한다. LLM이 주로 반환하는 판별적 통계의 게이지 모호성은 최대 엔트로피 폐쇄로 해결했으며, 염증성 장 질환(IBD) 환자 코호트에서 실제 레이블과 LLM 신념 모두에 대해 LLM 단독보다 우수하고, 진단이 가장 어려운 환자에서는 top-k 획득 정책이 기존 방법을 크게 능가했다.
인스트럭션 튜닝된 대규모 언어 모델(LLM)은 저렴한 비용으로 수천 개의 인스턴스에 주석을 달 수 있습니다. 이는 능동 학습(AL)에 대해 두 가지 질문을 제기합니다: AL 루프 내에서 LLM 라벨이 인간 라벨을 대체할 수 있는가, 그리고 전체 말뭉치를 저렴하게 라벨링할 수 있을 때 AL이 여전히 필요한가 하는 것입니다. 우리는 277,902개의 독일 정치 틱톡 댓글(25,974개는 LLM 라벨링, 5,000개는 인간 주석)로 구성된 새로운 데이터셋에서 두 가지를 모두 조사하며, 7가지 조건, 4개의 인코더, 10개의 랜덤 시드에 걸쳐 LLM과 인간 주석을 비교합니다. 인간 주석 작업을 반영하는 두 가지 질문 인터페이스 하에서, 대규모 LLM 주석은 인간 지도 분류기보다 약 10분의 1의 비용으로 더 우수한 성능을 보입니다(GPT-5.2 배치 API의 경우 $28 vs Prolific의 경우 $316). 이러한 이점은 폐쇄형 소스(GPT-5.2)와 오픈 가중치(Qwen3.5-122B-10B) LLM 모두에서 유지되며, 소프트 라벨 평가에서도 견고하고, 특히 두 가지 질문 분해를 통해 달성됩니다. 반면 전체적인 단일 프롬프트 기준선은 인간 지도와 동등한 수준에 머뭅니다. 두 LLM 주석 작업자 모두에서 AL은 무작위 샘플링보다 신뢰할 수 있는 이점을 제공하지 못했습니다. 그러나 오류 구조는 크게 다릅니다: 두 가지 질문 인터페이스 하에서 GPT-5.2만이 인간 수준에 근접한 FP/FN 균형을 가진 분류기를 생성하는 반면, 다른 LLM 변형들은 국경 통제 및 경제적 경쟁 담론을 과도하게 플래그 지정합니다. 데이터셋과 코드를 공개합니다.
초음파 AI 검증에서 정량적 지표만으로는 임상적 유용성을 충분히 반영하기 어렵다는 문제에, 중앙 서버와 브라우저 인터페이스 기반의 임상의 중심 원격 주석·블라인드 모델 순위 평가 파이프라인을 제안한다. 태아 초음파 분할 연구에서 6명의 평가자를 대상으로 검증한 결과 전문가와 비전문가 그룹 간 중간~강한 일치가 관찰되었고, 블라인드 평가에서 후기 능동 학습(active learning) 모델이 더 선호되는 경향을 보였다.
데이터 수집은 현대 통계 및 기계학습 파이프라인의 핵심 구성 요소이며, 특히 관심 대상인 목표 모집단을 연구하기 위해 여러 이질적인 소스로부터 데이터를 수집해야 할 때 더욱 그렇다. 의학 연구나 정치 여론조사와 같은 많은 사용 사례에서 서로 다른 소스는 서로 다른 표본 추출 비용을 발생시킨다. 관측값에는 종종 관련된 집단 정체성이 부여되며—예를 들어 건강 지표, 인구통계학적 특성, 또는 정치적 성향—이러한 집단의 상대적 구성은 소스 모집단들 사이에서뿐만 아니라 소스와 목표 모집단 사이에서도 크게 달라질 수 있다. 본 연구에서는 고정 예산 하 다중 소스 데이터 수집을 연구하며, 모집단 평균 및 집단 조건부 평균의 추정에 초점을 맞춘다. 우리는 단순한 데이터 수집 전략(예: 목표 분포를 "맞추려" 시도하는 것)이나 표준 추정량(예: 표본 평균)에 의존하는 것이 매우 차선책일 수 있음을 보인다. 대신, 우리는 유효 표본 크기—총 표본 크기를 $D_{χ^2}(q\mid\mid\overline{p}) + 1$로 나눈 값—를 최대화하는 표본 추출 계획을 개발한다. 여기서 $q$는 목표 분포, $\overline{p}$는 집계된 소스 분포, $D_{χ^2}$는 $χ^2$-발산이다. 우리는 이 표본 추출 계획을 고전적인 사후층화(post-stratification) 추정량과 짝지어 그 위험(risk)의 상계를 구한다. 우리는 대응하는 하계를 제공하여, 우리의 접근법이 예산 제약 하 미니맥스 최적 위험을 달성함을 확립한다. 우리의 기법은 초과 위험(excess risk)을 최소화하는 예측 문제로도 확장되며, 비용이 높고 이질적인 데이터 소스를 사용한 다중 소스 학습에 대한 원칙적인 접근법을 제공한다.
측정 제약 문제는 전자 건강 기록 연구와 같은 현대 응용 분야에서 빈번하게 발생합니다. 이러한 문제에서는 대규모 데이터셋(dataset)이 존재함에도 불구하고, 레이블된 데이터를 수집하는 데 비용이 많이 들거나 시간이 오래 걸려 주어진 예산 내에서 데이터의 일부분에만 레이블을 부여할 수 있습니다. 이는 다음과 같은 중요한 질문을 제기합니다: 예산 제약 하에서 어떤 데이터 포인트에 레이블을 부여하는 것이 가장 유리한가? 우리는 측정 제약 M-추정(M-estimation) 프레임워크 하에서 최적의 개인화된 임계값을 추정하는 맥락에서 이 질문을 연구합니다. 구체적으로, 우리의 목표는 연속형 변수 $X$가 선형 임계값 $θ^TZ$를 초과하는지 여부와 이진 결과 $Y$ 사이의 불일치가 최소화되도록, 선형 임계값 $θ^TZ$에 있는 고차원 매개변수(parameter) $θ$를 추정하는 것입니다. 측정 제약 설정에서, 우리는 $θ$를 추정하기 위한 새로운 $K$-단계 능동적 하위 표본 추출(active subsampling) 알고리즘을 제안합니다. 이 알고리즘은 데이터셋(dataset)에서 가장 정보성이 높은 관측치를 반복적으로 샘플링하고 정규화된 M-추정량(M-estimator)을 풉니다. 우리의 이론적 분석은 $Y$와 $Z$가 주어졌을 때 $X$의 조건부 밀도의 매끄러움인 $β$에 대해 급격한 상전이(phase transition) 현상이 존재함을 밝혀냈습니다. 전체 초록은 논문을 참조하십시오.
데이터 수집은 실시간 스트림 학습의 주요 병목 현상입니다: 분석가는 롤링 예산을 준수하면서 즉석에서 어떤 레이블을 구매할지 결정해야 합니다. 그러나 기존의 온라인 능동 학습은 개념 드리프트(concept drift) 하에서 가격 책정, 정보 이득, 롤링 예산 제약 조건을 거의 통합하지 않습니다. 우리는 모델에 대한 추정 효용과 가격을 기반으로 각 유입 데이터 포인트를 쿼리하는 시장에서 영감을 받은 프레임워크인 QueryMarket를 소개합니다. 이 프레임워크 내에서 우리는 OVBAL(online variance-based active learning)을 제안합니다. OVBAL은 지수적 망각(exponential forgetting)이 적용된 D-최적성(D-optimality) 기준을 통해 각 샘플의 한계 효용을 추정하고, 롤링 예산 제약 조건 하에서 비용 인식 구매를 실행하여 데이터 가격 책정과 정보 기반 선택을 통합합니다. OVBAL은 비정상 스트림과 이질적인 레이블 비용에 적응하는 간단하고 완전히 온라인인 의사 결정 규칙을 제공합니다. 합성 데이터와 실제 태양광 발전량 예측 작업에 대한 실험 결과, OVBAL은 판매자 중심 가격 책정 하에서 특히 효과적이며, 두 가지 가격 책정 방식 모두에서 실제 작업 시 더 유리한 장기적 오류-비용 트레이드오프를 보여줍니다.
많은 공학 응용 분야에서, 단일 고충실도 모델은 복잡한 물리 시스템의 유한 요소 모델과 같이 동일한 입력 매개변수 하에서 여러 관심량(QoIs)을 생성합니다. 직접 모델 평가의 높은 계산 비용을 완화하기 위해, 대리 모델(surrogate models)을 사용하여 모델 응답의 효율적인 근사를 구축하는 것이 일반적입니다. 당연히, 대리 모델의 정확도는 실험 설계(ED)의 품질에 크게 좌우됩니다. 그러나 단일 ED는 모든 출력에 대해 동시에 적절한 표현을 제공하지 못할 수 있으며, 이는 특히 서로 다른 출력이 입력 변수에 대해 상이한 민감도를 나타낼 때 두드러집니다. 간단한 해결책은 각 출력에 대해 별도의 샘플링을 수행하는 것이지만, 이는 샘플링 복잡도와 계산 비용의 증가를 초래합니다. 통계적 관점에서 이러한 접근 방식은 모든 출력 간의 잠재적 상관관계를 무시하며, 데이터 일관성을 훼손할 수 있습니다. 이 문제를 해결하기 위해, 다항 카오스 전개(Polynomial Chaos Expansion) 대리 모델 구축을 위한 적응형 순차 샘플링 방법을 벡터 값 관심량(QoIs)으로 일반화했습니다. 이 방법은 출력 분산에 대한 국부적 기여도를 기반으로 후보 풀에서 새로운 샘플을 순차적으로 선택하며, 입력 공간에 대한 거리 기반 탐험(exploration)과 모든 출력에 걸친 집계된 분산 정보의 활용(exploitation) 사이의 균형을 유지합니다. 공학 문제의 여러 수치 예제를 통해 비순차적 라틴 하이퍼큐브 샘플링(Latin Hypercube Sampling)과 성능을 비교했습니다. 수치 결과를 통해 제안된 전략은 대리 모델의 정확도와 안정성을 모두 향상시키며, 2차 통계량(second-order statistics)을 더 신뢰할 수 있게 추정할 수 있음을 입증했습니다.
대규모 데이터셋(dataset)에서의 이상 탐지는 천문학 및 컴퓨터 비전에서 필수적입니다. 그러나 레이블링된 데이터가 부족하여 이상 탐지에 지도 학습(supervised methods)을 적용하는 것은 종종 불가능합니다. 본 논문에서는 EfficientNet 분류기를 사용하는 준지도 FixMatch 알고리즘과 능동 학습(active learning)을 결합한 이상 탐지 프레임워크인 AnomalyMatch를 제안합니다. AnomalyMatch는 대규모 애플리케이션에 맞춰 설계되었으며 ESA Datalabs 과학 플랫폼에 통합되었습니다. 이 방법은 이상 탐지를 이진 분류(binary classification) 문제로 처리하여, 학습(training)에 제한된 레이블링된 이미지와 풍부한 레이블이 없는 이미지를 효율적으로 활용합니다. 높은 신뢰도의 이상치를 검증하고 오탐(false positives)을 수정하기 위한 사용자 인터페이스를 통해 능동 학습을 지원합니다. 심각한 클래스 불균형 상황에서 GalaxyMNIST 천문학 데이터셋과 miniImageNet 자연 이미지 벤치마크(benchmark)에 대한 평가 결과 우수한 성능을 보였습니다. 5~10개의 레이블링된 이상치로 시작하여 miniImageNet에서 평균 AUROC 0.96, GalaxyMNIST에서 0.89를 달성했으며, 각각 AUPRC는 0.82와 0.77입니다. 3회의 능동 학습 사이클 후, 점수 기준 상위 1% 이미지 내에서 이상치는 76%(miniImageNet)에서 94%(GalaxyMNIST)의 정밀도(precision)로 순위가 매겨졌습니다. 'Galaxy Zoo- The Galaxy Challenge' 데이터셋에서 선별된 'odd' 은하들을 대상으로 확립된 Astronomaly 소프트웨어와 비교한 결과, 평균 AUROC 0.83으로 대등한 성능을 달성했습니다. 이러한 결과는 이상 발견을 위한 본 접근법의 탁월한 유용성과 확장성을 입증하며, 레이블이 심각하게 부족한 도메인에 특화된 접근법의 가치를 강조합니다.