PyTorchKR Papers

최신 논문

총 2,847편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:1806.03836

Bayesian Model-Agnostic Meta-Learning

Learning to infer Bayesian posterior from a few-shot dataset is an important step towards robust meta-learning due to the model uncertainty inherent in the problem. In this paper, we propose a novel Bayesian model-agnostic meta-learning method. The proposed method combines scalable gradient-based meta-learning with nonparametric variational inference in a principled probabilistic framework. During fast adaptation, the method is capable of learning complex uncertainty structure beyond a point estimate or a simple Gaussian approximation. In addition, a robust Bayesian meta-update mechanism with a new meta-loss prevents overfitting during meta-update. Remaining an efficient gradient-based meta-learner, the method is also model-agnostic and simple to implement. Experiment results show the accuracy and robustness of the proposed method in various tasks: sinusoidal regression, image classification, active learning, and reinforcement learning.

arXiv:1806.03757공식 코드 · Papers with Code

Part-of-Speech Tagging on an Endangered Language: a Parallel Griko-Italian Resource

Most work on part-of-speech (POS) tagging is focused on high resource languages, or examines low-resource and active learning settings through simulated studies. We evaluate POS tagging techniques on an actual endangered language, Griko. We present a resource that contains 114 narratives in Griko, along with sentence-level translations in Italian, and provides gold annotations for the test set. Based on a previously collected small corpus, we investigate several traditional methods, as well as methods that take advantage of monolingual data or project cross-lingual POS tags. We show that the combination of a semi-supervised method with cross-lingual transfer is more appropriate for this extremely challenging setting, with the best tagger achieving an accuracy of 72.9%. With an applied active learning scheme, which we use to collect sentence-level annotations over the test set, we achieve improvements of more than 21 percentage points.

arXiv:1806.04798

Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning

Active learning (AL) aims to enable training high performance classifiers with low annotation cost by predicting which subset of unlabelled instances would be most beneficial to label. The importance of AL has motivated extensive research, proposing a wide variety of manually designed AL algorithms with diverse theoretical and intuitive motivations. In contrast to this body of research, we propose to treat active learning algorithm design as a meta-learning problem and learn the best criterion from data. We model an active learning algorithm as a deep neural network that inputs the base learner state and the unlabelled point set and predicts the best point to annotate next. Training this active query policy network with reinforcement learning, produces the best non-myopic policy for a given dataset. The key challenge in achieving a general solution to AL then becomes that of learner generalisation, particularly across heterogeneous datasets. We propose a multi-task dataset-embedding approach that allows dataset-agnostic active learners to be trained. Our evaluation shows that AL algorithms trained in this way can directly generalise across diverse problems.

arXiv:1802.09069

Active Learning with Logged Data

We consider active learning with logged data, where labeled examples are drawn conditioned on a predetermined logging policy, and the goal is to learn a classifier on the entire population, not just conditioned on the logging policy. Prior work addresses this problem either when only logged data is available, or purely in a controlled random experimentation setting where the logged data is ignored. In this work, we combine both approaches to provide an algorithm that uses logged data to bootstrap and inform experimentation, thus achieving the best of both worlds. Our work is inspired by a connection between controlled random experimentation and active learning, and modifies existing disagreement-based active learning algorithms to exploit logged data.

arXiv:1806.05473

Efficient Active Learning for Image Classification and Segmentation using a Sample Selection and Conditional Generative Adversarial Network

Training robust deep learning (DL) systems for medical image classification or segmentation is challenging due to limited images covering different disease types and severity. We propose an active learning (AL) framework to select most informative samples and add to the training data. We use conditional generative adversarial networks (cGANs) to generate realistic chest xray images with different disease characteristics by conditioning its generation on a real image sample. Informative samples to add to the training set are identified using a Bayesian neural network. Experiments show our proposed AL framework is able to achieve state of the art performance by using about 35% of the full dataset, thus saving significant time and effort over conventional methods.

arXiv:1803.01785

Differentiable Submodular Maximization

We consider learning of submodular functions from data. These functions are important in machine learning and have a wide range of applications, e.g. data summarization, feature selection and active learning. Despite their combinatorial nature, submodular functions can be maximized approximately with strong theoretical guarantees in polynomial time. Typically, learning the submodular function and optimization of that function are treated separately, i.e. the function is first learned using a proxy objective and subsequently maximized. In contrast, we show how to perform learning and optimization jointly. By interpreting the output of greedy maximization algorithms as distributions over sequences of items and smoothening these distributions, we obtain a differentiable objective. In this way, we can differentiate through the maximization algorithms and optimize the model to work well with the optimization algorithm. We theoretically characterize the error made by our approach, yielding insights into the tradeoff of smoothness and accuracy. We demonstrate the effectiveness of our approach for jointly learning and optimizing on synthetic maximum cut data, and on real world applications such as product recommendation and image collection summarization.

arXiv:1806.06123공식 코드 · Papers with Code

On the Relationship between Data Efficiency and Error for Uncertainty Sampling

While active learning offers potential cost savings, the actual data efficiency---the reduction in amount of labeled data needed to obtain the same error rate---observed in practice is mixed. This paper poses a basic question: when is active learning actually helpful? We provide an answer for logistic regression with the popular active learning algorithm, uncertainty sampling. Empirically, on 21 datasets from OpenML, we find a strong inverse correlation between data efficiency and the error rate of the final classifier. Theoretically, we show that for a variant of uncertainty sampling, the asymptotic data efficiency is within a constant factor of the inverse error rate of the limiting classifier.

arXiv:1710.07283

Decomposition of Uncertainty in Bayesian Deep Learning for Efficient and Risk-sensitive Learning

Bayesian neural networks with latent variables are scalable and flexible probabilistic models: They account for uncertainty in the estimation of the network weights and, by making use of latent variables, can capture complex noise patterns in the data. We show how to extract and decompose uncertainty into epistemic and aleatoric components for decision-making purposes. This allows us to successfully identify informative points for active learning of functions with heteroscedastic and bimodal noise. Using the decomposition we further define a novel risk-sensitive criterion for reinforcement learning to identify policies that balance expected cost, model-bias and noise aversion.

arXiv:2610.10808v1cs.LG

3채널 점수 충돌에서의 통제된 정보 획득과 판단 보류

Controlled Acquisition and Abstention in Three-Channel Score Conflicts

오디오, 비디오, 텍스트가 서로 일치하지 않을 때, 정확도만으로는 추가 소스를 획득해야 할지 또는 판단을 보류해야 할지 알 수 없다. 우리는 통제된 3점수 벤치마크에서 이러한 선택을 연구한다: 정책(policy)은 부호가 있는 두 개의 점수를 관찰하고, 비용을 들여 세 번째 점수를 요청할 수 있으며, 판단을 보류할 수도 있다. 주요 보상은 메커니즘에 특화되어 있다: 보류는 하나의 지정된 모호성(ambiguity) 메커니즘에 대해서만 정답으로 인정되며, 혼합 손상(mixed corruption) 상황에서는 불이익을 받는다. 매칭된 대조군(matched controls)은 임계값 정책(threshold policy)이 더 적은 요청으로도 항상 요청하는 방식과 동등한 성능을 보인다는 것을 보여준다; 항상 응답하는 융합(fusion) 방식에 대한 임계값 정책의 우위는 해당 모호성에 부여된 보상에 따라 달라진다. 부분적으로 홀드아웃된 합성 분할(synthetic split)에서, 임계값 정책은 83개의 시드(seed)에 걸쳐 목표 결정 정확도(targeted decision accuracy) 0.789 ± 0.006과 유틸리티(utility) 0.481 ± 0.014를 달성한다. 3점수 다수결 참조(majority reference)는 0.626 ± 0.008과 0.252 ± 0.016을 달성하지만, 더 많은 정보를 사용한다. 매칭된 예산(matched-budget) 테스트에서, 학습 전용(train-only) 가치 선택기(value selector)는 10%와 25% 예산에서 쿼리 없음(no-query) 및 매칭된 무작위(matched-random) 정책보다 유틸리티를 개선하는 반면, 쌍별 불확실성(pair uncertainty)은 모든 예산에서 더 높은 유틸리티를 보인다. 50%와 63.7% 예산에서는, 비모호(non-ambiguous) 정확도가 약간 더 높음에도 불구하고 선택기가 유틸리티를 낮춘다. 모든 보류가 오답으로 채점될 경우, 다수결이 유틸리티 측면에서 임계값 정책을 능가한다. 중심 시간적 설정(central temporal setting)에서, 전체 트레이스 대조군(full-trace controls)은 신경망 모델(neural models)과 일치하는 반면, 위치 교란(position perturbations)은 이들을 구분한다. 홀드아웃된 배우(actor)의 감정 클립에서, 8프레임 융합(eight-frame fusion)은 두 인코더 쌍(encoder pairs)에 대해 서로 반대 부호의 정확도 차이를 보이며, 두 배우 구간(actor intervals) 모두 0을 포함한다; 매칭된 요청 라우팅(matched-request routing)의 이득은 작고 불확실하다. 이러한 결과는 전체 모달리티(full-modality) 정확도와 요청 전 선택 가치(pre-request selection value)를 구분하며, 선택 가치가 예산과 관찰된 쌍(observed-pair) 순위에 따라 달라짐을 보여준다.

arXiv:2610.10615v1stat.ML

JevForest: 예산 제약 특징 획득을 위한 경로 투표

JevForest: Path Voting for Budgeted Feature Acquisition

제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.

arXiv:2602.18867v3cs.CV

증거로서의 유사도: 해석 가능하고 라벨 효율적인 의료 능동 학습을 위한 과신된 VLM 캘리브레이션

Similarity-as-Evidence: Calibrating Overconfident VLMs for Interpretable and Label-Efficient Medical Active Learning

능동 학습(Active Learning, AL)은 라벨링을 위해 가장 유익한 샘플만을 선택함으로써 의료 영상의 어노테이션 비용을 줄이지만, 라벨링된 데이터가 부족할 때 콜드 스타트(cold-start) 문제로 어려움을 겪습니다. 비전-언어 모델(VLM)은 제로샷(zero-shot) 예측을 통해 콜드 스타트 문제를 해결하지만, 온도 스케일링된 소프트맥스(softmax) 출력은 내재된 불확실성을 무시한 채 텍스트-이미지 유사도를 결정론적 점수로 취급하여 과신(overconfidence)을 초래합니다. 이러한 과신은 샘플 선택을 잘못 유도하여 유익하지 않은 사례에 어노테이션 예산을 낭비하게 만듭니다. 이러한 한계를 극복하기 위해, Similarity-as-Evidence(SaE) 프레임워크는 유사도 벡터를 증거로 재해석하고 라벨에 대한 디리클레 분포(Dirichlet distribution)를 매개변수화하는 유사도 증거 헤드(Similarity Evidence Head, SEH)를 도입하여 텍스트-이미지 유사도를 캘리브레이션(calibration)합니다. 약한 신호 하에서도 확신에 찬 예측을 강제하는 표준 소프트맥스와 달리, 디리클레 공식화는 증거 부족(공허성, vacuity)과 상충되는 증거(불협화음, dissonance)를 명시적으로 정량화하여 경직된 소프트맥스 정규화(normalization)로 인한 과신을 완화합니다. 이를 기반으로 SaE는 이중 요소 획득 전략을 채택합니다. 초기 라운드에서는 커버리지를 보장하기 위해 고공허성 샘플(예: 희귀 질환)을 우선시하고, 후반 라운드에서는 경계를 미세 조정하기 위해 고불협화음 샘플(예: 모호한 진단)을 우선시하여 임상적으로 해석 가능한 선택 근거를 제공합니다. 20%의 라벨 예산을 사용한 10개의 공개 의료 영상 데이터셋(dataset) 실험에서 SaE는 82.57%의 최고 수준(SOTA) 매크로 평균 정확도를 달성했습니다. 대표적인 BTMRI 데이터셋에서 SaE는 0.425의 음의 로그 가능도(NLL)를 기록하며 우수한 캘리브레이션 성능도 달성했습니다.

arXiv:2603.29135v3cs.LG

자율 현미경에서 강건한 구조-물성 학습을 위한 가우스 과정을 통한 품질 제어 능동 학습

Quality-Controlled Active Learning via Gaussian Processes for Robust Structure-Property Learning in Autonomous Microscopy

과학적 발견을 가속화하기 위해 재료 연구에서 자율 실험 시스템의 활용이 점차 증가하고 있으나, 그 성능은 저품질의 노이즈 데이터로 인해 제한되는 경우가 많습니다. 이러한 문제는 표준 능동 학습(active learning) 전략이 품질이 낮은 측정을 잘못 우선시할 수 있는 영상-스펙트럼(Im2Spec) 및 스펙트럼-영상(Spec2Im) 변환과 같은 데이터 집약적 구조-물성 학습 태스크에서 특히 두드러집니다. 본 연구에서는 호기심 기반 샘플링(curiosity-driven sampling)과 단순 조화 진동자(Simple Harmonic Oscillator) 모델 적합에 기반한 물리 정보 기반 품질 제어 필터를 결합한 게이트 능동 학습 프레임워크를 도입하여, 수집 과정에서 시스템이 충실도가 낮은 데이터를 자동으로 배제할 수 있도록 합니다. 공간적으로 국소화된 노이즈가 존재하는 PbTiO3 박막의 사전 수집된 밴드 여기 압전 반응 분광법(BEPS) 데이터셋에 대한 평가 결과, 제안된 방법이 무작위 샘플링, 표준 능동 학습 및 멀티태스크 학습 전략보다 우수한 성능을 보임을 확인했습니다. 나아가 이질적인 도메인 구조를 가진 별도의 PbTiO3 박막 샘플에 대한 실시간 실험에 이 프레임워크를 적용하여 자율 현미경 실험에서의 유효성을 입증했습니다. 전반적으로 본 연구는 보다 신뢰할 수 있는 과학적 발견을 위해 물리 정보 기반 품질 평가와 능동적 의사결정이 함께 작동하는 자율 주행 연구실(self-driving labs)의 하이브리드 자율성을 뒷받침합니다.

arXiv:2606.18043v2cs.RO

플로우 기반 범용 로봇 정책을 위한 불확실성 정량화

Uncertainty Quantification for Flow-Based Generalist Robot Policies

비전-언어-행동 모델(VLA) 및 월드-행동 모델(WAM)과 같은 범용 로봇 정책은 강력한 사전학습 백본과 대규모 로봇 데이터셋에서 플로우 매칭(flow matching)을 통해 학습된 표현력 높은 생성형 행동 헤드를 결합합니다. 로봇 조작 작업에서 뛰어난 실증적 성능에도 불구하고, 이러한 정책들은 예측에 대한 신뢰도를 정량화하고 행동의 신뢰성이 떨어지는 시점을 감지하는 메커니즘이 부족합니다. 이는 모델이 사전학습 분포를 벗어난 시나리오에 필연적으로 직면하고 경고 없이 실패할 수 있는 비정상(non-stationary) 환경의 실제 배포에서 중대한 한계로 작용합니다. 이를 해결하기 위해, 본 연구에서는 소규모 앙상블 간의 속도장 불일치(VFD, velocity-field disagreement)를 활용하여 플로우 매칭 모델의 인식론적 불확실성(epistemic uncertainty)을 정량화하는 효율적인 방법을 도출합니다. 저자들은 이 불확실성 추정치를 배포 중 실패 감지와 플로우 기반 범용 정책의 능동적 미세조정(active fine-tuning)에 성공적으로 활용합니다. 후자를 위해, 범용 정책을 새로운 작업에 적응시키는 데 필요한 고비용의 전문가 시연 데이터 수를 줄여주는 불확실성 유도 능동 멀티태스크 미세조정 방식인 간단하면서도 효과적인 SAVE를 제안합니다. 시뮬레이션과 실제 환경에서 VLA 및 WAM을 대상으로 실험을 수행했습니다. VFD는 다운스트림 성능을 예측하는 데 더 잘 보정된 불확실성 추정치를 제공하며, 기존 방식보다 전체 정확도가 8%p 더 높게 실패를 감지합니다. 세 가지 실제 환경 작업에서 SAVE는 고정된 시연 예산 내에서 최종 평균 성공률을 39%에서 47%로 향상시킵니다. 본 연구 결과는 VFD를 통해 인식론적 불확실성을 측정하는 것이 범용 로봇 정책의 실패 인지 능력과 적응성을 모두 향상함을 보여줍니다. 프로젝트 웹사이트: tum-lsy.github.io/uq_generalist_policies.

arXiv:2506.10944v2cond-mat.mtrl-sci

전고체 배터리의 계면 진화를 지배하는 반응-확산 결합

Coupled reaction and diffusion governing interface evolution in solid-state batteries

고체 전해질 계면(SEI) 형성을 지배하는 원자 수준의 반응을 이해하고 제어하는 것은 차세대 전고체 배터리의 실용화를 위해 필수적입니다. 그러나 매립된 계면을 실험적으로 특성화하기 어렵고, 시뮬레이션의 속도와 정확도에 한계가 있어 여전히 어려움이 따릅니다. 본 연구에서는 능동 학습(active learning)과 심층 등변 신경망(deep equivariant neural network) 원자간 퍼텐셜을 활용하여, 대칭형 배터리 셀인 {\symcell}에 대해 양자역학 수준의 정확도를 지닌 대규모 명시적 반응 시뮬레이션을 수행합니다. 계면에서의 결합 반응과 상호 확산을 자동으로 특성화하기 위해, 국소 원자 환경 공간에서의 클러스터링을 기반으로 한 비지도 분류(unsupervised classification) 기법을 정립하여 적용했습니다. 분석 결과, 순수 열역학에만 기반한 이전 예측에서는 포착되지 않았던 새로운 결정질 무질서 상인 Li$_2$S$_{0.72}$P$_{0.14}$Cl$_{0.14}$가 SEI 내에 형성됨을 밝혀냈으며, 이는 전체 반응 및 수송 역학을 명시적으로 모델링하는 것의 중요성을 강조합니다. 본 시뮬레이션 결과는 SEI 형성에 관한 실험적 관찰과 일치하며 이를 규명할 뿐만 아니라, 계면을 따라 발생하는 현저한 Li 이동으로 특징지어지며 덴드라이트 생성에 결정적인 Li 크리프(creep) 메커니즘을 규명합니다. 본 연구의 접근법은 실험에 맞춘 조정 가능한 매개변수 없이 제일원리(first principles)로부터 디지털 트윈을 구축하는 것입니다. 따라서 고체 합성 및 전기화학에서의 복잡한 불균일 과정을 지배하는 원자 동역학에 대한 통찰을 확보할 수 있는 역량을 제공합니다.

arXiv:2608.25572v2cs.RO

ConfAL-WM: 행동 조건부 월드 모델을 위한 신뢰도 기반 능동 학습

ConfAL-WM: Confidence-Guided Active Learning for Action-Conditioned World Models

행동 조건부 월드 모델(action-conditioned world models)은 임바디드(embodied) 예측, 계획 및 합성 데이터 생성을 위한 중요한 기반이 되었으나, 새로운 태스크 및 장면 분포에서 발생하는 오차는 로봇 팔, 조작 대상 객체, 접촉 영역, 가려진 객체와 같은 국소적인 시공간 영역에 집중되는 경우가 많습니다. 본 논문에서는 임바디드 월드 모델의 사후 학습을 위한 신뢰도 기반 능동 학습(active learning) 프레임워크인 ConfAL-WM을 제안합니다. EnerVerse-AC(EVAC)를 기반으로 UNet 디코더 특징에 경량 신뢰도 프로브(probe)를 부착하고 잠재 공간에서 조밀한 신뢰도 맵(dense confidence map)을 예측합니다. 이러한 맵은 태스크, 프레임, 패치 수준 점수로 집계되어 데이터 예산 할당과 국소적 학습 강화를 가능하게 합니다. 제안하는 파이프라인은 프로브를 학습하고 소규모 타깃 도메인 서브셋에서 EVAC을 웜업합니다. 이후 EVAC-v1은 태스크 수준 데이터 획득 신호와 선택적인 프레임/패치 가중치 신호를 제공하며, 선택된 데이터로 학습되는 모든 모델은 재학습을 위해 원래의 사전학습된 EVAC 체크포인트에서 초기화됩니다. 기본 40% 데이터 예산을 적용한 RoboTwin2.0 실험 결과, 신뢰도 기반 선택이 사후 학습 품질을 향상시키는 동시에 조밀한 프레임 및 패치 가중치 부여가 스칼라 보상, 진행도, 심사자(judge) 기반 채점 베이스라인과 비교하여 상호보완적인 재구성 및 의미론적 성능 향상을 제공함을 보여줍니다. 본 연구의 간략한 시각적 개요는 https://ConfAL-WM.github.io 에서 확인할 수 있습니다.

arXiv:2307.12226v3cs.LG

사전학습 모델을 위한 기하학 구조 인지 적응

Geometry-Aware Adaptation for Pretrained Models

대표적인 제로샷(zero-shot) 모델을 포함한 머신러닝 모델들은 더 큰 레이블 공간의 극히 일부분에 불과한 레이블을 가진 데이터셋으로 학습되는 경우가 많습니다. 이러한 레이블 공간에는 일반적으로 레이블 간의 거리를 통해 이들을 연관 짓는 거리 함수(metric)가 주어집니다. 본 논문에서는 추가적인 학습 없이도 이 정보를 활용하여 학습된 모델을 적응시킴으로써 새로운 클래스를 안정적으로 예측하거나, 제로샷 예측의 경우 성능을 향상시킬 수 있는 간단한 접근법을 제안합니다. 제안하는 기법은 기존 표준 예측 규칙에서 argmax를 프레셰 평균(Fréchet mean)으로 대체하는 드롭인(drop-in) 방식의 대체제입니다. 본 연구는 이 접근법에 대한 포괄적인 이론적 분석을 제공하며, (i) 레이블 공간 지름, 샘플 복잡도, 모델 차원 간의 트레이드오프를 다루는 학습 이론적 결과, (ii) 관측되지 않은 임의의 클래스를 예측할 수 있는 전체 시나리오의 특성 분석, (iii) 전체 미관측 클래스를 예측하기 어려운 경우를 위해 최적의 학습 클래스를 도출하는 능동 학습(active learning) 유사 최적 다음 클래스 선택 절차를 다룹니다. 실증적으로는 쉽게 구할 수 있는 외부 메트릭을 사용할 경우, 제안된 기법인 Loki가 ImageNet에서 SimCLR 대비 최대 29.7%의 상대적 성능 향상을 달성하고 수십만 개의 클래스 규모로 확장됨을 확인했습니다. 외부 메트릭을 사용할 수 없는 경우에도 Loki는 클래스 임베딩에서 자체 유도된 메트릭을 활용하여 CLIP과 같은 사전학습 제로샷 모델에서 10.5%의 성능 향상을 얻었습니다.

arXiv:2610.00906v1cs.AI

ActiveSaddler: 에이전트 하네스 최적화를 위한 자동 커리큘럼 학습

ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization

자동화된 하네스 최적화(harness optimization)는 실행 피드백을 바탕으로 프롬프트, 도구 인터페이스, 제어 로직을 반복적으로 업데이트함으로써 대규모 언어 모델(LLM) 에이전트를 크게 향상시킬 수 있습니다. 그러나 기존 방법들은 하네스가 업데이트되는 방식을 최적화하는 데 주로 집중하며, 이러한 업데이트를 이끄는 피드백을 생성하는 학습 시나리오를 대체로 고정해 둡니다. 하네스가 진화함에 따라 추가 최적화에 가장 유용한 시나리오도 변할 수 있으며, 이는 학습 커리큘럼 자체가 하네스와 함께 적응해야 함을 시사합니다. 본 논문에서는 하네스 최적화에서 결여되었던 이러한 차원을 자동 커리큘럼 학습(automated curriculum learning) 문제로 정식화하고 ActiveSaddler를 소개합니다. ActiveSaddler는 진화하는 커리큘럼을 동적으로 인스턴스화되는 최적화 대상을 갖춘 비정상 밴딧(non-stationary bandit)으로 모델링합니다. 이 방법은 반복되는 실패를 재사용 가능한 실패 패턴 암(arm)으로 추상화하고, 각 패턴을 추가로 목표 삼았을 때 얻을 수 있는 잠재적 학습 진행도를 추정하며, 알려진 약점을 다시 탐색하는 것과 새로운 약점을 찾기 위해 미확인 시나리오를 탐색하는 것 사이의 균형을 적응적으로 맞춥니다. 최적화 결과는 발견된 실패 패턴 집합과 그 우선순위를 지속적으로 업데이트하여 커리큘럼이 하네스와 함께 공동 진화할 수 있도록 합니다. GAIA2 및 Terminal-Bench 2.0에 대한 실험 결과, ActiveSaddler는 지속적으로 더 강력한 하네스를 발견하여 최적화 전에 고정된 시나리오 순서를 사용하는 동일한 하네스 옵티마이저 대비 테스트 Pass@1을 각각 4.4%p 및 7.5%p 향상시키는 것으로 나타났습니다. 추가 절제 연구(ablation study)는 이러한 향상이 최적화 대상을 동적으로 구성하고, 진화하는 유용성을 추정하며, 지속적인 최적화와 새로운 실패 발견 간의 균형을 맞추는 데 기인함을 보여줍니다. 종합적으로 이러한 결과는 자동 커리큘럼 학습이 하네스 최적화를 위한 핵심적인 새로운 최적화 차원임을 입증합니다.

arXiv:2610.00282v1cs.AI

양보할 시점 파악하기: 텍스트 기반 체화된 에이전트에서 사용자 수정에 대한 근거 기반 중재

Knowing When to Yield: Grounded Arbitration of User Corrections in Text-Based Embodied Agents

사람의 수정이 틀렸을 가능성이 있을 때 체화된 에이전트(embodied agent)는 어떻게 대응해야 하는가? 본 연구에서는 근거 기반 수정 중재(grounded correction arbitration)를 수락, 거부, 환경 조사, 그리고 화자에게 재질문하는 것 사이의 선택으로 공식화한다. GAVA는 관측 범위 제한 증거, 유효 탐침(legal probes), 1단계 기대 손실(one-step expected-loss) 규칙을 통해 이러한 인터페이스를 구현한다. 텍스트 전용 ALFWorld에서 162개 체크포인트를 통해 참과 거짓이 쌍을 이루는 972개의 개입이 생성된다. 완전한 국소 조사를 수행할 경우 GAVA와 상시 검증(always verify) 방식 모두 100%의 수정 정확도를 달성하여, 비교 우위보다는 증거 계약(evidence contract)을 확립함을 보여준다. 동일 에피소드 실행에서 GAVA는 상시 검증 방식 대비 상호작용 비용을 절감하지만, 완벽한 화자 조건에서는 비용 임계값과 대등한 수준을 보인다. 학습(training) 전용 탐색적 객체 위치 사전확률(prior)은 균등(uniform) GAVA 대비 340개의 미확인 시나리오에서 상호작용 및 선언된 결합 비용을 각각 0.490과 0.420 낮춘다. 정책, 비용, 베이스라인, 다중성 계획을 동결(freezing)한 후, 308개 시나리오를 다루는 중복되지 않는 77개의 기학습 체크포인트에서도 이득이 재현되어 각각 0.595와 0.517을 기록했으며, 두 95% 체크포인트-부트스트랩 신뢰구간 모두 0을 배제한다. 또한 결합 비용은 동일 사전확률 고정 정책 대비 향상되는 반면, 일치 보정된 무정보가치(calibrated no-VOI) 비교는 결론을 내리지 못한 채로 유지된다. 시맨틱 GAVA는 각 집단에서 4건의 사실적 오류를 범하여 98.8% 및 98.7%의 정확도에 해당하며, 모든 방법이 모든 과제를 완수한다. 결과는 선언된 비용 하에서 의미론적 사전확률을 활용한 선택적 정보 수집을 뒷받침하지만, 명확화 질의 대비 환경적 정보 가치(value of information)의 일반적인 우위를 입증하지는 않는다. 본 연구는 정규화된 주장, 완전한 기호적 관측, 통제된 화자를 사용하며, 인간 참가자, 시각적 입력, 물리적 로봇은 평가하지 않는다.

arXiv:2602.03006v3cs.AI

LLM 추론을 개념 예측기 그래프로 증류하기

Distilling LLM Reasoning into Graph of Concept Predictors

판별(discriminative) 작업에 대규모 언어 모델(LLM)을 배포하는 것은 대규모 환경에서 추론(inference) 지연 시간, 연산량 및 API 비용으로 인해 제한되는 경우가 많습니다. 능동적 증류(active distillation)는 LLM 오라클에 질의하여 작은 크기의 판별 학생(student) 모델을 학습(training)시킴으로써 이러한 비용을 절감하지만, 대부분의 파이프라인은 최종 라벨만을 증류하므로 중간 추론 신호를 버리게 되고 어떤 추론이 누락되었으며 어디서 오류가 발생하는지에 대한 제한적인 진단만을 제공합니다. 본 논문에서는 교사(teacher) 모델의 추론을 중간 개념들의 유향 비순환 그래프(DAG)로 도출하고 이를 학생 모델에 반영하는 추론 인식 능동적 증류 프레임워크인 개념 예측기 그래프(Graph of Concept Predictors, GCP)를 제안합니다. GCP는 개념별 불확실성, 그래디언트(gradient) 다양성, 노드(node) 중심성에 기반한 커버리지를 가중하는 그래프 인식 획득(acquisition) 전략을 통해 샘플 효율성을 향상시킵니다. 또한 다운스트림 손실(loss)을 특정 개념 예측기의 원인으로 귀속시키고 가장 영향력 있는 모듈만을 업데이트하는 타깃 하위 모듈 재학습을 수행하여 학습 안정성과 효율성을 개선합니다. 8개의 자연어 처리(NLP) 분류(classification) 벤치마크에 대한 실험을 통해 GCP가 제한된 어노테이션 예산 내에서 성능을 향상시키는 동시에 보다 해석 가능하고 제어 가능한 학습 동역학을 제공함을 입증합니다. 코드는 https://github.com/Ziyang-Yu/GCP 에서 확인할 수 있습니다.

arXiv:2609.36906v2cs.CV

SafeVantage: 신뢰할 수 있는 임바디드 의사결정을 위한 시점 인지 메모리

SafeVantage: Vantage-Aware Memory for Reliable Embodied Decisions

부분 관측성(partial observability) 환경에서 신뢰할 수 있는 임바디드(embodied) 의사결정을 내리려면 유의미한 관측과 충분한 뒷받침 증거가 필요합니다. 그러나 의미론적(semantic) 점수만으로는 어떤 시점(viewpoint)이 특정 주장을 뒷받침하는지, 또는 추가적인 증거를 어디서 확보해야 하는지 파악할 수 없습니다. 본 연구에서는 각 주장을 뒷받침하는 뷰, 카메라 포즈, 추정된 목표 위치를 보존하여 긍정적 지지(support)와 탐색 범위를 명확히 구분하는 시점 인지(vantage-aware) 의미 메모리 및 능동적 정보 획득 프레임워크인 SafeVantage를 소개합니다. 학습된 후보 관측 가능성(candidate-observability) 모델(model)은 주장 기반 지오메트리를 활용하여 도달 가능한 시점에서의 목표 가시성을 예측합니다. 이러한 예측은 이동 비용과 기하학적으로 구별되는 확증을 고려하여, 최종 결정 손실(loss)의 기대 감소량을 바탕으로 시점 선택을 유도합니다. 이후 보정된 헤드가 지지 증거, 공간적 일관성, 커버리지를 결합하여 'Yes', 'No', 또는 'Abstain(기권)' 결정을 내립니다. 저자들은 232개의 미확인 ProcTHOR 주택과 방법 및 행동 예산당 7,424개의 쌍을 이룬 에피소드에 걸친 범주 존재성 벤치마크(benchmark)에서 SafeVantage를 평가(evaluation)합니다. 검증(validation)을 통해 선정된 동일 예산의 베이스라인과 비교했을 때, SafeVantage는 8회 및 12회 행동 조건에서 각각 24.7%와 12.0%의 매크로-F1 향상을 달성하며, 두 예산 모두에서 더 낮은 위험과 더 높은 응답률을 기록했고 8회 행동 시 이동 거리를 31.7% 단축했습니다. 동일 입력 HM3D 실험에서는 고정 관측 환경에서 더 낮은 선택적 위험을 보였으며, 통제된 ScanNet 개입 실험을 통해 뒷받침 뷰를 복원하는 것이 다운스트림 VLM 응답을 개선함을 입증했습니다. 소거 연구는 후보 관측 가능성이 결정 품질과 정보 획득 효율성에 기여함을 추가로 뒷받침합니다. 본 결과는 의미 메모리, 능동적 정보 획득, 신뢰할 수 있는 의사결정을 연결하는 데 있어 주장 수준의 시점 증거가 지닌 가치를 보여줍니다. 코드는 https://safevantage.github.io 에서 확인할 수 있습니다.