Machine learning (ML) models that learn and predict properties of computer programs are increasingly being adopted and deployed. These models have demonstrated success in applications such as auto-completing code, summarizing large programs, and detecting bugs and malware in programs. In this work, we investigate principled ways to adversarially perturb a computer program to fool such learned models, and thus determine their adversarial robustness. We use program obfuscations, which have conventionally been used to avoid attempts at reverse engineering programs, as adversarial perturbations. These perturbations modify programs in ways that do not alter their functionality but can be crafted to deceive an ML model when making a decision. We provide a general formulation for an adversarial program that allows applying multiple obfuscation transformations to a program in any language. We develop first-order optimization algorithms to efficiently determine two key aspects -- which parts of the program to transform, and what transformations to use. We show that it is important to optimize both these aspects to generate the best adversarially perturbed program. Due to the discrete nature of this problem, we also propose using randomized smoothing to improve the attack loss landscape to ease optimization. We evaluate our work on Python and Java programs on the problem of program summarization. We show that our best attack proposal achieves a $52\%$ improvement over a state-of-the-art attack generation approach for programs trained on a seq2seq model. We further show that our formulation is better at training models that are robust to adversarial attacks.
The canonical approach to video captioning dictates a caption generation model to learn from offline-extracted dense video features. These feature extractors usually operate on video frames sampled at a fixed frame rate and are often trained on image/video understanding tasks, without adaption to video captioning data. In this work, we present SwinBERT, an end-to-end transformer-based model for video captioning, which takes video frame patches directly as inputs, and outputs a natural language description. Instead of leveraging multiple 2D/3D feature extractors, our method adopts a video transformer to encode spatial-temporal representations that can adapt to variable lengths of video input without dedicated design for different frame rates. Based on this model architecture, we show that video captioning can benefit significantly from more densely sampled video frames as opposed to previous successes with sparsely sampled video frames for video-and-language understanding tasks (e.g., video question answering). Moreover, to avoid the inherent redundancy in consecutive video frames, we propose adaptively learning a sparse attention mask and optimizing it for task-specific performance improvement through better long-range video sequence modeling. Through extensive experiments on 5 video captioning datasets, we show that SwinBERT achieves across-the-board performance improvements over previous methods, often by a large margin. The learned sparse attention masks in addition push the limit to new state of the arts, and can be transferred between different video lengths and between different datasets. Code is available at https://github.com/microsoft/SwinBERT
Model-based optimization approaches for monitoring and control, such as model predictive control and optimal state and parameter estimation, have been used for decades in many engineering applications. Models describing the dynamics, constraints, and desired performance criteria are fundamental to model-based approaches. Thanks to recent technological advancements in digitalization, machine learning methods such as deep learning, and computing power, there has been an increasing interest in using machine learning methods alongside model-based approaches for control and estimation. The number of new methods and theoretical findings using machine learning for model-based control and optimization is increasing rapidly. This paper outlines the basic ideas and principles behind an easy-to-use Python toolbox that allows to quickly and efficiently solve machine-learning-supported optimization, model predictive control, and estimation problems. The toolbox leverages state-of-the-art machine learning libraries to train components used to define the problem. It allows to efficiently solve the resulting optimization problems. Machine learning can be used for a broad spectrum of tasks, ranging from model predictive control for stabilization, setpoint tracking, path following, and trajectory tracking to moving horizon estimation and Kalman filtering. For linear systems, it enables quick code generation for embedded MPC applications. HILO-MPC is flexible and adaptable, making it especially suitable for research and fundamental development tasks. Due to its simplicity and numerous already implemented examples, it is also a powerful teaching tool. The usability is underlined, presenting a series of application examples.
Despite the substantial demand for high-quality, large-area building maps, no established open-source workflow for generating 2D and 3D maps currently exists. This study introduces an automated, open-source workflow for large-scale 2D and 3D building mapping utilizing airborne LiDAR data. Uniquely, our workflow operates entirely unsupervised, eliminating the need for any training procedures. We have integrated a specifically tailored DTM generation algorithm into our workflow to prevent errors in complex urban landscapes, especially around highways and overpasses. Through fine rasterization of LiDAR point clouds, we've enhanced building-tree differentiation, reduced errors near water bodies, and augmented computational efficiency by introducing a new planarity calculation. Our workflow offers a practical and scalable solution for the mass production of rasterized 2D and 3D building maps from raw airborne LiDAR data. Also, we elaborate on the influence of parameters and potential error sources to provide users with practical guidance. Our method's robustness has been rigorously optimized and tested using an extensive dataset (> 550 km$^2$), and further validated through comparison with deep learning-based and hand-digitized products. Notably, through these unparalleled, large-scale comparisons, we offer a valuable analysis of large-scale building maps generated via different methodologies, providing insightful evaluations of the effectiveness of each approach. We anticipate that our highly scalable building mapping workflow will facilitate the production of reliable 2D and 3D building maps, fostering advances in large-scale urban analysis. The code will be released upon publication.
The high cost of acquiring and annotating samples has made the `few-shot' learning problem of prime importance. Existing works mainly focus on improving performance on clean data and overlook robustness concerns on the data perturbed with adversarial noise. Recently, a few efforts have been made to combine the few-shot problem with the robustness objective using sophisticated Meta-Learning techniques. These methods rely on the generation of adversarial samples in every episode of training, which further adds a computational burden. To avoid such time-consuming and complicated procedures, we propose a simple but effective alternative that does not require any adversarial samples. Inspired by the cognitive decision-making process in humans, we enforce high-level feature matching between the base class data and their corresponding low-frequency samples in the pretraining stage via self distillation. The model is then fine-tuned on the samples of novel classes where we additionally improve the discriminability of low-frequency query set features via cosine similarity. On a 1-shot setting of the CIFAR-FS dataset, our method yields a massive improvement of $60.55\%$ & $62.05\%$ in adversarial accuracy on the PGD and state-of-the-art Auto Attack, respectively, with a minor drop in clean accuracy compared to the baseline. Moreover, our method only takes $1.69\times$ of the standard training time while being $\approx$ $5\times$ faster than state-of-the-art adversarial meta-learning methods. The code is available at https://github.com/vcl-iisc/robust-few-shot-learning.
High-quality training data is essential for enhancing the robustness of object detection models. Within the maritime domain, obtaining a diverse real image dataset is particularly challenging due to the difficulty of capturing sea images with the presence of maritime objects , especially in stormy conditions. These challenges arise due to resource limitations, in addition to the unpredictable appearance of maritime objects. Nevertheless, acquiring data from stormy conditions is essential for training effective maritime detection models, particularly for search and rescue, where real-world conditions can be unpredictable. In this work, we introduce SafeSea, which is a stepping stone towards transforming actual sea images with various Sea State backgrounds while retaining maritime objects. Compared to existing generative methods such as Stable Diffusion Inpainting~\cite{stableDiffusion}, this approach reduces the time and effort required to create synthetic datasets for training maritime object detection models. The proposed method uses two automated filters to only pass generated images that meet the criteria. In particular, these filters will first classify the sea condition according to its Sea State level and then it will check whether the objects from the input image are still preserved. This method enabled the creation of the SafeSea dataset, offering diverse weather condition backgrounds to supplement the training of maritime models. Lastly, we observed that a maritime object detection model faced challenges in detecting objects in stormy sea backgrounds, emphasizing the impact of weather conditions on detection accuracy. The code, and dataset are available at https://github.com/martin-3240/SafeSea.
Text-to-image diffusion models have remarkably excelled in producing diverse, high-quality, and photo-realistic images. This advancement has spurred a growing interest in incorporating specific identities into generated content. Most current methods employ an inversion approach to embed a target visual concept into the text embedding space using a single reference image. However, the newly synthesized faces either closely resemble the reference image in terms of facial attributes, such as expression, or exhibit a reduced capacity for identity preservation. Text descriptions intended to guide the facial attributes of the synthesized face may fall short, owing to the intricate entanglement of identity information with identity-irrelevant facial attributes derived from the reference image. To address these issues, we present the novel use of the extended StyleGAN embedding space $\mathcal{W}_+$, to achieve enhanced identity preservation and disentanglement for diffusion models. By aligning this semantically meaningful human face latent space with text-to-image diffusion models, we succeed in maintaining high fidelity in identity preservation, coupled with the capacity for semantic editing. Additionally, we propose new training objectives to balance the influences of both prompt and identity conditions, ensuring that the identity-irrelevant background remains unaffected during facial attribute modifications. Extensive experiments reveal that our method adeptly generates personalized text-to-image outputs that are not only compatible with prompt descriptions but also amenable to common StyleGAN editing directions in diverse settings. Our source code will be available at \url{https://github.com/csxmli2016/w-plus-adapter}.
CycleGAN has been proven to be an advanced approach for unsupervised image restoration. This framework consists of two generators: a denoising one for inference and an auxiliary one for modeling noise to fulfill cycle-consistency constraints. However, when applied to the infrared destriping task, it becomes challenging for the vanilla auxiliary generator to consistently produce vertical noise under unsupervised constraints. This poses a threat to the effectiveness of the cycle-consistency loss, leading to stripe noise residual in the denoised image. To address the above issue, we present a novel framework for single-frame infrared image destriping, named DestripeCycleGAN. In this model, the conventional auxiliary generator is replaced with a priori stripe generation model (SGM) to introduce vertical stripe noise in the clean data, and the gradient map is employed to re-establish cycle-consistency. Meanwhile, a Haar wavelet background guidance module (HBGM) has been designed to minimize the divergence of background details between the different domains. To preserve vertical edges, a multi-level wavelet U-Net (MWUNet) is proposed as the denoising generator, which utilizes the Haar wavelet transform as the sampler to decline directional information loss. Moreover, it incorporates the group fusion block (GFB) into skip connections to fuse the multi-scale features and build the context of long-distance dependencies. Extensive experiments on real and synthetic data demonstrate that our DestripeCycleGAN surpasses the state-of-the-art methods in terms of visual quality and quantitative evaluation. Our code will be made public at https://github.com/0wuji/DestripeCycleGAN.
Despite recent advances in large-scale text-to-image generative models, manipulating real images with these models remains a challenging problem. The main limitations of existing editing methods are that they either fail to perform with consistent quality on a wide range of image edits or require time-consuming hyperparameter tuning or fine-tuning of the diffusion model to preserve the image-specific appearance of the input image. We propose a novel approach that is built upon a modified diffusion sampling process via the guidance mechanism. In this work, we explore the self-guidance technique to preserve the overall structure of the input image and its local regions appearance that should not be edited. In particular, we explicitly introduce layout-preserving energy functions that are aimed to save local and global structures of the source image. Additionally, we propose a noise rescaling mechanism that allows to preserve noise distribution by balancing the norms of classifier-free guidance and our proposed guiders during generation. Such a guiding approach does not require fine-tuning the diffusion model and exact inversion process. As a result, the proposed method provides a fast and high-quality editing mechanism. In our experiments, we show through human evaluation and quantitative analysis that the proposed method allows to produce desired editing which is more preferable by humans and also achieves a better trade-off between editing quality and preservation of the original image. Our code is available at https://github.com/MACderRu/Guide-and-Rescale.
Commercial recommender systems face the challenge that task requirements from platforms or users often change dynamically (e.g., varying preferences for accuracy or diversity). Ideally, the model should be re-trained after resetting a new objective function, adapting to these changes in task requirements. However, in practice, the high computational costs associated with retraining make this process impractical for models already deployed to online environments. This raises a new challenging problem: how to efficiently adapt the learning model to different task requirements by controlling model parameters after deployment, without the need for retraining. To address this issue, we propose a novel controllable learning approach via Parameter Diffusion for controllable multi-task Recommendation (PaDiRec), which allows the customization and adaptation of recommendation model parameters to new task requirements without retraining. Specifically, we first obtain the optimized model parameters through adapter tunning based on the feasible task requirements. Then, we utilize the diffusion model as a parameter generator, employing classifier-free guidance in conditional training to learn the distribution of optimized model parameters under various task requirements. Finally, the diffusion model is applied to effectively generate model parameters in a test-time adaptation manner given task requirements. As a model-agnostic approach, PaDiRec can leverage existing recommendation models as backbones to enhance their controllability. Extensive experiments on public datasets and a dataset from a commercial app, indicate that PaDiRec can effectively enhance controllability through efficient model parameter generation. The code is released at https://anonymous.4open.science/r/PaDiRec-DD13.
Mamba, with its advantages of global perception and linear complexity, has been widely applied to identify changes of the target regions within the remote sensing (RS) images captured under complex scenarios and varied conditions. However, existing remote sensing change detection (RSCD) approaches based on Mamba frequently struggle to effectively perceive the inherent locality of change regions as they direct flatten and scan RS images (i.e., the features of the same region of changes are not distributed continuously within the sequence but are mixed with features from other regions throughout the sequence). In this paper, we propose a novel locally adaptive SSM-based approach, termed CD-Lamba, which effectively enhances the locality of change detection while maintaining global perception. Specifically, our CD-Lamba includes a Locally Adaptive State-Space Scan (LASS) strategy for locality enhancement, a Cross-Temporal State-Space Scan (CTSS) strategy for bi-temporal feature fusion, and a Window Shifting and Perception (WSP) mechanism to enhance interactions across segmented windows. These strategies are integrated into a multi-scale Cross-Temporal Locally Adaptive State-Space Scan (CT-LASS) module to effectively highlight changes and refine changes' representations feature generation. CD-Lamba significantly enhances local-global spatio-temporal interactions in bi-temporal images, offering improved performance in RSCD tasks. Extensive experimental results show that CD-Lamba achieves state-of-the-art performance on four benchmark datasets with a satisfactory efficiency-accuracy trade-off. Our code is publicly available at https://github.com/xwmaxwma/rschange.
We present SIREN for registration of multi-robot Gaussian Splatting (GSplat) maps, with zero access to camera poses, images, and inter-map transforms for initialization or fusion of local submaps. To realize these capabilities, SIREN harnesses the versatility and robustness of semantics in three critical ways to derive a rigorous registration pipeline for multi-robot GSplat maps. First, SIREN utilizes semantics to identify feature-rich regions of the local maps where the registration problem is better posed, eliminating the need for any initialization which is generally required in prior work. Second, SIREN identifies candidate correspondences between Gaussians in the local maps using robust semantic features, constituting the foundation for robust geometric optimization, coarsely aligning 3D Gaussian primitives extracted from the local maps. Third, this key step enables subsequent photometric refinement of the transformation between the submaps, where SIREN leverages novel-view synthesis in GSplat maps along with a semantics-based image filter to compute a high-accuracy non-rigid transformation for the generation of a high-fidelity fused map. We demonstrate the superior performance of SIREN compared to competing baselines across a range of real-world datasets, and in particular, across the most widely-used robot hardware platforms, including a manipulator, drone, and quadruped. In our experiments, SIREN achieves about 90x smaller rotation errors, 300x smaller translation errors, and 44x smaller scale errors in the most challenging scenes, where competing methods struggle. We will release the code and provide a link to the project page after the review process.
Current Multimodal Sentiment Analysis (MSA) and Emotion Recognition in Conversations (ERC) methods based on pre-trained language models exhibit two primary limitations: 1) Once trained for MSA and ERC tasks, these pre-trained language models lose their original generalized capabilities. 2) They demand considerable computational resources. As the size of pre-trained language models continues to grow, training larger multimodal sentiment analysis models using previous approaches could result in unnecessary computational cost. In response to this challenge, we propose \textbf{M}ultimodal \textbf{S}entiment Analysis and \textbf{E}motion Recognition \textbf{Adapter} (MSE-Adapter), a lightweight and adaptable plugin. This plugin enables a large language model (LLM) to carry out MSA or ERC tasks with minimal computational overhead (only introduces approximately 2.6M to 2.8M trainable parameters upon the 6/7B models), while preserving the intrinsic capabilities of the LLM. In the MSE-Adapter, the Text-Guide-Mixer (TGM) module is introduced to establish explicit connections between non-textual and textual modalities through the Hadamard product. This allows non-textual modalities to better align with textual modalities at the feature level, promoting the generation of higher-quality pseudo tokens. Extensive experiments were conducted on four public English and Chinese datasets using consumer-grade GPUs and open-source LLMs (Qwen-1.8B, ChatGLM3-6B-base, and LLaMA2-7B) as the backbone. The results demonstrate the effectiveness of the proposed plugin. The code will be released on GitHub after a blind review.
편집된 종단점 이미지는 이미지-비디오 전환의 목표를 명시적으로 하여 전환 완성도를 높일 수 있지만, 원본 이미지 레이아웃의 맥락도 함께 보존한다. 전체 프레임 종단점 조건화는 이렇게 보존된 맥락을 비디오 최종 상태에 대한 요구 사항으로 바꾸어 시간적 아티팩트를 유발할 수 있다. 우리는 불연속성을 하드 컷(HC)으로, 후반부 배경 역전을 배경 움직임 역전(BMR)으로, 움직임 억제를 동적 정도(DD)로 측정한다. 이러한 아티팩트는 학습 불필요 방식과 학습 기반 종단점 조건화를 아우르는 다섯 가지 비디오 모델에서 모델별로 다른 형태로 나타난다. 우리는 이미지 편집기 어텐션으로 추정한 편집 관련 영역만 제약하고 나머지 종단 내용은 비디오 모델에 맡기는 선택적 조건화 방식인 Partial을 연구한다. TC-Bench-I2V에서 세 가지 백본에 걸쳐, Partial은 전체 프레임 조건화에 비해 시간적 아티팩트를 줄이며 전환 완성 비율(TCR)에는 유의한 차이가 없다. Wan2.2-Turbo에서는 조건화를 균일하게 약화시켜도 이러한 감소가 재현되지 않는다. 도너 맥락 개입은 전체 프레임 조건화를 유지하되 편집 관련 영역 밖의 맥락만 Partial 비디오의 마지막 프레임으로 대체한다. 이는 HunyuanVideo-1.5에서 HC와 BMR을 낮추고, Wan2.2-Turbo에서 BMR을 낮추면서 DD를 회복시키며 TCR에는 유의한 차이가 없어, 제약 범위만으로는 이러한 아티팩트를 설명할 수 없음을 보여 준다. 종합하면 이러한 결과는 편집된 종단점이 부분적인 미래 목표로 기능해야 함을 시사하지만, 편집 관련성이 미래의 타당성을 보장하지는 않는다. 코드와 데이터는 https://github.com/wannagetacat/Edited-Endpoints-I2V 에서 공개될 예정이다.
도메인 모델은 공통된 이해를 가능하게 하고 구현을 안내하며 자동화된 분석과 모델 주도 개발을 지원하므로 소프트웨어 공학에서 핵심적이다. 그러나 이러한 이점에도 불구하고, 실무자들은 모델링이 시간이 많이 들고 부족한 전문 지식을 요구하기 때문에 이를 생략하는 경우가 많다. 우리는 지시 튜닝으로 적응시킨 오픈 웨이트 대규모 언어 모델이 자연어 설명으로부터 비용 효율적이고 프라이버시를 보호하는 방식으로 고품질 BPMN 프로세스 모델을 직접 생성할 수 있는지 조사함으로써 이 장벽을 해결한다. 우리는 텍스트-다이어그램 쌍 데이터를 준비하고, 온프레미스 배포를 위해 매개변수 효율적 미세 조정과 양자화로 오픈 소스 대규모 언어 모델을 지시 튜닝하는 재현 가능한 접근법인 InstruBPM을 소개한다. 튜닝된 모델은 상호 보완적인 관점에서 평가한다. (i) BLEU, ROUGE-L, METEOR를 이용한 텍스트/코드 유사도, (ii) 상대 그래프 편집 거리를 이용한 구조적 충실도, (iii) 외부 도구 검사를 이용한 가이드라인 준수도, (iv) 소규모 전문가 검토이다. 다중 도메인 BPMN 데이터셋의 선별된 부분집합을 사용하여, 일관된 프롬프트 방식 하에서 튜닝된 모델을 튜닝되지 않은 오픈 웨이트 베이스라인 및 강력한 상용 모델과 비교한다. 우리의 소형 튜닝 모델은 훨씬 적은 자원을 필요로 하면서도 시퀀스 및 구조 지표 전반에서 모든 베이스라인을 능가하며, 가이드라인 분석과 전문가 피드백은 생성된 다이어그램이 대체로 BPMN 모범 사례를 따르고 모델링 노력을 줄여 주는 유용한 출발점임을 추가로 보여준다. 전반적으로 지시 튜닝은 튜닝되지 않은 베이스라인에 비해 구조적 정확도와 견고성을 개선하고 무거운 프롬프트 구성에 대한 의존을 줄인다. 재현성과 추가 연구를 지원하기 위해 학습된 모델과 스크립트를 공개한다.
복잡한 시각 질의응답은 종종 비전-언어 모델이 이미지로 사고하는 것, 즉 고해상도 이미지의 정보가 풍부한 영역을 확대하여 국소적 시각 증거를 능동적으로 획득하는 것을 요구한다. 우리의 오류 분석에 따르면 이러한 설정에서 많은 실패는 잘못된 관찰 행동에서 비롯되며, 모델이 핵심 영역을 찾지 못하거나 답변에 충분한 증거를 담은 크롭을 얻지 못한다. 또한 바운딩 박스 토큰이 일반 언어 토큰보다 생성 엔트로피가 현저히 높다는 점을 관찰했으며, 이는 모델이 어디를 볼지 결정할 때 불확실성이 높음을 나타낸다. 그러나 최종 답변 보상에 기반한 기존 강화학습 방법은 궤적 수준의 피드백만 제공하므로 관찰 행동에 정확하게 기여도를 할당하기 어렵다. 우리는 도구를 활용하는 이미지로 사고하기에서 관찰 행동을 최적화하는 강화학습 알고리즘인 관찰 정책 최적화(OPO)를 제안한다. OPO는 두 가지 핵심 모듈로 구성된다. 첫째, 불확실성 유도 관찰 분기(UOB)는 각 이미지 확대 도구 호출을 관찰 이벤트로 취급하고 롤아웃 중 불확실성이 높고 중복성이 낮은 이벤트에서 선택적으로 분기하여, 대안적 크롭 결정과 그에 따른 시각 증거를 효율적으로 탐색한다. 둘째, 증거 국소화 이점 귀속(ELAA)은 국소적 증거 충분성 보상을 사용해 형제 분기들을 비교하고 해당 관찰 행동 토큰에만 기여도를 할당한다. 관찰 행동 최적화를 궤적 수준의 결과 지도와 분리함으로써 OPO는 시각 증거 획득을 개선하고 시각 추론 성능을 더욱 향상시킨다. 실험 결과 OPO는 다양한 규모의 Qwen3-VL 모델을 일관되게 개선하며, 더 큰 모델 및 도구 증강 기준선과 견줄 만한 성능을 달성한다. 코드는 공개되어 있다.
대규모 언어 모델(LLM)은 유창한 다중 문서 요약을 생성하지만, 출처 귀속(attribution)은 일반적으로 전체 문서나 단락 수준으로 거칠고 사후(post hoc)에 생성되어 각 서술을 검증하기 어렵습니다. 본 논문에서는 귀속성이 사후 예측이 아닌 생성의 구조적 특성이어야 한다고 주장합니다. 이를 위해 축어적 인용문(verbatim quotes)부터 토큰(token) 스팬에 이르는 출처(provenance)를 결정론적으로 해결하는 원자 단위 주장(atomic claims)으로 모든 소스 문서를 분해하고, 문서 간 동등한 주장을 클러스터링하는 동시에 소스 간 상충을 식별하며, 지지 관계를 고려한 핵심 하위 집합을 선택하고, 모든 요약 문장이 소스 스팬으로 역추적되는 주장 식별자로 끝나도록 재작성하는 주장 기반 다중 문서 요약 프레임워크인 CAMS를 제안합니다. 이는 본 연구에서 명확히 구분하는 분리를 가능하게 합니다. 즉, 출처 추적성은 모델(model) 정확도와 무관하게 모든 생성된 문장에 유지되는 불변 특성인 반면, 충실도(faithfulness)는 선택, 제약 조건 기반 재작성, 검증을 통해서만 촉진할 수 있는 목표라는 점이며, 기존의 엔드투엔드 및 사후 시스템은 이 구분을 혼동하고 있습니다. 본 연구는 MultiNews, DiverseSumm, 그리고 WCEP에서의 제로샷(zero-shot) 환경에서 선택이나 검증에 전혀 사용되지 않은 지지 모델로 감사(audit)를 수행하고, 참조가 필요 없는 인용 품질과 정답 기준 정합 위치 파악을 분리하는 두 가지 체계의 프로토콜에 따라 평가를 진행합니다. CAMS는 요약 품질 면에서 강력한 엔드투엔드 및 스팬 귀속 베이스라인과 대등한 성능을 보이면서 충실도와 인용 정밀도(precision)를 개선하여, 인용 소스 수를 부풀리지 않고도 다중 소스 귀속 정확도를 38%에서 64%로 끌어올렸으며 주장당 사람의 검증 시간을 $3.4\times$ 단축했습니다. 재사용 가능한 세밀한 귀속 자원으로서 MultiNews에 대한 코드 및 ${\sim}320$K개의 주장-인용문-스팬 주석을 공개합니다.
변분 오토인코더(VAE)의 사후 붕괴(posterior collapse)를 야기하는 두 독립 원인인 그래디언트 불균형과 정보 격차를 수식으로 규명하고, 재매개변수화 단계에서 샘플링 노이즈를 차원별 지수로 스케일링하는 λ-VAE를 제안해 분산 균등화(variance equalization)를 달성한다. Binary MNIST, CIFAR-10 등 표준 벤치마크에서 붕괴 차원을 대폭 감소시키고 정보 용량을 최대 2.8× 향상시키며 재구성 품질을 최대 +0.33 BPD 개선하는 성과를 보인다.
멀티모달 대규모 언어 모델(MLLM)의 기존 안전 메커니즘은 안전성과 유용성 사이의 근본적인 트레이드오프에 직면해 있다. 모델 미세조정은 강력한 안전성을 달성하지만 전반적인 유용성을 저하시킨다. 입력 측 안전 가드레일은 경량 대안을 제공하지만, 무해한 쿼리나 모델이 거부 또는 권고 응답을 통해 안전하게 답변할 수 있었던 질의까지 무차별적으로 차단하는 심각한 과도한 거부(over-refusal) 문제를 겪는다. 우리는 과도한 거부의 근본 원인이 입력 인식(input-aware) 패러다임에 있음을 규명한다: 안전 가드레일이 모델 자체가 안전한 응답을 생성할 능력이 있는지를 고려하지 않고 안전 결정을 내린다는 것이다. 일반적으로 MLLM은 해로운 입력을 무해한 출력으로 변환할 수 있는 내재적 안전 메커니즘을 이미 보유하고 있지만, 입력 측 안전 가드레일이 이 능력을 무력화하여 사용자 경험을 저하시킨다. 이러한 통찰에 기반하여, 우리는 출력 인식(output-aware) 안전 가드레일로의 패러다임 전환을 제안한다. 우리의 방법은 모델의 은닉 상태 공간 내에서 작동하여, 생성이 완전히 이루어지기 전에 다가오는 생성 결과가 안전하지 않을지를 예측한다. 은닉 상태 표현에 대한 다중 인스턴스 대조 학습을 통해 경량 분류기를 학습함으로써, 우리의 접근법은 입력 자체에 위험 요소가 포함되어 있더라도 안전하지 않은 출력으로 이어질 입력과 그렇지 않을 입력을 구별한다. 이를 통해 모델의 실제 응답이 유해할 경우에만 정확한 개입이 가능해진다. 광범위한 실험을 통해 우리의 출력 인식 안전 가드레일이 기존 방법의 안전성 성능과 동등하면서도 과도한 거부를 대폭 줄이고, 모델의 유용성과 내장 안전 능력을 보존함을 입증한다. 코드는 https://github.com/kunzhan/OutGuard 에서 확인할 수 있다.
온-정책(on-policy) 증류(OPD)는 학생 모델 자체에서 샘플링된 궤적(trajectory) 상에서 학생을 교사 모델과 정렬함으로써 오프라인 증류의 학습-테스트 상태 불일치를 줄입니다. 그럼에도 불구하고 동일한 피드백 루프로 인해 불안정성이 발생할 수 있습니다. 즉, 매 업데이트마다 정책과 다음 업데이트가 계산되는 상태가 모두 변경됩니다. 본 논문에서는 두 개의 학습 가능한 정책을 사용하는 혼합 제약 기반 공동 학습(co-training) 방법인 WDL-OPD를 소개합니다. 앵커(anchor) 정책은 모든 롤아웃(rollout)을 생성하고, 보조(auxiliary) 정책은 동일하게 방문된 상태를 평가하며, 이들의 토큰(token) 분포에 대한 기하학적 혼합은 역방향 KL(reverse KL)을 통해 동결된 교사 모델과 매칭됩니다. 두 정책 모두 그래디언트(gradient)를 받습니다. 보조 정책을 동결(freezing)하면 OPD$^2$ 및 W2S-OPD와 밀접하게 관련된 앵커-플러스-대조 대리 목표를 회복하는 반면, 결합 학습은 정적 델타로는 표현할 수 없는 브랜치 수준의 자유도를 생성함을 보입니다. 1.7B 및 4B 규모에서 기록된 Qwen3 실험에서 WDL-OPD는 4개의 규모-도메인 설정 각각에서 가장 강력한 학생 체크포인트(checkpoint)를 생성합니다. 4B에서 MATH500 정확도를 0.630에서 0.685로, 1.7B에서는 0.521에서 0.585로 향상시킵니다. 코드 생성에서 7개의 단일 정책 OPD 구성은 엔트로피 증가 또는 궤적 저하를 보이는 반면, 공동 학습은 독립적으로 재평가된 개발 점수 0.637 및 0.375에 도달합니다. 여러 비교 항목이 커리큘럼이나 초기화(initialization)에서 차이를 보이므로, 이러한 결과는 보편적인 인과적 주장보다는 안정화 가설을 뒷받침합니다. 우리는 해당 가설을 검증하는 데 필요한 정확한 학습(training) 알고리즘, 실패 증거 및 통제된 비교 매트릭스를 제공합니다.