PyTorchKR Papers

“Code Generation”

총 10,186편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2610.10563v1cs.CV

SLVR: 인간과 유사한 추론 흐름을 통한 구조화된 잠재 시각적 추론

SLVR: Structured Latent Visual Reasoning via Human-like Reasoning Flows

멀티모달 대규모 언어 모델(MLLM)은 과제와 관련된 시각적 증거보다 언어적 사전 확률에 의존하여 시각적 추론 질문에 답하는 경우가 많습니다. 텍스트 기반 사고의 연쇄(Chain-of-Thought, CoT) 추론은 모델이 시각적 질문을 중간 증거 탐색 단계로 분해하도록 유도하여 이 문제를 부분적으로 완화할 수 있지만, 이러한 단계를 자기회귀적(autoregressively)으로 생성하면 추론(inference) 비용이 증가합니다. 잠재 추론(latent reasoning)은 명시적인 근거 생성을 피하지만, 기존 접근법은 중간 상태가 인코딩하는 정보에 대한 제어가 제한적이어서 계획(planning), 그라운딩(grounding), 증거 선택에 대한 개별적인 지도(supervision)를 적용하기 어렵습니다. 본 논문에서는 멀티모달 추론을 계획, 그라운딩, 증거 선택, 추론 통합을 위한 유형화된 잠재 단계로 구성함으로써 명시적 사고의 연쇄와 잠재 추론을 연결하는 학습(training) 프레임워크인 SLVR(Structured Latent Visual Reasoning)을 제안합니다. SLVR은 먼저 정답을 드러내는 텍스트를 마스킹하고 정답을 시각적으로 그럴듯한 오답과 대조함으로써 모델이 이미지에 의존하도록 학습시킵니다. 그런 다음 추론을 계획, 그라운딩, 증거 선택, 통합을 위한 잠재 단계로 구성하고, 각 단계를 그에 대응하는 신호인 계획, 바운딩 박스, 시각적 증거, 최종 근거로 지도합니다. 이를 통해 추론 시점에 생성되는 텍스트 체인을 피하면서도 잠재 추론에 명시적인 기능적 구조를 부여합니다. Qwen2.5-VL-7B를 기반으로 구축된 SLVR은 멀티모달 추론 벤치마크 전반에서 일관된 성능 향상을 보였으며, MMVP에서 +9.4, BLINK Relation에서 +14.2의 절대적 향상을 기록했을 뿐만 아니라 V*, MathVista, ChartQA에서도 성능이 향상되었습니다. 이러한 결과는 구조화된 잠재 지도가 텍스트 CoT의 디코딩 오버헤드 없이 미세한 시각적 추론을 개선할 수 있음을 시사합니다. 프로젝트 페이지는 \href{https://bogao-code.github.io/SLVR/}{여기}에서 확인할 수 있습니다.

arXiv:1907.02345

Probabilistic CCA with Implicit Distributions

Canonical Correlation Analysis (CCA) is a classic technique for multi-view data analysis. To overcome the deficiency of linear correlation in practical multi-view learning tasks, various CCA variants were proposed to capture nonlinear dependency. However, it is non-trivial to have an in-principle understanding of these variants due to their inherent restrictive assumption on the data and latent code distributions. Although some works have studied probabilistic interpretation for CCA, these models still require the explicit form of the distributions to achieve a tractable solution for the inference. In this work, we study probabilistic interpretation for CCA based on implicit distributions. We present Conditional Mutual Information (CMI) as a new criterion for CCA to consider both linear and nonlinear dependency for arbitrarily distributed data. To eliminate direct estimation for CMI, in which explicit form of the distributions is still required, we derive an objective which can provide an estimation for CMI with efficient inference methods. To facilitate Bayesian inference of multi-view analysis, we propose Adversarial CCA (ACCA), which achieves consistent encoding for multi-view data with the consistent constraint imposed on the marginalization of the implicit posteriors. Such a model would achieve superiority in the alignment of the multi-view data with implicit distributions. It is interesting to note that most of the existing CCA variants can be connected with our proposed CCA model by assigning specific form for the posterior and likelihood distributions. Extensive experiments on nonlinear correlation analysis and cross-view generation on benchmark and real-world datasets demonstrate the superiority of our model.

arXiv:2303.16666공식 코드 · Papers with Code

SC-VAE: Sparse Coding-based Variational Autoencoder with Learned ISTA

Learning rich data representations from unlabeled data is a key challenge towards applying deep learning algorithms in downstream tasks. Several variants of variational autoencoders (VAEs) have been proposed to learn compact data representations by encoding high-dimensional data in a lower dimensional space. Two main classes of VAEs methods may be distinguished depending on the characteristics of the meta-priors that are enforced in the representation learning step. The first class of methods derives a continuous encoding by assuming a static prior distribution in the latent space. The second class of methods learns instead a discrete latent representation using vector quantization (VQ) along with a codebook. However, both classes of methods suffer from certain challenges, which may lead to suboptimal image reconstruction results. The first class suffers from posterior collapse, whereas the second class suffers from codebook collapse. To address these challenges, we introduce a new VAE variant, termed sparse coding-based VAE with learned ISTA (SC-VAE), which integrates sparse coding within variational autoencoder framework. The proposed method learns sparse data representations that consist of a linear combination of a small number of predetermined orthogonal atoms. The sparse coding problem is solved using a learnable version of the iterative shrinkage thresholding algorithm (ISTA). Experiments on two image datasets demonstrate that our model achieves improved image reconstruction results compared to state-of-the-art methods. Moreover, we demonstrate that the use of learned sparse code vectors allows us to perform downstream tasks like image generation and unsupervised image segmentation through clustering image patches.

arXiv:2403.03309공식 코드 · Papers with Code

Learning Zero-Shot Material States Segmentation, by Implanting Natural Image Patterns in Synthetic Data

Visual recognition of materials and their states is essential for understanding the physical world, from identifying wet regions on surfaces or stains on fabrics to detecting infected areas on plants or minerals in rocks. Collecting data that captures this vast variability is complex due to the scattered and gradual nature of material states. Manually annotating real-world images is constrained by cost and precision, while synthetic data, although accurate and inexpensive, lacks real-world diversity. This work aims to bridge this gap by infusing patterns automatically extracted from real-world images into synthetic data. Hence, patterns collected from natural images are used to generate and map materials into synthetic scenes. This unsupervised approach captures the complexity of the real world while maintaining the precision and scalability of synthetic data. We also present the first comprehensive benchmark for zero-shot material state segmentation, utilizing real-world images across a diverse range of domains, including food, soils, construction, plants, liquids, and more, each appears in various states such as wet, dry, infected, cooked, burned, and many others. The annotation includes partial similarity between regions with similar but not identical materials and hard segmentation of only identical material states. This benchmark eluded top foundation models, exposing the limitations of existing data collection methods. Meanwhile, nets trained on the infused data performed significantly better on this and related tasks. The dataset, code, and trained model are available. We also share 300,000 extracted textures and SVBRDF/PBR materials to facilitate future datasets generation.

arXiv:2407.16193

CloudFixer: Test-Time Adaptation for 3D Point Clouds via Diffusion-Guided Geometric Transformation

3D point clouds captured from real-world sensors frequently encompass noisy points due to various obstacles, such as occlusion, limited resolution, and variations in scale. These challenges hinder the deployment of pre-trained point cloud recognition models trained on clean point clouds, leading to significant performance degradation. While test-time adaptation (TTA) strategies have shown promising results on this issue in the 2D domain, their application to 3D point clouds remains under-explored. Among TTA methods, an input adaptation approach, which directly converts test instances to the source domain using a pre-trained diffusion model, has been proposed in the 2D domain. Despite its robust TTA performance in practical situations, naively adopting this into the 3D domain may be suboptimal due to the neglect of inherent properties of point clouds, and its prohibitive computational cost. Motivated by these limitations, we propose CloudFixer, a test-time input adaptation method tailored for 3D point clouds, employing a pre-trained diffusion model. Specifically, CloudFixer optimizes geometric transformation parameters with carefully designed objectives that leverage the geometric properties of point clouds. We also substantially improve computational efficiency by avoiding backpropagation through the diffusion model and a prohibitive generation process. Furthermore, we propose an online model adaptation strategy by aligning the original model prediction with that of the adapted input. Extensive experiments showcase the superiority of CloudFixer over various TTA baselines, excelling in handling common corruptions and natural distribution shifts across diverse real-world scenarios. Our code is available at https://github.com/shimazing/CloudFixer

arXiv:2407.17789cs.MA공식 코드 · Papers with Code

Very Large-Scale Multi-Agent Simulation in AgentScope

최근 대규모 언어 모델(LLM)의 발전은 멀티 에이전트 시스템을 매우 대규모 시뮬레이션에 적용하는 새로운 가능성을 열어주었습니다. 그러나 기존의 멀티 에이전트 플랫폼은 확장성, 효율성, 에이전트 다양성 및 관리 프로세스의 복잡성 등 여러 가지 도전 과제에 직면해 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 사용자 친화적인 멀티 에이전트 플랫폼인 **AgentScope**의 여러 새로운 기능과 구성 요소를 개발하였습니다. 특히, 본 연구에서는 **액터 기반 분산 메커니즘**을 도입하여 에이전트의 병렬 실행과 자동 워크플로 변환을 통해 시뮬레이션의 확장성과 효율성을 크게 향상시켰습니다. 이 메커니즘은 제한된 수의 장치로도 대규모 에이전트를 효과적으로 관리할 수 있도록 하며, 에이전트 간 및 에이전트-환경 간의 상호작용을 지원합니다. 또한, 다양한 배경 설정을 가진 에이전트를 쉽게 생성할 수 있는 구성 도구와 자동 배경 생성 파이프라인을 통합하여, 사용자들이 더욱 다양한 인구 분포를 반영한 에이전트를 생성할 수 있도록 하였습니다. 이와 함께, **Agent-Manager** 모듈을 통해 대규모 에이전트 기반 시뮬레이션의 조직 및 관찰 과정을 단순화하였으며, 웹 기반 인터페이스를 통해 에이전트의 효율적인 관리가 가능하게 되었습니다. 본 연구는 포괄적인 시뮬레이션을 통해 이러한 개선 사항의 효과를 입증하고, 멀티 에이전트 시스템이 대규모 시뮬레이션에 적용될 수 있는 큰 잠재력을 강조합니다. 마지막으로, 본 연구의 소스 코드는 GitHub에 공개되어 있어, 향후 대규모 멀티 에이전트 시뮬레이션에 대한 추가 연구 및 개발을 촉진할 수 있는 기초 자료로 활용될 것입니다. 이러한 혁신적인 접근 방식은 멀티 에이전트 시스템의 발전에 기여하며, 다양한 실제 시나리오에서의 적용 가능성을 높이는 데 중요한 역할을 할 것입니다.

arXiv:2409.03155공식 코드 · Papers with Code

Debate on Graph: a Flexible and Reliable Reasoning Framework for Large Language Models

Large Language Models (LLMs) may suffer from hallucinations in real-world applications due to the lack of relevant knowledge. In contrast, knowledge graphs encompass extensive, multi-relational structures that store a vast array of symbolic facts. Consequently, integrating LLMs with knowledge graphs has been extensively explored, with Knowledge Graph Question Answering (KGQA) serving as a critical touchstone for the integration. This task requires LLMs to answer natural language questions by retrieving relevant triples from knowledge graphs. However, existing methods face two significant challenges: \textit{excessively long reasoning paths distracting from the answer generation}, and \textit{false-positive relations hindering the path refinement}. In this paper, we propose an iterative interactive KGQA framework that leverages the interactive learning capabilities of LLMs to perform reasoning and Debating over Graphs (DoG). Specifically, DoG employs a subgraph-focusing mechanism, allowing LLMs to perform answer trying after each reasoning step, thereby mitigating the impact of lengthy reasoning paths. On the other hand, DoG utilizes a multi-role debate team to gradually simplify complex questions, reducing the influence of false-positive relations. This debate mechanism ensures the reliability of the reasoning process. Experimental results on five public datasets demonstrate the effectiveness and superiority of our architecture. Notably, DoG outperforms the state-of-the-art method ToG by 23.7\% and 9.1\% in accuracy on WebQuestions and GrailQA, respectively. Furthermore, the integration experiments with various LLMs on the mentioned datasets highlight the flexibility of DoG. Code is available at \url{https://github.com/reml-group/DoG}.

arXiv:2409.16278

Adapting Vision-Language Model with Fine-grained Semantics for Open-Vocabulary Segmentation

Despite extensive research, open-vocabulary segmentation methods still struggle to generalize across diverse domains. To reduce the computational cost of adapting Vision-Language Models (VLMs) while preserving their pre-trained knowledge, most methods freeze the VLMs for mask classification and train only the mask generator. However, our comprehensive analysis reveals a surprising insight: open-vocabulary segmentation is primarily bottlenecked by mask classification, not mask generation. This discovery prompts us to rethink the existing paradigm and explore an alternative approach. Instead of freezing the VLM, we propose to freeze the pre-trained mask generator and focus on optimizing the mask classifier. Building on the observation that VLMs pre-trained on global-pooled image-text features often fail to capture fine-grained semantics necessary for effective mask classification, we propose a novel Fine-grained Semantic Adaptation (FISA) method to address this limitation. FISA enhances the extracted visual features with fine-grained semantic awareness by explicitly integrating this crucial semantic information early in the visual encoding process. As our method strategically optimizes only a small portion of the VLM's parameters, it enjoys the efficiency of adapting to new data distributions while largely preserving the valuable VLM pre-trained knowledge. Extensive ablation studies confirm the superiority of our approach. Notably, FISA achieves new state-of-the-art results across multiple representative benchmarks, improving performance by up to +1.0 PQ and +3.0 mIoU and reduces training costs by nearly 5x compared to previous best methods. Our code and data will be made public.

arXiv:2411.07098

A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs

As modern web services increasingly rely on REST APIs, their thorough testing has become crucial. Furthermore, the advent of REST API documentation languages, such as the OpenAPI Specification, has led to the emergence of many black-box REST API testing tools. However, these tools often focus on individual test elements in isolation (e.g., APIs, parameters, values), resulting in lower coverage and less effectiveness in fault detection. To address these limitations, we present AutoRestTest, the first black-box tool to adopt a dependency-embedded multi-agent approach for REST API testing that integrates multi-agent reinforcement learning (MARL) with a semantic property dependency graph (SPDG) and Large Language Models (LLMs). Our approach treats REST API testing as a separable problem, where four agents -- API, dependency, parameter, and value agents -- collaborate to optimize API exploration. LLMs handle domain-specific value generation, the SPDG model simplifies the search space for dependencies using a similarity score between API operations, and MARL dynamically optimizes the agents' behavior. Our evaluation of AutoRestTest on 12 real-world REST services shows that it outperforms the four leading black-box REST API testing tools, including those assisted by RESTGPT (which generates realistic test inputs using LLMs), in terms of code coverage, operation coverage, and fault detection. Notably, AutoRestTest is the only tool able to trigger an internal server error in the Spotify service. Our ablation study illustrates that each component of AutoRestTest -- the SPDG, the LLM, and the agent-learning mechanism -- contributes to its overall effectiveness.

arXiv:2412.08947공식 코드 · Papers with Code

Selective Visual Prompting in Vision Mamba

Pre-trained Vision Mamba (Vim) models have demonstrated exceptional performance across various computer vision tasks in a computationally efficient manner, attributed to their unique design of selective state space models. To further extend their applicability to diverse downstream vision tasks, Vim models can be adapted using the efficient fine-tuning technique known as visual prompting. However, existing visual prompting methods are predominantly tailored for Vision Transformer (ViT)-based models that leverage global attention, neglecting the distinctive sequential token-wise compression and propagation characteristics of Vim. Specifically, existing prompt tokens prefixed to the sequence are insufficient to effectively activate the input and forget gates across the entire sequence, hindering the extraction and propagation of discriminative information. To address this limitation, we introduce a novel Selective Visual Prompting (SVP) method specifically for the efficient fine-tuning of Vim. To prevent the loss of discriminative information during state space propagation, SVP employs lightweight selective prompters for token-wise prompt generation, ensuring adaptive activation of the update and forget gates within Mamba blocks to promote discriminative information propagation. Moreover, considering that Vim propagates both shared cross-layer information and specific inner-layer information, we further refine SVP with a dual-path structure: Cross-Prompting and Inner-Prompting. Cross-Prompting utilizes shared parameters across layers, while Inner-Prompting employs distinct parameters, promoting the propagation of both shared and specific information, respectively. Extensive experimental results on various large-scale benchmarks demonstrate that our proposed SVP significantly outperforms state-of-the-art methods. Our code is available at https://github.com/zhoujiahuan1991/AAAI2025-SVP.

arXiv:2507.11252공식 코드 · Papers with Code

MFGDiffusion: Mask-Guided Smoke Synthesis for Enhanced Forest Fire Detection

Smoke is the first visible indicator of a wildfire.With the advancement of deep learning, image-based smoke detection has become a crucial method for detecting and preventing forest fires. However, the scarcity of smoke image data from forest fires is one of the significant factors hindering the detection of forest fire smoke. Image generation models offer a promising solution for synthesizing realistic smoke images. However, current inpainting models exhibit limitations in generating high-quality smoke representations, particularly manifesting as inconsistencies between synthesized smoke and background contexts. To solve these problems, we proposed a comprehensive framework for generating forest fire smoke images. Firstly, we employed the pre-trained segmentation model and the multimodal model to obtain smoke masks and image captions.Then, to address the insufficient utilization of masks and masked images by inpainting models, we introduced a network architecture guided by mask and masked image features. We also proposed a new loss function, the mask random difference loss, which enhances the consistency of the generated effects around the mask by randomly expanding and eroding the mask edges.Finally, to generate a smoke image dataset using random masks for subsequent detection tasks, we incorporated smoke characteristics and use a multimodal large language model as a filtering tool to select diverse and reasonable smoke images, thereby improving the quality of the synthetic dataset. Experiments showed that our generated smoke images are realistic and diverse, and effectively enhance the performance of forest fire smoke detection models. Code is available at https://github.com/wghr123/MFGDiffusion.

arXiv:2610.38001v1cs.LG

순차적 미세 조정 중 안전성 보존: 리플레이에 대한 요인적·기하학적 분석

Preserving Safety During Sequential Fine-Tuning: A Factorial and Geometric Analysis of Replay

무해한 미세 조정도 대규모 언어 모델의 안전성 정렬을 약화시킬 수 있으며, 순차적 적응은 이러한 위험을 크게 증폭시킨다. 기존 연구는 유해 프롬프트에 대한 거절 예시와 무해한 응답 수행 예시를 리플레이하여 이러한 약화를 완화하였고, 다른 연구는 대신 증류를 통해 기반 모델의 로짓을 맞추는 방식을 사용하였다. 그러나 순차적 적응 과정에서 지도 노출과 증류가 안전성 행동 및 거절 기하 구조에 각각 어떤 기여를 하는지는 여전히 불분명하다. 본 연구는 이 두 전략을 분리하여, 다양한 과제 순서(코드 생성, 독일어 요약, 과학 질의응답)에 걸쳐 Mistral-7B와 Llama-3-8B를 순차적으로 LoRA 미세 조정하는 동안의 행동적·기하학적 효과를 분석한다. 행동 측면에서, 지도 리플레이 노출은 Mistral에서 HarmBench 공격 성공률(ASR)을 기반 모델보다 평균 51.1포인트 낮추어 가장 큰 감소를 보이지만, OR-Bench-hard에서 과잉 거절이 기반 모델보다 평균 53.4포인트 증가하는 상당한 비용이 따른다. 지도 리플레이 손실이 전혀 없는 로짓 증류는 이 비용의 일부만으로 안전성 약화를 대체로 방지한다. 평균 ASR이 5.4포인트 감소하는 동안 과잉 거절은 5.1포인트 증가하는 데 그친다. Llama에서도 두 전략 사이에 동일한 비대칭이 나타난다. 노출과 증류를 결합하면 노출로 인한 과잉 거절이 완화되면서 후속 과제 점수는 대체로 영향을 받지 않는다. 기하학적으로는 두 모델이 서로 다른 양상을 보인다. Mistral에서는 증류가 노출보다 기반 모델의 거절 방향을 더 가깝게 보존하는 반면, Llama에서는 추출된 거절 방향을 제거(ablation)하더라도 노출 이후의 거절 행동이 대부분 유지된다. 모델 간의 이러한 불일치는 기반 모델의 거절 방향을 보존하는 것이 행동적 안전성을 나타내는 신뢰할 만한 대리 지표가 아님을 시사한다.

arXiv:2611.04414v1cs.CV

SphereFlow: 초구면 위의 기하학적 수송을 통한 결측 모달리티 보완

SphereFlow: Missing Modality Imputation via Geometric Transport on Hypersphere

결측 모달리티 보완은 관측된 모달리티로부터 관측되지 않은 모달리티를 합성하는 것을 목표로 한다. 기존 방법은 각 모달리티가 자신만의 잠재 다양체 위에 존재한다고 보아, 생성기가 이들 사이의 길고 구조화되지 않은 도약을 학습하도록 강제한다. 본 연구는 근본적으로 다른 관점을 취하는 SphereFlow를 제시한다. 고정된 자기지도 인코더를 통해 모든 모달리티를 공유 초구면 잠재 공간으로 사영하면, 교차 모달 보완은 구면 위 인접한 점들 사이의 단거리 기하학적 수송으로 환원된다. 그러나 이 아이디어를 플로 매칭으로 구현하면 두 가지 기하학적 충돌이 드러난다. 표준 가우시안 노이즈 소스는 단위 노름 데이터 다양체와 심각하게 불일치하며, 선형 보간 경로는 구면 표면을 벗어나 디코더에 학습 신호가 없는 영역으로 향한다. 우리는 두 문제를 단순한 기하 인지형 수정으로 해결한다. 속도장이 교차 모달 변위만을 학습하도록 노이즈 소스를 관측 모달리티의 잠재 표현으로 대체하고, 플로가 지나가는 표면 근처 영역으로 디코더의 정의역을 넓히는 시간 가중 손실로 디코더를 학습한다. 이러한 데이터-소스 정식화가 최악의 경우 다양체 이탈 편차를 잠재 차원에 따라 커지는 양에서 모달리티 간 유사도로 결정되는 작고 차원에 무관한 경계로 줄임을 증명한다. BraTS 다중 모달 MRI 보완과 CT-MRI 변환 실험에서 모든 설정에 걸쳐 최고 수준의 생성 충실도를 보였으며, 보완된 데이터를 이용한 하위 뇌종양 분할은 전체 모달리티 오라클과의 격차를 약 80% 좁힌다. 코드는 https://github.com/WTHH031230/SphereFlow 에서 확인할 수 있다.

arXiv:2611.07867v1cs.CV

PlayGen2: 명시적 3D 상태로 실시간 플레이 가능한 세계 학습하기

PlayGen2: Learning Real-Time Playable Worlds with Explicit 3D State

플레이 가능한 세계를 구축하려면 그럴듯한 비디오를 생성하는 것 이상이 필요하다. 즉, 반응성 있는 제어, 지속적인 공간 구조, 동적 개체와의 일관된 상호작용이 요구된다. 생성된 프레임을 유일한 순환 세계 표현으로 사용하면 이러한 요구 사항이 시점 의존적 외관 합성에 묶여, 생성과 상호작용에서 장기적인 공간적·시간적 일관성을 유지하기 어렵다. 우리는 학습된 3D 상태 진화를 신경 렌더링과 분리하는 실시간 상호작용 세계 모델 PlayGen2를 제시한다. PlayGen2는 체적 점유 격자로 표현되는 정적 기하와 플레이어 및 다른 개체에 대한 식별자 색인 3D 상태로 구성된 지속적 세계 메모리를 유지한다. 고정 크기의 국소 영역 내에서 세계 상태 모델은 행동 조건부 개체 동역학, 기하 완성, 개체 발견을 공동으로 학습하고 갱신 사항을 지속적 세계 메모리에 반영한다. 별도의 신경 렌더러는 생성된 이미지를 상태 예측에 다시 입력하지 않고 세계 상태의 깊이 및 의미 투영으로부터 1인칭 관측을 합성한다. Doom을 테스트베드로 사용하여, 모델이 기하를 인식하는 플레이어 이동과 플레이어–NPC 상호작용을 포함한 세계 동역학을 성공적으로 학습함을 보인다. 이 프레임워크는 계산 효율적이어서 M4 Pro 칩이 탑재된 MacBook Pro에서 전체 시뮬레이션 및 렌더링 파이프라인이 약 160ms의 백엔드 지연 시간을 달성한다. 단일 플레이어 상호작용을 넘어, 보지 못한 Doom 맵에 대한 제로샷 배포, 단일 플레이어 모델의 합성을 통한 멀티플레이어 상호작용, 규칙 기반 상태 개입을 통한 프로그래밍 가능한 게임플레이를 보인다. 이러한 능력은 학습된 게임 세계 모델의 전이 가능성과 확장성을 보여준다. 코드와 사전학습된 모델 가중치는 공개되어 있다.

arXiv:2606.18910v1cs.LG

REVES: 테스트 타임 스케일링을 위한 수정 및 검증 증대 학습

REVES: REvision and VErification--Augmented Training for Test-Time Scaling

순차적 수정 기반 테스트 타임 스케일링(TTS)과 단일 샷 사후학습 목표의 불일치를 해소하기 위해, REVES는 성공적 복구 궤적의 근접 오답을 분리된 수정·검증 프롬프트로 바꾸며 온라인 데이터 증강과 정책 최적화를 번갈아 수행하는 2단계 프레임워크를 제안한다. LiveCodeBench에서 RL 기준선 대비 +6.5점, 표준 멀티턴 학습 대비 +4.0점을 기록했고, 4B 모델로 circle packing SOTA와 동등한 성능을 적은 롤아웃으로 달성하며 수학·퍼즐 과제에서도 수정 능력 향상을 확인했다.

arXiv:2606.23938v1cs.AI

Neuro-Symbolic Drive: Rule-Grounded Faithful Reasoning for Driving VLAs

Driving VLA models incorporating Chain-of-Thought (CoT) reasoning are attractive because they leverage pretrained VLM representations and expose intermediate decisions in natural language, yet current rationales often lack the step-by-step decision semantics needed to keep the rationale causally connected to the planned motion. We introduce Neuro-Symbolic Drive, a neuro-symbolic driving framework that supervises a driving VLA with rule-grounded reasoning traces extracted directly from classical rule-based planners. Our key observation is that rule-based planners are symbolic AI systems that already function as executable reasoning engines: they reason about active safety constraints, search over candidate maneuvers, and select a final trajectory. We instrument these planners in simulation to capture both the executed trajectory and the internal decision trace at each rule-evaluation step. Each trace is serialized into structured rule-grounded reasoning and paired with the trajectory to fine-tune Qwen3.5-4B as a driving VLA. Because these traces are derived directly from the planner states that determine the action, they ensure reasoning is structurally coupled to motion generation by construction, rather than by post-hoc alignment. On our simulator-generated benchmark, detailed rule-grounded reasoning reduces ADE@3s from 0.47 to 0.26 and miss rate from 8.30% to 6.40% under three-camera perception, and from 0.54 to 0.26 and 10.13% to 5.99% under eight-camera perception. Neuro-Symbolic Drive thus converts neuro-symbolic planning logic into structured supervision. Code base: https://github.com/XiangboGaoBarry/Neural-Symbolic-Drive.

arXiv:2607.08045v1cs.IT

RadioDiff-v2: 다중 빔 선택 및 위치 추정을 위한 생성적 각도 라디오 맵

RadioDiff-v2: Generative Angular Radio Maps for Multi-Beam Selection and Localization

6G 네트워크의 빔 선택과 수신기 위치 추정을 위해 각도 전력 스펙트럼(APS)을 기하학적 정보로부터 생성하는 문제에서, 기존 회귀 모델의 과도한 평활화 문제를 지각-왜곡(perception-distortion) 관점으로 재정의하고 플로우 매칭(flow matching)으로 학습된 이중 분기 1차원 확산 트랜스포머 RadioDiff-v2를 제안한다. 99개 환경·100만 링크 제로샷 테스트에서 모든 기준선을 상회하며 Wasserstein-1 거리 0.39 dB, NLOS 8빔 스윕 손실 2.43 dB, 4개 기지국 기준 위치 추정 오차 20.6픽셀을 달성했다.

arXiv:2608.06501v1cs.AI

Can MLLMs Decode the Creative Leap? Introducing C4 for Cross-Concept Understanding

Creative capabilities of MLLMs matter in design, communication, education, and human--AI collaboration, yet remain difficult to evaluate because explicit targets and reward signals are scarce compared with accuracy-oriented tasks. Cross-concept understanding is a core cognitive capacity underlying receptive creativity. It enables a perceiver to recover intended meaning from non-obvious but meaningful conceptual relations. We operationalize item construction as cross-concept encoding and model inference as cross-concept decoding. We introduce C4, a cognition-inspired evaluation framework for Chengyu (Chinese idiom)-based Cross-Concept Creativity. Its encoding component maps target slots to imageable substitute concepts along bridge paths in a manually annotated and third-party-reviewed cross-concept network, enabling batch generation with explicit structure, difficulty indexed by bridge count and depth, and exact answers. Using this framework, we instantiate the C4 Evaluation Set (C4-Eval), comprising 184 synthetic items and 37 human-created cross-concept chengyu figures collected from online sources. We manually construct and review cross-concept relations, bridge paths, and reasoning processes for the collected figures. Each C4-Eval item is instantiated in five task settings, yielding 884 primary answer-recovery cases. Across ten evaluated MLLMs, the strongest closed models reach 50.7% and 48.0% primary accuracy, while open-source models remain substantially lower. Candidate constraints improve accuracy sharply, but bridge hints and explanation requests provide only modest gains. These results expose a substantial gap in how current MLLMs decode creatively encoded meaning through cross-concept relations. The code is in the supplementary material.

arXiv:2609.04869v1cs.AI

상호작용 궤적에서 영구적 스킬로: 컴퓨터 사용 에이전트를 위한 온라인 진화

From Interaction Traces to Persistent Skills: Online Evolution for Computer-Use Agents

컴퓨터 사용 에이전트(agent)는 그래픽 인터페이스에서 점점 더 복잡한 작업을 수행할 수 있지만, 이들의 상호작용 경험은 대개 일시적입니다. 즉, 한 번의 롤아웃(rollout)에서 습득한 절차적 지식이 이후 작업에서 체계적으로 보존, 개선 및 재사용되지 않습니다. 기존의 스킬 라이브러리는 외부 절차적 지식을 제공하지만, 스킬 없이 동작하는 동일한 에이전트 대비 점진적인 가치와 반복적인 상호작용 하에서의 장기적 동역학은 여전히 충분히 규명되지 않았습니다. 본 연구에서는 상호작용 궤적과 평가자 피드백을 재사용 가능한 절차의 영구적이고 버전 관리되는 라이브러리로 변환하는 온라인 스킬 진화 프레임워크를 제시합니다. 각 반복(iteration)은 동결된 라이브러리 스냅샷을 기반으로 실행되며, 증거 기반의 스킬 업데이트는 모델(model) 파라미터를 변경하지 않고도 후속 반복에서 사용할 수 있게 됩니다. 동일한 고정 행동 생성 및 GUI 그라운딩(grounding) 스택, 작업 세트, 반복 범위 하에서 네 가지 OSWorld 애플리케이션 도메인에 걸쳐 전체 진화형 라이브러리 시스템을 동일한 구성의 빈 라이브러리 대조군과 비교합니다. 5회 반복의 빈 라이브러리 웜업(warm-up) 후, 전체 시스템(Full)은 관찰된 4개 도메인 실행 모두에서 5.7~18.6%포인트 범위의 평균 차이와 도메인 의존적인 시간적 안정성을 보이며 더 높은 웜업 후 평균 평가자 점수를 달성합니다. GIMP에서는 출처 인식(provenance-aware) 분석을 통해 원래 작업 경계를 넘나드는 검색과, 반복적으로 승인된 수정이 원래 작업을 복구하지 못하는 개정 변동(revision churn)을 확인했습니다. 이러한 결과는 진화하는 스킬 라이브러리가 고정된 컴퓨터 사용 스택을 개선할 수 있는 감사 가능한 공유 절차적 메모리임을 규명하는 동시에, 그 이점이 조건부이며 반복적인 수정이 복구를 보장하지는 않는다는 점을 보여줍니다. 코드는 https://github.com/LongtaoHu/Skill-Evo4GUI 에서 공개되어 있습니다.

arXiv:2610.09450v1cs.CV

Iris-3B: 픽셀 공간 확산 학습, 변환 및 미세조정을 통한 잠재 공간 너머로의 확장

Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning

픽셀 공간(pixel-space) 확산 모델은 잠재(latent) 모델의 손실이 발생하는 VAE를 피하므로, 세밀한 디테일이 중요한 다운스트림 태스크에서 유리할 수 있음을 시사합니다. 본 연구에서는 픽셀 공간 백본으로 이어지는 두 가지 경로를 따라 이러한 주장을 검증합니다. 먼저 스케일링할 요소를 결정하기 위해 $256^2$ 해상도에서 예측 타깃 및 표현 정렬(representation alignment)에 대한 절제 연구를 수행한 후, $256\to512\to1024$ 커리큘럼을 통해 30억(3B) 매개변수를 갖는 픽셀 공간 텍스트-이미지 트랜스포머인 Iris-3B를 처음부터 사전학습합니다. 또한 사전학습된 잠재 모델인 FLUX.2 Klein base 4B를 픽셀 공간으로 변환합니다. 이어 단안 깊이 추정(monocular depth estimation)과 이미지 복원/초해상도(super-resolution)를 위해 두 모델 계열을 모두 미세조정합니다. 실험 결과, 픽셀 공간 생성 사전확률(generative prior)을 사용함으로써 얻는 유의미한 성능 향상은 발견되지 않았습니다. 동일하게 매칭된 직접 회귀 레시피로 깊이 추정을 위해 미세조정했을 때, Iris-3B는 잠재 기반 FLUX.2 Klein과 대등한 수준이었으며 변환된 픽셀 FLUX.2 Klein은 이에 뒤처졌습니다. 또한 $4\times$ DIV2K 복원에서도 두 픽셀 모델 모두 잠재 FLUX.2 Klein 미세조정 버전을 능가하지 못했고, 변환된 모델은 근소하게 뒤처졌습니다. 본 논문에서는 이러한 부정적 결과(negative result) 이면의 레시피, 실패 모드, 그리고 잔여 혼란 변인들을 상세히 기록합니다. 그럼에도 불구하고 Iris-3B는 PixelDiT의 픽셀 트랜스포머(PiT) 헤드를 활용한 픽셀 공간 사전학습이 30억 매개변수 규모까지 확장될 수 있으며, 잠재 모델과 경쟁할 수 있는 텍스트-이미지 생성 품질을 달성하여 $1024^2$ 해상도의 공식 평가 기준 OneIG에서 Qwen-Image와 대등함을 보여줍니다. 픽셀 공간 생성에 대한 후속 연구의 길을 여는 데 기여하기를 바라며 모델 가중치와 학습 코드를 공개합니다.