PyTorchKR Papers

“Code Generation”

총 10,186편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2604.00955v2cs.CV

Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization

Federated Learning (FL) has emerged as a compelling paradigm for privacy-preserving distributed machine learning, allowing multiple clients to collaboratively train a global model by transmitting locally computed gradients to a central server without exposing their private data. Nonetheless, recent studies find that the gradients exchanged in the FL system are also vulnerable to privacy leakage, e.g., an attacker can invert shared gradients to reconstruct sensitive data by leveraging pre-trained generative adversarial networks (GAN) as prior knowledge. However, existing attacks simply perform gradient inversion in the latent space of the GAN model, which limits their expression ability and generalizability. To tackle these challenges, we propose \textbf{G}radient \textbf{I}nversion over \textbf{F}eature \textbf{D}omains (GIFD), which disassembles the GAN model and searches the hierarchical features of the intermediate layers. Instead of optimizing only over the initial latent code, we progressively change the optimized layer, from the initial latent space to intermediate layers closer to the output images. In addition, we design a regularizer to avoid unreal image generation by adding a small ${l_1}$ ball constraint to the searching range. We also extend GIFD to the out-of-distribution (OOD) setting, which weakens the assumption that the training sets of GANs and FL tasks obey the same data distribution. Furthermore, we consider the challenging OOD scenario of label inconsistency and propose a label mapping technique as an effective solution. Extensive experiments demonstrate that our method can achieve pixel-level reconstruction and outperform competitive baselines across a variety of FL scenarios.

arXiv:2607.24688v1cs.DB

스케일과 생성을 넘어: 언어 모델 기반 엔티티 매칭 이해

Beyond Scale and Generation: Understanding Language Model-based Entity Matching

엔티티 매칭은 동일한 실세계 엔티티를 가리키는 레코드를 식별하는 작업이다. 언어 모델은 bi-encoder, cross-encoder, generative matcher 아키텍처를 통해 이 작업에 적용할 수 있다. 그러나 선행 연구들은 종종 매처 아키텍처와 모델 백본, 모델 변형(서로 다른 사전학습 목표를 반영), 모델 크기의 차이를 혼동하여 성능 향상의 원인을 분리하기 어렵게 한다. 우리는 Qwen3 패밀리의 세 가지 매처 아키텍처, 세 가지 모델 변형, 세 가지 모델 크기, 그리고 아홉 개의 데이터셋에 걸친 통제된 요인 실험을 통해 이 문제를 해결하며, 총 1,215회의 미세조정 실행을 수행한다. 또한 데이터셋 간 전이 가능성과 계산 비용을 평가한다. 결과는 bi-encoder에서 모델 변형이 핵심적임을 보여준다: 임베딩 지향 변형은 더 강한 초기화와 하위 매칭 성능을 예측하는 더 유리한 표현 기하학을 제공한다. cross-encoder는 각 레코드를 독립적으로 표현하는 대신 레코드 쌍을 공동으로 인코딩하기 때문에 bi-encoder 대비 일관된 이점을 유지하며, 더 큰 모델이 이 격차를 부분적으로 줄이기는 한다. generative matcher는 보편적으로 cross-encoder를 능가하지 않는다. 대신 그들의 이점은 레코드 스키마의 미묘한 미관측 차이와 데이터셋 간 전이를 포함한 분포 이동(distribution shift) 하에서 집중된다. 우리는 더 큰 모델이 단축 학습(shortcut learning)에 더 크게 의존하므로 반드시 더 나은 성능을 내지는 않는다는 점도 추가로 밝힌다. 이러한 발견은 매처 아키텍처 간 성능 차이를 뒷받침하는 요인을 명확히 하고, 분포 이동과 데이터셋 간 전이 가능성을 명시적으로 평가하면서 아키텍처 선택과 모델 수준 요인을 더 잘 분리하는 미래 연구 및 벤치마크 설계를 촉진한다. 우리는 실험 결과, 코드, 학습 스크립트, 평가 데이터를 https://github.com/Jantory/llm-trained-matcher 에서 공개한다.

arXiv:2604.21686v2cs.CV

WorldMark: 상호작용형 비디오 월드 모델을 위한 통합 벤치마크 스위트

WorldMark: A Unified Benchmark Suite for Interactive Video World Models

텍스트나 이미지 기반 비디오 생성과 달리, 상호작용형 월드 모델은 행동에 의해 구동됩니다. 즉, 사용자가 행동하면 월드가 이에 반응합니다. 공정하고 종합적인 평가를 가로막는 두 가지 장애물이 있습니다. 첫째, 모델마다 캡션, 카메라 궤적, 행동 함수 등 호환되지 않는 형식으로 행동을 받아들이기 때문에 공유된 프로토콜이 확립되지 않았습니다. 둘째, 기존 벤치마크들이 월드 메모리와 시각적 품질 측면에서 발전을 이루었지만, 행동 추종은 궤적이나 방향 오차로 축소되어 전체 경로를 단 하나의 숫자로 단순화합니다. 이는 명령 전환에 월드가 얼마나 빠르게 반응하는지, 또는 명령받은 축을 따라 얼마나 깔끔하게 움직이는지를 보여주지 못합니다. WorldMark는 이 두 장애물을 모두 해결합니다. 모델별 어댑터가 공유된 WASD 스타일의 어휘를 각 모델 고유의 제어 형식으로 변환하므로, 10개의 서로 다른 모델이 스타일, 시점, 난이도 등급을 아우르는 500개의 표준화된 사례 전반에서 의미론적으로 동일한 지침을 받게 되며, 새로운 모델을 추가하는 데에는 어댑터 하나만 필요합니다. 이러한 공통 기반 위에서 본 논문은 월드 메모리 및 시각적 품질 평가 스위트와 함께, 축별로 분석되는 방향 정확도, 방향 순도, 반응 지연 시간, 모션 안정성 등 제어 시스템 관점에서 행동 역학을 특성화합니다. 이를 종합하면 기존 프로토콜로는 확인할 수 없었던 차이점들이 드러납니다. 가장 빠르게 반응하는 모델이 가장 불안정한 경우가 많아 단일 행동 지표로는 포착할 수 없는 트레이드오프가 존재하며, 축별 분석을 통해 회전에는 거의 반응하지 못하면서 이동은 거의 완벽하게 추종하는 모델들이 밝혀집니다. 또한 지각 및 미적 품질이 가장 우수한 모델이 이동 방향 정확도와 지연 시간에서는 최하위를 기록하며, 양식화된 장면에서는 모든 모델의 전역 일관성이 저하되지만 행동 역학은 대체로 온전히 유지됩니다. 저자들은 모든 데이터, 평가 코드 및 모델 출력 결과를 공개할 예정입니다.

arXiv:2609.10915v1cs.RO

IMLE-VLA: Fast Single-Step Action Generation for Vision-Language-Action Policies

Vision-language-action (VLA) policies leverage pretrained vision-language backbones to achieve strong cross-task generalization. A leading design couples this backbone with a dedicated continuous action head trained via diffusion or flow matching. However, such heads rely on iterative multi-step sampling, for example 10 Euler steps in $π_{0.5}$. This creates an inference bottleneck that produces stop-and-go movement in the robot and slower task completion. We introduce IMLE-VLA, which replaces the iterative action head with a single-step conditional generator trained via conditional Implicit Maximum Likelihood Estimation (cIMLE). The cIMLE objective promotes multimodal action coverage, avoiding the mode collapse of naive regression heads while eliminating multi-step sampling entirely. When IMLE-VLA is applied to $π_{0.5}$, it increases inference frequency 3.67x (55 Hz vs. 15 Hz), enabling up to 11x higher action throughput. On the 40-task LIBERO benchmark, IMLE-VLA achieves the highest average success rate (98.0%) among all baselines while leading in inference frequency. Under the test-time perturbations of LIBERO-plus, IMLE-VLA retains $π_{0.5}$'s robustness while other baselines degrade sharply, confirming that the cIMLE head preserves generalization. Real-world experiments on a Franka Emika Panda across four tasks demonstrate smoother motion (2.2x to 3.0x lower jerk) and faster task completion, with IMLE-VLA outperforming $π_{0.5}$ on every task and reducing average VLA inference time per episode by 3.9x to 6.6x. Videos and code are available at https://kianhk6.github.io/IMLE-VLA/

arXiv:2609.22000v2cs.CL

RecreationWorld: 하이브리드 컴퓨터 사용 에이전트를 위한 확장 가능하고 검증 가능한 환경

RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents

컴퓨터 사용 에이전트(CUA)는 그래픽 상호작용과 코드·명령줄을 통한 소프트웨어 개발이라는 두 갈래로 발전해 왔다. 실제 디지털 작업은 둘 다를 요구하며, 끝에서 끝까지 순차적으로 쌓는 것이 아니라 교차적으로 수행된다. 우리는 인터페이스를 탐색하고, 소프트웨어를 구현하며, 산출물을 실행하고 시각적으로 검증할 시점을 자율적으로 결정하는 하이브리드 CUA를 연구한다. 재현(recreation)을 중심으로 한 5개 플랫폼 프레임워크인 RecreationWorld를 제안한다. 실행 중인 참조(reference)가 주어지면 에이전트는 규정된 워크플로 없이 동작을 파악하고 충실한 구현을 구축해야 한다. RecreationWorld는 Ubuntu, macOS, Windows, Android, Web에서 재현 가능한 환경과, 네이티브 GUI 제어 및 코딩 도구를 갖춘 통합 하네스(harness)를 제공한다. 실행 중인 참조는 숨겨진 행동 테스트의 오라클(oracle) 역할을 하며 실행 기반(execution-grounded) 보상을 제공한다. 고품질 오픈소스 애플리케이션으로 궤적(trajectory) 생성을 확장한다. 이 궤적들로 학습한 모델은 분포 외(out-of-distribution) 코딩 및 하이브리드 컴퓨터 사용 벤치마크 5개에서 향상되며, 렌더링된 출력을 더 자주 검증하여 재현을 넘어선 전이(transfer)의 증거를 제공한다. 보류 평가(held-out evaluation)를 위해 도메인과 플랫폼에 걸친 250개의 다양한 과제로 구성된 RecreationBench를 도입한다. 참조 기반(reference-grounded) 프로그래밍적·시각적 단언(assertion)은 여러 상호작용 깊이에서 행동 조건부(action-conditioned) 결과를 포괄한다. 각 항목은 자동 채점을 위해 suite를 동결하기 전에 참조와 인간 검수자에 의해 검증된다. GPT-6 Astra가 전체 58.1%로 선두이지만, 전체 과제의 2.8%에서만 모든 프로그래밍적 테스트를 통과한다. 에이전트는 상호작용 및 계산된 출력보다 정적 인터페이스 구조를 더 안정적으로 재현하지만, 생성된 애플리케이션은 참조보다 더 작고 단일(monolithic) 구조로 남는다. 벤치마크, 환경, 테스트 suite를 공개한다.

arXiv:2609.22796v1cs.CL

AlexandriaX 2026: 아랍어 방언 기계 번역에 관한 최초의 공유 과제

AlexandriaX 2026: The First Shared Task on Dialectal Arabic Machine Translation

아랍어 방언 기계 번역(MT)은 아랍어 언어 기술의 최근 발전에도 불구하고 여전히 어려운 과제로 남아 있습니다. 특히 효과적인 번역을 위해서는 의미적 내용뿐만 아니라 방언적 변이, 대화 맥락, 화자 및 청자의 특성, 사회언어학적 적절성까지 모델링해야 하기 때문입니다. 또한, 기존의 기계 번역 평가 지표는 방언 시스템이 생성하는 언어적 오류에 대해 제한적인 통찰만을 제공합니다. 본 논문에서는 이러한 과제를 해결하기 위해 상호 보완적인 세 가지 하위 과제로 구성된 아랍어 방언 기계 번역에 관한 AlexandriaX 2026 공유 과제를 소개합니다. 세 하위 과제는 (1) 13개 아랍어 변이형을 아우르는 문맥 인식 영어-아랍어 방언 대화 번역, (2) 6개 아랍어 방언을 다루는 금융 도메인의 방언 간 아랍어 번역, (3) 5개 아랍어 변이형에 걸쳐 언어학적으로 동기 부여된 오류 범주를 사용하는 스팬 수준 기계 번역 오류 감지 및 분류입니다. 본 공유 과제에는 하위 과제 1에 38건, 하위 과제 2에 33건, 하위 과제 3에 35건의 등록이 이루어졌습니다. 12개의 고유한 팀이 시스템 기술서를 제출했으며, 제출된 논문은 모두 출판 승인되었습니다. 하위 과제 1에서 최고 성능을 기록한 시스템은 제약 트랙에서 30.42 spBLEU, 비제약 트랙에서 33.49 spBLEU를 달성했습니다. 하위 과제 2에서는 최고 시스템이 28.40 spBLEU를 기록했습니다. 하위 과제 3에서는 최고 시스템이 전체 점수 49.82점을 달성하여 24.29점의 기준선을 크게 상회했습니다. 종합적으로 볼 때, 세 하위 과제 전반에 걸친 주요 시스템들의 결과는 명시적인 방언 모델링, 문맥 인식 생성, 검색 및 재순위화, 그리고 해석 가능한 기계 번역 오류 분석을 위한 특화된 접근법의 이점을 잘 보여줍니다. 데이터, 기준선 및 평가 코드를 포함한 AlexandriaX 2026 공유 과제의 모든 리소스는 프로젝트 페이지(https://alexandriax.dlnlp.ai)를 통해 공개되어 있습니다.

arXiv:2610.08102v1cs.AI

DSV-Mem: MLLM 에이전트를 위한 전문 업무 워크플로우에서의 멀티모달 메모리 평가

DSV-Mem: Evaluating Multimodal Memory in Professional Workflows for MLLM Agents

대화형 MLLM 에이전트는 AI 연구 및 엔지니어링 설계부터 제품 관리, 비즈니스 운영에 이르기까지 전문 업무 워크플로우를 지원할 것으로 점점 더 기대받고 있다. 그러나 이 역량은 아직 충분히 탐구되지 않았다: 기존 벤치마크는 주로 비정형적인 일상 상호작용과, 사진 형태의 자연 이미지, 독립적인 정적 아티팩트, 회상(recall) 중심 질문이 특징인 개인 생활 시나리오에 초점을 맞추고 있다. 반면 전문 업무 시나리오는 빈번한 수정과 권한(authority) 업데이트를 거치는 구조화된 정보 집약적 아티팩트, 그리고 상태를 정확히 추적하면서 다수의 아티팩트 버전을 조정(reconciliation)해야 하는 복합적 질의를 흔히 포함한다. 이러한 과제를 해결하기 위해, 우리는 밀집 상태 기반 시각 메모리(Dense Stateful Visual Memory)를 평가하기 위한 벤치마크인 DSV-Mem을 소개한다. DSV-Mem은 전문가가 검토한 시나리오와 다섯 가지 사용자 중심 범주(현재 상태, 과거 상태, 파생 상태, 변경 이력, 충돌/거부)에 걸친 1,000개의 질문으로 구성된다. 하틀리(Hartley)에서 착안한 기준은 더 광범위한 시각적 증거 검토를 요구하는 질문을 선호한다. 우리는 또한 상태 전이 합성과 대화 채우기를 분리하여 평가 스위트를 생성하는 생성 하니스(generation harness)를 소개한다. 최상위(frontier) 모델과 오픈 가중치(open-weight) 모델, 메모리 관리 기법을 포괄하는 27가지 구성에 대한 평가 결과, 가장 강력한 기준선(baseline)조차 DSV-Mem에서 45% 미만의 점수를 기록했다. 분석을 통해 다음과 같은 결과가 드러났다: 1) 멀티모달성과 정보 밀도 모두 난이도에 기여하지만, 상태 진화, 특히 지배적 업데이트(governing update)의 수가 테스트된 요인 중 가장 큰 영향을 미친다. 원시 대화/헤이스택(haystack) 길이, OCR, 산술 연산은 주요 병목이 아니다; 2) 모델은 답변 전에 사용자의 전제를 이전 상태 업데이트와 대조하여 검증하는 데 자주 실패한다; 3) 추론 노력(reasoning effort)의 증가와 메모리 관리 기법은 제한적인 성능 향상만을 가져오는 반면, 상태 인지(state-aware) 설계가 더 효과적인 것으로 나타났다. 벤치마크와 코드는 공개될 예정이다.

arXiv:2109.02707공식 코드 · Papers with Code

Text-to-Table: A New Way of Information Extraction

We study a new problem setting of information extraction (IE), referred to as text-to-table. In text-to-table, given a text, one creates a table or several tables expressing the main content of the text, while the model is learned from text-table pair data. The problem setting differs from those of the existing methods for IE. First, the extraction can be carried out from long texts to large tables with complex structures. Second, the extraction is entirely data-driven, and there is no need to explicitly define the schemas. As far as we know, there has been no previous work that studies the problem. In this work, we formalize text-to-table as a sequence-to-sequence (seq2seq) problem. We first employ a seq2seq model fine-tuned from a pre-trained language model to perform the task. We also develop a new method within the seq2seq approach, exploiting two additional techniques in table generation: table constraint and table relation embeddings. We consider text-to-table as an inverse problem of the well-studied table-to-text, and make use of four existing table-to-text datasets in our experiments on text-to-table. Experimental results show that the vanilla seq2seq model can outperform the baseline methods of using relation extraction and named entity extraction. The results also show that our method can further boost the performances of the vanilla seq2seq model. We further discuss the main challenges of the proposed task. The code and data are available at https://github.com/shirley-wu/text_to_table.

arXiv:2208.12433공식 코드 · Papers with Code

Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning

Imbalanced learning is a fundamental challenge in data mining, where there is a disproportionate ratio of training samples in each class. Over-sampling is an effective technique to tackle imbalanced learning through generating synthetic samples for the minority class. While numerous over-sampling algorithms have been proposed, they heavily rely on heuristics, which could be sub-optimal since we may need different sampling strategies for different datasets and base classifiers, and they cannot directly optimize the performance metric. Motivated by this, we investigate developing a learning-based over-sampling algorithm to optimize the classification performance, which is a challenging task because of the huge and hierarchical decision space. At the high level, we need to decide how many synthetic samples to generate. At the low level, we need to determine where the synthetic samples should be located, which depends on the high-level decision since the optimal locations of the samples may differ for different numbers of samples. To address the challenges, we propose AutoSMOTE, an automated over-sampling algorithm that can jointly optimize different levels of decisions. Motivated by the success of SMOTE~\cite{chawla2002smote} and its extensions, we formulate the generation process as a Markov decision process (MDP) consisting of three levels of policies to generate synthetic samples within the SMOTE search space. Then we leverage deep hierarchical reinforcement learning to optimize the performance metric on the validation data. Extensive experiments on six real-world datasets demonstrate that AutoSMOTE significantly outperforms the state-of-the-art resampling algorithms. The code is at https://github.com/daochenzha/autosmote

arXiv:2305.06524

Can SAM Boost Video Super-Resolution?

The primary challenge in video super-resolution (VSR) is to handle large motions in the input frames, which makes it difficult to accurately aggregate information from multiple frames. Existing works either adopt deformable convolutions or estimate optical flow as a prior to establish correspondences between frames for the effective alignment and fusion. However, they fail to take into account the valuable semantic information that can greatly enhance it; and flow-based methods heavily rely on the accuracy of a flow estimate model, which may not provide precise flows given two low-resolution frames. In this paper, we investigate a more robust and semantic-aware prior for enhanced VSR by utilizing the Segment Anything Model (SAM), a powerful foundational model that is less susceptible to image degradation. To use the SAM-based prior, we propose a simple yet effective module -- SAM-guidEd refinEment Module (SEEM), which can enhance both alignment and fusion procedures by the utilization of semantic information. This light-weight plug-in module is specifically designed to not only leverage the attention mechanism for the generation of semantic-aware feature but also be easily and seamlessly integrated into existing methods. Concretely, we apply our SEEM to two representative methods, EDVR and BasicVSR, resulting in consistently improved performance with minimal implementation effort, on three widely used VSR datasets: Vimeo-90K, REDS and Vid4. More importantly, we found that the proposed SEEM can advance the existing methods in an efficient tuning manner, providing increased flexibility in adjusting the balance between performance and the number of training parameters. Code will be open-source soon.

arXiv:2403.11078공식 코드 · Papers with Code

Adaptive Semantic-Enhanced Denoising Diffusion Probabilistic Model for Remote Sensing Image Super-Resolution

Remote sensing image super-resolution (SR) is a crucial task to restore high-resolution (HR) images from low-resolution (LR) observations. Recently, the Denoising Diffusion Probabilistic Model (DDPM) has shown promising performance in image reconstructions by overcoming problems inherent in generative models, such as over-smoothing and mode collapse. However, the high-frequency details generated by DDPM often suffer from misalignment with HR images due to the model's tendency to overlook long-range semantic contexts. This is attributed to the widely used U-Net decoder in the conditional noise predictor, which tends to overemphasize local information, leading to the generation of noises with significant variances during the prediction process. To address these issues, an adaptive semantic-enhanced DDPM (ASDDPM) is proposed to enhance the detail-preserving capability of the DDPM by incorporating low-frequency semantic information provided by the Transformer. Specifically, a novel adaptive diffusion Transformer decoder (ADTD) is developed to bridge the semantic gap between the encoder and decoder through regulating the noise prediction with the global contextual relationships and long-range dependencies in the diffusion process. Additionally, a residual feature fusion strategy establishes information exchange between the two decoders at multiple levels. As a result, the predicted noise generated by our approach closely approximates that of the real noise distribution.Extensive experiments on two SR and two semantic segmentation datasets confirm the superior performance of the proposed ASDDPM in both SR and the subsequent downstream applications. The source code will be available at https://github.com/littlebeen/ASDDPM-Adaptive-Semantic-Enhanced-DDPM.

arXiv:2411.04249공식 코드 · Papers with Code

PocoLoco: A Point Cloud Diffusion Model of Human Shape in Loose Clothing

Modeling a human avatar that can plausibly deform to articulations is an active area of research. We present PocoLoco -- the first template-free, point-based, pose-conditioned generative model for 3D humans in loose clothing. We motivate our work by noting that most methods require a parametric model of the human body to ground pose-dependent deformations. Consequently, they are restricted to modeling clothing that is topologically similar to the naked body and do not extend well to loose clothing. The few methods that attempt to model loose clothing typically require either canonicalization or a UV-parameterization and need to address the challenging problem of explicitly estimating correspondences for the deforming clothes. In this work, we formulate avatar clothing deformation as a conditional point-cloud generation task within the denoising diffusion framework. Crucially, our framework operates directly on unordered point clouds, eliminating the need for a parametric model or a clothing template. This also enables a variety of practical applications, such as point-cloud completion and pose-based editing -- important features for virtual human animation. As current datasets for human avatars in loose clothing are far too small for training diffusion models, we release a dataset of two subjects performing various poses in loose clothing with a total of 75K point clouds. By contributing towards tackling the challenging task of effectively modeling loose clothing and expanding the available data for training these models, we aim to set the stage for further innovation in digital humans. The source code is available at https://github.com/sidsunny/pocoloco .

arXiv:2412.08480공식 코드 · Papers with Code

InvDiff: Invariant Guidance for Bias Mitigation in Diffusion Models

As one of the most successful generative models, diffusion models have demonstrated remarkable efficacy in synthesizing high-quality images. These models learn the underlying high-dimensional data distribution in an unsupervised manner. Despite their success, diffusion models are highly data-driven and prone to inheriting the imbalances and biases present in real-world data. Some studies have attempted to address these issues by designing text prompts for known biases or using bias labels to construct unbiased data. While these methods have shown improved results, real-world scenarios often contain various unknown biases, and obtaining bias labels is particularly challenging. In this paper, we emphasize the necessity of mitigating bias in pre-trained diffusion models without relying on auxiliary bias annotations. To tackle this problem, we propose a framework, InvDiff, which aims to learn invariant semantic information for diffusion guidance. Specifically, we propose identifying underlying biases in the training data and designing a novel debiasing training objective. Then, we employ a lightweight trainable module that automatically preserves invariant semantic information and uses it to guide the diffusion model's sampling process toward unbiased outcomes simultaneously. Notably, we only need to learn a small number of parameters in the lightweight learnable module without altering the pre-trained diffusion model. Furthermore, we provide a theoretical guarantee that the implementation of InvDiff is equivalent to reducing the error upper bound of generalization. Extensive experimental results on three publicly available benchmarks demonstrate that InvDiff effectively reduces biases while maintaining the quality of image generation. Our code is available at https://github.com/Hundredl/InvDiff.

arXiv:2503.18968공식 코드 · Papers with Code

MedAgent-Pro: Towards Evidence-based Multi-modal Medical Diagnosis via Reasoning Agentic Workflow

In modern medicine, clinical diagnosis relies on the comprehensive analysis of primarily textual and visual data, drawing on medical expertise to ensure systematic and rigorous reasoning. Recent advances in large Vision-Language Models (VLMs) and agent-based methods hold great potential for medical diagnosis, thanks to the ability to effectively integrate multi-modal patient data. However, they often provide direct answers and draw empirical-driven conclusions without quantitative analysis, which reduces their reliability and clinical usability. We propose MedAgent-Pro, a new agentic reasoning paradigm that follows the diagnosis principle in modern medicine, to decouple the process into sequential components for step-by-step, evidence-based reasoning. Our MedAgent-Pro workflow presents a hierarchical diagnostic structure to mirror this principle, consisting of disease-level standardized plan generation and patient-level personalized step-by-step reasoning. To support disease-level planning, an RAG-based agent is designed to retrieve medical guidelines to ensure alignment with clinical standards. For patient-level reasoning, we propose to integrate professional tools such as visual models to enable quantitative assessments. Meanwhile, we propose to verify the reliability of each step to achieve evidence-based diagnosis, enforcing rigorous logical reasoning and a well-founded conclusion. Extensive experiments across a wide range of anatomical regions, imaging modalities, and diseases demonstrate the superiority of MedAgent-Pro to mainstream VLMs, agentic systems and state-of-the-art expert models. Ablation studies and human evaluation by clinical experts further validate its robustness and clinical relevance. Code is available at https://github.com/jinlab-imvr/MedAgent-Pro.

arXiv:2611.11123v1cs.RO

HARP-Bench: 활동 중인 인간 주변에서의 로봇 조작 벤치마킹

HARP-Bench: Benchmarking Robot Manipulation Around Active Humans

최근의 로봇 조작 벤치마크는 다양한 물체, 장면, 지시, 임바디먼트에 걸쳐 범용 로봇 정책을 체계적으로 평가할 수 있게 했다. 그러나 기존 벤치마크 대부분은 여전히 로봇이 유일한 능동적 행위자이며 과업의 의미가 주로 지시와 물체 상태에 의해 결정된다고 가정한다. 이 가정은 인간이 작업 공간을 능동적으로 공유한다는 현실 세계의 흔한 변이 요인을 간과한다. 이러한 환경에서 인간은 암묵적 목표를 드러내거나, 과업의 일부를 완수하거나, 물체의 사용 가능성을 일시적으로 바꾸거나, 근처에서 작업하면서 로봇의 안전한 동작을 제약할 수 있다. 본 논문은 활동 중인 인간과 공유하는 작업 공간에서 로봇 조작 정책을 평가하는 벤치마크 HARP-Bench를 소개한다. HARP-Bench는 인간의 활동을 배경 장면 변이가 아니라 조작 문제의 일부로 취급한다. 이는 인간이 있는 조작을 신호 제공(Cueing), 기여(Contribution), 방해(Interruption), 공존(Co-presence)의 네 가지 조건으로 구성한다. 이러한 조건은 표준 조작과의 통제된 비교를 위한 인간 존재 변형 쌍을 포함하여 일상적인 조작 과업을 통해 구현된다. 또한 HARP-Bench는 동적인 인간 존재 환경을 위한 시연 생성 파이프라인을 제공한다. 우리는 HARP-Bench에서 VLA 모델, 모방 학습 방법, 휴리스틱 정책을 평가한다. 인간이 존재하는 변이는 현재의 정책에 도전이 되며, 더 높은 과업 성공률이 안전성을 일관되게 향상시키지는 않는다. 정량적 실패 분석은 조작과 복구가 남아 있는 주된 과제임을 확인한다. HARP-Bench 시연으로 학습하면 시뮬레이션에서 인간 존재 시의 성능이 향상된다. 한 과업군에 대한 실세계 연구는 인간의 기여 하에서는 성능이 향상되지만 방해 하에서는 그렇지 않음을 보여 주어, 데이터 유용성의 초기 증거를 제공하고 전이의 한계를 식별한다. 코드는 https://github.com/UMass-Embodied-AGI/harp 에서 확인할 수 있다.

arXiv:2606.12424v1cs.CY

컴퓨터공학 교육에서의 AI 자동화 툴링: 일반적 수용 태도에 대한 혼합 방법론 TAM/UTAUT 근거

AI-Automation Tooling in Computer Engineering Education: Mixed-Methods TAM/UTAUT Evidence for a General Acceptance Attitude

생성형 AI(generative AI)와 로우코드(low-code) 워크플로 플랫폼이 소프트웨어 실무에서 일상화됨에 따라, 차세대 컴퓨터 공학자들이 이러한 도구를 유용하고 사용 가능하며 지속적으로 활용할 가치가 있는 것으로 수용할 것인지가 핵심적인 교육적 질문으로 떠오르고 있다. 본 논문은 태국에서 동일한 스크립트로 진행된 세 차례의 워크숍(n = 103)에서 오픈소스 플랫폼 n8n을 통해 구현된 AI 자동화 툴링에 대한 컴퓨터공학 학부생들의 수용도를 혼합 방법론 횡단 연구로 보고한다. TAM/UTAUT의 여섯 가지 구성 요인—성과 기대(PE), 노력 기대(EE), 행동 의도(BI), 자기 효능감(SE), 쾌락적 동기(HM), 출력 품질(OQ)—에 매핑된 12문항 5점 리커트 척도 도구를 사용하였으며, 개방형 피드백에 대한 귀납적 주제 분석을 병행하였다. 분석에는 서열형 신뢰도 추정, 부트스트랩 신뢰구간, 비모수 검정, 다중 비교 보정 상관분석, 다분형 차원성 진단, 동일 방법 편향 검증, 세션 간 비교가 포함되었다. 수용도는 여섯 구성 요인 모두에서 큰 효과 크기와 함께 긍정적으로 나타났으며, PE가 가장 강한 구성 요인으로, HM이 가장 약한 구성 요인으로 확인되었다. 차원성 진단을 통해 이 단기 사후 워크숍 맥락에서 TAM/UTAUT의 정준 하위 요인들이 단일 일반 수용 요인으로 수렴된다는 사실이 밝혀졌으며, 이는 방법론적·이론적으로 중요한 시사점을 지닌다. 질적 주제는 유용성 및 열의 측면에서 양적 프로파일과 수렴하였으나, 출력 품질 측면에서는 신뢰성에 회의적인 소수의 명확한 의견이 존재하여 양적 결과와 다소 상이하였다. 연구 결과는 학부 컴퓨팅 교육 과정에서 AI 자동화 툴링의 채택을 지지하며, 이론에 근거한 세 가지 교수 설계 레버를 제시한다: 교수 순서 스캐폴딩, 자기 효능감 지원, 신뢰 보정 개입.

arXiv:2606.18717v2cs.CL

Morpheus: 터키어를 위한 형태론 인식 신경망 토크나이저 및 단어 임베더

Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish

터키어의 형태소 경계를 신경망으로 학습하는 Morpheus는 미분 가능한 Poisson-binomial 세그멘테이션으로 손실 없는 토큰화와 단어 임베딩 생성을 한 번의 순전파로 수행한다. 가역 토크나이저 중 최저 문자당 비트(1.425)와 골드 형태소 정렬(MorphScore macro-F1 0.61)을 달성했으며, 어휘 검색·동일 어근 검증에서는 BGE-M3·BERTurk를 능가하지만 NER 등 문맥·굴절 의존 작업에서는 문맥 인코더가 더 우수하다.

arXiv:2604.20920v2cs.LG

Gist 토큰을 통한 단순 Sparse Attention

Simplified Sparse Attention via Gist Tokens

아키텍처 변경 없이 gist 토큰을 컨텍스트 청크 사이에 삽입하는 연속 사전학습을 통해, 추론 시 쿼리와 소수의 gist 토큰 간 어텐션 점수로 관련 청크를 선택적으로 전개하는 Simplified Sparse Attention(SSA)을 제안한다. LongBench에서 동일 압축 비율의 기존 sparse 어텐션 기법을 일관되게 능가하고, 검색-증강 생성(RAG)에서 전체 어텐션 대비 5.7점 이상 향상을 달성하며, 계층적 변형 H-SSA는 최대 32배 압축에서도 log-linear 디코딩 복잡도를 유지한다.

arXiv:2610.08402v1cs.LG

VETTA: 멀티턴 LLM 에이전트를 위한 턴 수준 및 토큰 수준 크레딧 할당의 조율

VETTA: Coordinating Turn- and Token-Level Credit Assignment for Multi-Turn LLM Agents

멀티턴 LLM 에이전트는 여러 차례의 상호작용에 걸쳐 희소한(sparse) 작업 피드백을 받는 경우가 많은 반면, 각 응답은 토큰 단위로 생성된다. 이로 인해 서로 연관된 두 가지 크레딧 할당(credit assignment) 문제가 발생한다: 어떤 응답이 결과 달성에 기여했는가, 그리고 각 응답 내에서 어떤 생성 결정이 중요했는가? 기존 방법들은 대체로 한 가지 수준에만 초점을 맞춘다. 턴 수준(turn-level) 방법은 완전한 응답을 평가하지만 그 안의 개별 결정들을 구분하지 못하며, 토큰 수준(token-level) 방법은 턴 간에 피드백을 전파할 수 있지만 각 응답에 대한 크레딧을 명시적으로 모델링하지 않는다. 이러한 상호 보완적인 한계는 두 수준 모두에서 크레딧을 학습하고 이를 단일 정책 업데이트에서 조율할 필요성을 제기한다. 본 논문에서는 공유된 경량 크리틱(critic) 위에 별도의 헤드(head)를 두어 턴 수준과 토큰 수준의 가치(value)를 동시에 학습하는 크레딧 할당 방법인 VETTA를 소개한다. VETTA는 두 시간적 시퀀스 모두에 걸쳐 어드밴티지(advantage)를 계산하고, PPO 업데이트를 위해 각 턴의 어드밴티지를 응답 내부 중심의 토큰 잔차(residual)와 결합한다. 또한 가치 학습 비용을 줄이기 위해, 크리틱은 액터(actor) 초기화에 사용된 사전학습된 체크포인트의 초반 트랜스포머 블록만을 유지한다. 두 가지 도전적인 에이전트 벤치마크인 ALFWorld와 WebShop에서, VETTA는 Qwen2.5-1.5B-Instruct를 사용했을 때 PPO 대비 성공률을 각각 37.5%와 22.3% 향상시켰으며, Qwen2.5-7B-Instruct를 사용했을 때 각각 95.5%와 76.0%의 성공률을 달성했다. 크리틱 깊이(depth) 비교 결과는 크리틱 측 연산량을 크게 낮추면서도 강력한 작업 성능을 보여준다. 이러한 결과는 소형의 공유 크리틱이 턴 수준과 토큰 수준의 크레딧을 조율하여 가치 추정의 효율성을 유지하면서도 에이전트 성능을 향상시킬 수 있음을 시사한다. 코드는 https://github.com/Jiaju-Chen/VETTA-official 에서 확인할 수 있다.

arXiv:2609.30173v2eess.SY

GridSFM: 교류 최적 조류 계산 해결을 위한 파운데이션 모델

GridSFM: A Foundation Model for Solving AC Optimal Power Flow

본 논문에서는 다양한 전력망 토폴로지에 걸쳐 사전학습된 파운데이션 모델과 물리 정보 기반 미세조정(fine-tuning)을 결합하여 대규모 교류 최적 조류 계산(AC-OPF)을 해결하는 프레임워크인 GridSFM을 소개합니다. 이 모델은 500개에서 4,000개 모선(bus) 규모의 54개 토폴로지에서 사전학습된 1,500만 개 매개변수 규모의 물리 영감 그래프 신경망(GNN)입니다. 본 모델은 홀드아웃된 운전 조건의 10,000개 모선 사례에서 제로샷(zero-shot) 발전 비용 오차 2.45%를 달성하며, 시스템 규모가 커져도 성능 저하가 발생하지 않습니다. 이를 바탕으로 사전학습된 백본을 조류 계산용 뉴턴 방법(Newton's method) 기반의 물리 정보 미세조정 설계와 결합합니다. GridSFM은 단 100개의 풀이된 인스턴스만으로도 최대 10,000개 모선 규모의 미확인 전력망에 적응합니다. 또한 웜 스타트(warm start) 지점으로 활용될 때, 더 많은 데이터로 학습된 단일 토폴로지 전용 신경망 모델보다 비용과 솔버 반복 횟수 측면 모두에서 우수한 성능을 보임을 입증합니다. 이러한 파운데이션 모델을 설계하는 과정에서, 연속 신경망이 해 매핑을 근사하는 것을 가로막는 장애 요소인 AC-OPF의 실행 가능 집합이 비연결(disconnected)될 수 있다는 문제를 극복합니다. 이를 위해 문제를 리프팅하고 로그 페널티 슬랙 변수를 적용하여 제약 조건을 완화합니다. 그 결과로 얻어지는 탄성 실행 가능 집합이 가축소(contractible)임을 증명하고, 명시적인 페널티 임계값 이상에서는 AC-OPF 최소화해가 탄성 문제의 최소화해로 유지되며, 근사해를 AC-OPF 실행 가능 집합으로 다시 투영하는 것이 잘 정의됨(well-posed)을 증명합니다. 커뮤니티가 AC-OPF의 공유된 출발점을 기반으로 연구할 수 있도록 모든 모델, 데이터 및 코드를 공개합니다.