PyTorchKR Papers

“Code Generation”

총 10,163편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2504.11707공식 코드 · Papers with Code

Towards Safe Synthetic Image Generation On the Web: A Multimodal Robust NSFW Defense and Million Scale Dataset

In the past years, we have witnessed the remarkable success of Text-to-Image (T2I) models and their widespread use on the web. Extensive research in making T2I models produce hyper-realistic images has led to new concerns, such as generating Not-Safe-For-Work (NSFW) web content and polluting the web society. To help prevent misuse of T2I models and create a safer web environment for users features like NSFW filters and post-hoc security checks are used in these models. However, recent work unveiled how these methods can easily fail to prevent misuse. In particular, adversarial attacks on text and image modalities can easily outplay defensive measures. %Exploiting such leads to the growing concern of preventing adversarial attacks on text and image modalities. Moreover, there is currently no robust multimodal NSFW dataset that includes both prompt and image pairs and adversarial examples. This work proposes a million-scale prompt and image dataset generated using open-source diffusion models. Second, we develop a multimodal defense to distinguish safe and NSFW text and images, which is robust against adversarial attacks and directly alleviates current challenges. Our extensive experiments show that our model performs well against existing SOTA NSFW detection methods in terms of accuracy and recall, drastically reducing the Attack Success Rate (ASR) in multimodal adversarial attack scenarios. Code: https://github.com/shahidmuneer/multimodal-nsfw-defense.

arXiv:2505.14418

Hidden Ghost Hand: Unveiling Backdoor Vulnerabilities in MLLM-Powered Mobile GUI Agents

Graphical user interface (GUI) agents powered by multimodal large language models (MLLMs) have shown greater promise for human-interaction. However, due to the high fine-tuning cost, users often rely on open-source GUI agents or APIs offered by AI providers, which introduces a critical but underexplored supply chain threat: backdoor attacks. In this work, we first unveil that MLLM-powered GUI agents naturally expose multiple interaction-level triggers, such as historical steps, environment states, and task progress. Based on this observation, we introduce AgentGhost, an effective and stealthy framework for red-teaming backdoor attacks. Specifically, we first construct composite triggers by combining goal and interaction levels, allowing GUI agents to unintentionally activate backdoors while ensuring task utility. Then, we formulate backdoor injection as a Min-Max optimization problem that uses supervised contrastive learning to maximize the feature difference across sample classes at the representation space, improving flexibility of the backdoor. Meanwhile, it adopts supervised fine-tuning to minimize the discrepancy between backdoor and clean behavior generation, enhancing effectiveness and utility. Extensive evaluations of various agent models in two established mobile benchmarks show that AgentGhost is effective and generic, with attack accuracy that reaches 99.7\% on three attack objectives, and shows stealthiness with only 1\% utility degradation. Furthermore, we tailor a defense method against AgentGhost that reduces the attack accuracy to 22.1\%. Our code is available at \texttt{anonymous}.

arXiv:2505.23604공식 코드 · Papers with Code

Satori-SWE: Evolutionary Test-Time Scaling for Sample-Efficient Software Engineering

Language models (LMs) perform well on standardized coding benchmarks but struggle with real-world software engineering tasks such as resolving GitHub issues in SWE-Bench, especially when model parameters are less than 100B. While smaller models are preferable in practice due to their lower computational cost, improving their performance remains challenging. Existing approaches primarily rely on supervised fine-tuning (SFT) with high-quality data, which is expensive to curate at scale. An alternative is test-time scaling: generating multiple outputs, scoring them using a verifier, and selecting the best one. Although effective, this strategy often requires excessive sampling and costly scoring, limiting its practical application. We propose Evolutionary Test-Time Scaling (EvoScale), a sample-efficient method that treats generation as an evolutionary process. By iteratively refining outputs via selection and mutation, EvoScale shifts the output distribution toward higher-scoring regions, reducing the number of samples needed to find correct solutions. To reduce the overhead from repeatedly sampling and selection, we train the model to self-evolve using reinforcement learning (RL). Rather than relying on external verifiers at inference time, the model learns to self-improve the scores of its own generations across iterations. Evaluated on SWE-Bench-Verified, EvoScale enables our 32B model, Satori-SWE-32B, to match or exceed the performance of models with over 100B parameters while using a few samples. Code, data, and models will be fully open-sourced.

arXiv:2506.01331공식 코드 · Papers with Code

Ultra-High-Resolution Image Synthesis: Data, Method and Evaluation

Ultra-high-resolution image synthesis holds significant potential, yet remains an underexplored challenge due to the absence of standardized benchmarks and computational constraints. In this paper, we establish Aesthetic-4K, a meticulously curated dataset containing dedicated training and evaluation subsets specifically designed for comprehensive research on ultra-high-resolution image synthesis. This dataset consists of high-quality 4K images accompanied by descriptive captions generated by GPT-4o. Furthermore, we propose Diffusion-4K, an innovative framework for the direct generation of ultra-high-resolution images. Our approach incorporates the Scale Consistent Variational Auto-Encoder (SC-VAE) and Wavelet-based Latent Fine-tuning (WLF), which are designed for efficient visual token compression and the capture of intricate details in ultra-high-resolution images, thereby facilitating direct training with photorealistic 4K data. This method is applicable to various latent diffusion models and demonstrates its efficacy in synthesizing highly detailed 4K images. Additionally, we propose novel metrics, namely the GLCM Score and Compression Ratio, to assess the texture richness and fine details in local patches, in conjunction with holistic measures such as FID, Aesthetics, and CLIPScore, enabling a thorough and multifaceted evaluation of ultra-high-resolution image synthesis. Consequently, Diffusion-4K achieves impressive performance in ultra-high-resolution image synthesis, particularly when powered by state-of-the-art large-scale diffusion models (eg, Flux-12B). The source code is publicly available at https://github.com/zhang0jhon/diffusion-4k.

arXiv:2506.09040공식 코드 · Papers with Code

Autoregressive Semantic Visual Reconstruction Helps VLMs Understand Better

Typical large vision-language models (LVLMs) apply autoregressive supervision solely to textual sequences, without fully incorporating the visual modality into the learning process. This results in three key limitations: (1) an inability to utilize images without accompanying captions, (2) the risk that captions omit critical visual details, and (3) the challenge that certain vision-centric content cannot be adequately conveyed through text. As a result, current LVLMs often prioritize vision-to-language alignment while potentially overlooking fine-grained visual information. While some prior works have explored autoregressive image generation, effectively leveraging autoregressive visual supervision to enhance image understanding remains an open challenge. In this paper, we introduce Autoregressive Semantic Visual Reconstruction (ASVR), which enables joint learning of visual and textual modalities within a unified autoregressive framework. We show that autoregressively reconstructing the raw visual appearance of images does not enhance and may even impair multimodal understanding. In contrast, autoregressively reconstructing the semantic representation of images consistently improves comprehension. Notably, we find that even when models are given continuous image features as input, they can effectively reconstruct discrete semantic tokens, resulting in stable and consistent improvements across a wide range of multimodal understanding benchmarks. Our approach delivers significant performance gains across varying data scales (556k-2M) and types of LLM bacbones. Specifically, ASVR improves LLaVA-1.5 by 5% in average scores across 14 multimodal benchmarks. The code is available at https://github.com/AlenjandroWang/ASVR.

arXiv:2507.04742

Activation Steering for Chain-of-Thought Compression

Large language models (LLMs) excel at complex reasoning when they include intermediate steps, known as "chains of thought" (CoTs). However, these rationales are often overly verbose, even for simple problems, leading to wasted context, increased latency, and higher energy consumption. We observe that verbose, English-heavy CoTs and concise, math-centric CoTs occupy distinct regions in the model's residual-stream activation space. By extracting and injecting a "steering vector" to transition between these modes, we can reliably shift generation toward more concise reasoning, effectively compressing CoTs without retraining. We formalize this approach as Activation-Steered Compression (ASC), an inference-time technique that shortens reasoning traces by directly modifying hidden representations. In addition, we provide a theoretical analysis of the impact of ASC on the output distribution, derived from a closed-form KL-divergence-bounded constraint to regulate steering strength. Using only 100 paired verbose and concise examples, ASC achieves up to 67.43% reduction in CoT length on MATH500 and GSM8K datasets, while maintaining accuracy across 7B, 8B, and 32B parameter models. As a training-free method, ASC introduces negligible runtime overhead and, on MATH500, delivers an average 2.73x speedup in end-to-end reasoning wall-clock time on an 8B model. This makes ASC a practical and efficient tool for streamlining the deployment of reasoning-capable LLMs in latency- or cost-sensitive settings. The code is available at: https://github.com/ArminAzizi98/ASC

arXiv:2608.23927v3cs.CV

GlanceWAM: 월드-액션 모델을 위한 희소 테스트 타임 시각적 상상

GlanceWAM: Sparse Test-Time Imagination for World-Action Models

Video generative models provide rich physical priors for robot learning, yet existing world-action models (WAMs) face a fundamental trade-off: synchronous video generation at control rate is latency-prohibitive, while abandoning test-time visual imagination sacrifices task success. We show that visual imagination achieves both real-time inference and superior success rates when generated asynchronously off the critical path and consumed directly in latent space. We introduce GlanceWAM, which decouples imagination from control on a single shared video DiT backbone: an asynchronous proposer glances ahead on a slow clock to imagine a single lookahead frame seconds into the future in the background, while an action head decodes action chunks at control rate (48 ms) purely in latent space without blocking. Enabled by a non-interfering attention mask that isolates video representations and staleness-robust horizon training that accommodates asynchronous lookahead aging, GlanceWAM breaks the speed-success dilemma. Trained purely on demonstrations, it attains 72.2% on the 24-task RoboCasa kitchen benchmark (vs. 67.1% for synchronous Cosmos Policy) and 99.0% on LIBERO while cutting per-chunk control latency 24x relative to synchronous world-action models (48 ms on one A100). In single-arm and bimanual real-robot manipulation, it achieves higher average success than $\pi_{0.5}$ without any robot-data pretraining. Code is available at https://github.com/linhanwang/GlanceWAM and real-robot videos at https://linhanwang.github.io/glancewam/.

arXiv:2611.14254v1cs.CV

Location Matters: Sparse Latent-Variance Attacks for Face Privacy against Diffusion Personalization

Text-to-image diffusion models can learn and reproduce an individual's identity from only a few reference photos, creating risks of unauthorized and misleading content generation. Proactive defenses address this risk by adding adversarial perturbations to facial images before release, thereby disrupting identity acquisition during downstream personalization. However, existing methods typically rely on dense $L_\infty$-bounded perturbations, whose accumulated distortions can become visible around facial structures. Recent methods improve protected-image quality, but often at the cost of reduced protection effectiveness. In this paper, we propose Sparse Encoder Attack on Latent Variance (SEAL), a sparse adversarial protection framework that modifies only 5% of the spatial locations in a facial image. SEAL combines a differentiable top-k masking scheme that jointly optimizes perturbation locations and values with a variance-oriented objective over the frozen VAE encoder's latent distribution to disrupt identity-consistent representations. A saliency-guided dispersion penalty further discourages perturbation concentration in perceptually salient facial regions. Experiments on CelebA-HQ and VGGFace2 show that SEAL achieves the best protected-image quality among the compared methods, exceeding 41 dB PSNR with 0.97 SSIM and at most 0.07 LPIPS, while reducing identity similarity to at most 0.15 after diffusion personalization. These results demonstrate that sparse location optimization enables strong identity protection while preserving high visual quality. Code and data are available at https://github.com/Lvxan/SEAL

arXiv:2606.22723v2cs.CL

BLUEX v2: 브라질 대학 입시 시험의 서술형 문제로 LLM 벤치마킹

BLUEX v2: Benchmarking LLMs on Open-Ended Questions from Brazilian University Entrance Exams

BLUEX v2는 브라질 양대 명문대학인 UNICAMP와 USP의 2차 입시 서술형 시험(2022–2025)에서 추출한 395개 문제(919개 하위 문제)로 구성된 포르투갈어 대규모 언어 모델(LLM) 평가 벤치마크로, LLM-as-a-judge 프로토콜을 활용해 21개 최신 LLM을 평가한 결과 수학적 추론과 이미지 이해가 가장 어려운 능력 차원으로 나타났다.

arXiv:2607.18820v1cs.CL

CASE: 사고의 연쇄(Chain-of-Thought) 충실성 개선을 위한 인과 정렬 및 구조적 강제

CASE: Causal Alignment and Structural Enforcement for Improving Chain-of-Thought Faithfulness

사고의 연쇄(Chain-of-Thought, CoT) 추론은 대규모 언어 모델(LLM)의 성능과 해석 가능성을 모두 향상시키는 데 널리 사용되지만, 생성된 추론이 최종 답을 충실하게 뒷받침하지 못할 수 있다. 우리는 이 문제를 인과적 관점에서 연구하며, 충실한 CoT 과정은 $Z\rightarrow X\rightarrow Y$의 연쇄를 따라야 한다. 여기서 $Z$, $X$, $Y$는 각각 지시(instruction), 추론 사슬(reasoning chain), 최종 답을 나타낸다. 이 과정에서 지시는 추론 사슬을 통해서만 답에 영향을 미쳐야 한다. 그러나 기존의 자기회귀(autoregressive) LLM은 답 생성을 지시와 CoT 모두에 조건화하므로, 지시에서 답으로 직접 가는 지름길(shortcut)이 여전히 허용된다. 이 문제를 해결하기 위해, 우리는 학습 시 인과 정렬과 추론 시 구조적 강제를 결합한 프레임워크인 CASE를 제안한다. 학습 중 CASE는 반사실적-CoT(counterfactual-CoT), 편향된 지시(biased-instruction), 빈 지시(empty-instruction) 데이터셋을 구축하고, 선택적 손실(selective-loss) 미세조정을 적용하여 CoT-답 의존성을 강화하면서 지시 지름길을 억제한다. 추론 중 CASE는 지시 토큰에서 답 토큰으로의 직접 어텐션을 마스킹하여, 모델이 생성된 CoT를 우회하는 것을 방지한다. 우리는 이러한 구성 요소들이 충실한 사슬을 어떻게 촉진하는지 보여주는 정보 이론적 분석을 제공한다. 세 개의 모델과 네 개의 벤치마크에 대한 실험 결과, CASE는 가장 강력한 베이스라인 대비 전체 CoT 충실성에서 설정당 평균 37% 상대적 개선을 달성하고, 더 강한 교차-데이터셋 충실성 전이를 보이며, 경쟁력 있는 평균 정확도를 유지한다. 코드는 https://github.com/oddwang/CASE 에서 이용할 수 있다.

arXiv:2607.18770v1cs.CR

GLID: 게이트 국소 내재 차원이 얼굴 위조 탐지기의 맹점을 보완한다

GLID: Gated Local Intrinsic Dimension Repairs the Blind Spots of Face-Forgery Detectors

미세조정된 파운데이션 모델 탐지기는 얼굴 위조 벤치마크를 지배하지만, 학습에 포함되지 않은 생성기(generator) 계열에는 여전히 맹목적이다. 우리는 데이터 대신 기하학으로 이 맹점을 보완하는 탐지기 GLID를 제안한다. GLID는 단일 이미지의 패치 토큰을 매니폴드(manifold)의 샘플로 취급하고, 고정된 비전 트랜스포머의 여러 깊이에서 국소 내재 차원(local intrinsic dimension, LID)을 추정한다. 이 12차원의 학습 불필요(training-free) 신호는 순수하게 분포 내(in-distribution)에서 보정된 신뢰도 게이트(confidence gate)를 통해 미세조정된 탐지기에 입력된다. 16축 교차 생성기 벤치마크에서 GLID는 평균 AUC 0.805를 달성하여, 재학습된 최신(state-of-the-art) 기준선 중 1위이며 어떤 축에서도 가장 강한 기준선보다 유의미하게 뒤처지지 않는다. 생성 축에서는 AUC를 +0.084만큼 끌어올리면서, 재연(reenactment) 축에서는 -0.005만큼만 변화시킨다. 두 가지 실증적 법칙이 설계를 설명한다. 첫째, 위조된 얼굴은 계열별 특정 깊이에서 토큰 매니폴드를 굽힌다: 생성적 적대 신경망(GAN) 아티팩트는 마지막 층에서 정점을 이루고, 확산(diffusion) 아티팩트는 네트워크 중간에서 정점을 이루며, 이 패턴은 네 가지 백본, 세 가지 차원 추정기, 비얼굴 이미지에서도 유지된다. 둘째, 미세조정은 학습 데이터가 커버하는 바로 그 지점에서 보조적 이득을 흡수한다: 대상 계열 이미지 1%를 주입하면 +0.100 이득이 사라지므로, 기하학적 신호는 바로 데이터를 사용할 수 없는 곳에서 중요하다. 결정론적 신호는 또한 정확도의 시드 간 분산을 5.5배 줄인다. 코드, 사전 등록된 분석 게이트, 이미지별 점수가 논문과 함께 제공된다.

arXiv:2607.20806v1cs.AI

경량 대규모 언어 모델 프로파일링

Profiling Lightweight Large Language Models

경량 대규모 언어 모델(LLM)은 점점 더 개인용 컴퓨터에 로컬로 배포되고 있으며, 자원이 제한된 엣지 및 모바일 환경에서 점점 더 중요한 역할을 할 것으로 예상된다. 이러한 환경에서는 에너지 소비, 실행 시간, 메모리 사용량이 실용적 사용성에 직접적인 영향을 미치지만, LLM 효율성에 대한 기존 평가는 대체로 매개변수 수나 FLOPs와 같은 대리 지표에 의존하며, 종종 작업 정밀도와 분리되어 있다. 본 논문은 경량 LLM 추론에 대한 정밀도 인식 프로파일링을 위한 PTME 기반 실험 프레임워크를 제안하며, 하드웨어 수준의 직접 측정을 통해 정밀도(Precision), 실행 시간(Time), 최대 메모리 사용량(Memory), 에너지 소비(Energy)를 공동으로 측정한다. 이 방법론은 제어된 데스크톱 플랫폼에서 엣지 수준의 자원 한계 하에 로컬로 실행된 대표적인 경량 LLM 집합에 적용되며, 코드 생성, 수학적 추론, 다과제 이해를 아우르는 벤치마크를 사용한다. 우리는 정적 대리 지표가 추론 비용을 잘 근사하지만 정밀도를 예측하지 못한다는 것을 발견한다. 자원 한계를 강화하면 정밀도에 영향을 주지 않으면서 비용이 증가하며, 에너지보다 실행 시간을 더 강하게 증폭시키고 더 큰 모델에 가장 큰 불이익을 준다. 게다가 어떤 단일 모델도 모든 PTME 차원에서 우위를 차지하지 않으며, 파레토 분석은 정확도만 또는 효율성만으로 평가할 경우 숨겨질 비지배(non-dominated) 구성을 드러내어, 서로 다른 자원 한계 하에서 모델을 선택하는 데 실용적인 지침을 제공한다. 이러한 결과는 크기, FLOPs, 지연 시간, 또는 정확도만으로 경량 LLM을 선택하면 잘못된 배포 후보를 고를 수 있음을 보여준다. PTME 프로파일링은 더 낮은 물리적 비용으로 유용한 정확도를 유지하는 구성을 드러낸다.

arXiv:2607.26200v1cs.CL

모더레이션 위치와 방식의 선택: 필터 배치 및 응답 재작성의 엔드투엔드 트레이드오프

Choosing Where and How to Moderate: End-to-End Trade-offs in Filter Placement and Response Rewriting

콘텐츠 모더레이션 분류기는 대개 개별적으로 평가되지만, 실제 배포 시에는 어느 시점에 개입할지와 플래그 지정 이후 어떤 조치를 취할지 선택해야 합니다. 본 연구에서는 컴포넌트 정확도 대신 두 가지 엔드투엔드(end-to-end) 고객 결과 지표를 사용하여 이러한 선택을 평가합니다. 즉 유해하지 않고 관련성이 있는 응답이 표시된 턴의 비율인 유용성(Usefulness)과, 유해한 응답이 표시된 비율인 유해 노출(Harmful Exposure)입니다. 지연 시간(latency)과 오류율은 진단 지표로 활용됩니다. 인간이 라벨링한 프로덕트 벤치마크와 공개 ToxicChat 평가에서 입력만(Input only), 응답만(Response only), 입력+응답(Input + response) 하드 블로킹 방식을 비교합니다. 평가된 작동 지점에서 응답만 차단하는 방식은 두 환경 모두에서 필터 전용 기준 가장 높은 유용성을 달성한 반면, 입력+응답 방식은 더 낮은 유해 노출을 달성합니다. 응답만 차단하는 방식을 응답+재작성(Response + rewrite)으로 대체하면 차단된 트래픽의 대부분을 복구할 수 있으며, 선택된 구성에서 응답만 차단하는 방식과 동일한 관측 유해 노출 건수를 기록합니다. 단, 이러한 수치적 동일성이 동등성 결과를 의미하는 것은 아닙니다. 프로브 라우팅(probe routing)은 대규모 언어 모델(LLM) 라우팅 대비 유사한 측정 결과에서 조건부 경로 지정 및 생성 시간을 크게 단축합니다. 집중적인 출력 검토 결과, 재작성은 무해한 의도와 안전한 방향 전환을 유지하면서 유발 요인이 되는 표현을 일반화함으로써 필터 통과와 유용성의 균형을 맞추는 방식을 보여줍니다. 그러나 민감한 도메인의 일부 출력에서는 안전과 관련된 잠재적 지원 정보가 누락되기도 합니다. 이러한 결과는 보편적인 배치 규칙을 적용하기보다 배포 환경별 안전성 및 지연 시간 제약 조건 하에서 모더레이션 구성을 비교해야 함을 뒷받침합니다. 코드 및 공개 아티팩트는 https://github.com/microsoft/mod-frontier 에서 확인할 수 있습니다.

arXiv:2608.01904v1cs.AI

CoEvoKG: 자가 진화 검색 에이전트와 지식 그래프의 공진화

CoEvoKG: Co-Evolving Knowledge Graphs with Self-Evolving Search Agents

대규모 언어 모델(LLM)은 검색 에이전트를 위한 강화학습(RL)을 통해 향상될 수 있으나, 기존의 셀프 플레이(self-play) 에이전트는 성공적인 검색 과정에서 얻은 지식을 버리면서 작업을 반복적으로 생성합니다. 본 논문에서는 지식 그래프를 검증 가능한 학습 작업의 원천이자 에이전트 진화를 위한 영구적인 근거 메모리로 전환하는 프레임워크인 CoEvoKG를 제안합니다. CoEvoKG는 작업 생성기와 검색 에이전트를 공동으로 학습시킵니다. 생성기는 지식 그래프에서 샘플링된 엔티티 체인으로부터 멀티홉 질문을 생성하고, 에이전트는 답변의 정확도와 그래프 근거로 뒷받침되는 엔티티 경로를 가진 검색 궤적에 대한 보상으로부터 학습합니다. 검색에 성공하면 CoEvoKG는 검색된 근거를 검증 및 중복 제거한 후 이를 해당하는 그래프 노드와 엣지에 다시 기록합니다. 후속 라운드에서는 이렇게 강화된 그래프를 작업 생성 및 보상 계산에 재사용하여, 모델의 자가 진화와 지식 축적 사이의 루프를 완성합니다. 3개의 백본 모델을 사용해 6개의 QA 벤치마크(NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, Bamboogle)에서 수행한 실험 결과, CoEvoKG는 Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct에서 해당 베이스 모델 대비 매크로 평균 정확도를 각각 +11.2, +10.1, +11.6포인트 향상시키는 것으로 나타났습니다. 동일한 학습 예산 하에서 CoEvoKG는 3개 백본 전반에 걸쳐 경쟁력 있는 셀프 플레이 베이스라인 및 검색 에이전트용 강화학습 베이스라인보다 매크로 평균 점수를 +2.6에서 +3.7포인트 추가로 향상시킵니다. 코드는 https://github.com/lazzy1225/CoEvoKG 에서 이용할 수 있습니다.

arXiv:2608.05069v1cs.CV

VQ-VAD: 인간 중심 비디오 이상 탐지를 위한 벡터 양자화 모션 표현 학습

VQ-VAD: Vector-quantized Motion Representation Learning for Human-centric Video Anomaly Detection

비디오 이상 탐지(VAD)는 이상의 희소성과 조명, 시점, 사람의 외형 변화를 포함한 감시 영상의 큰 시각적 변동성으로 인해 본질적으로 어려운 과제입니다. 시각적 노이즈를 완화하고 프라이버시 문제를 해결하기 위해, 최근 연구는 원본 비디오 데이터 대신 움직임 동역학에 집중하는 포즈 기반 VAD로 전환되었습니다. 그러나 기존의 포즈 기반 접근법은 연속적인 잠재 공간에서 인간의 행동을 모델링하므로, 강건한 행동 분석에 필수적인 간결한 모션 패턴을 학습하는 능력이 제한됩니다. 본 논문에서는 이산 모션 표현을 학습하는 새로운 인간 중심 이상 탐지 프레임워크인 벡터 양자화 비디오 이상 탐지(VQ-VAD)를 제안하여 이를 해결합니다. VQ-VAD는 원래 이미지 생성을 위해 개발된 벡터 양자화 생성적 적대 신경망(VQ-GAN)을 키포인트 시퀀스에 적용하도록 변형하고 정상 행동에 대한 모션 코드북을 구축합니다. 정상 모션 시퀀스만으로 학습된 VQ-VAD는 관측된 모션 시퀀스가 학습된 코드북에 매핑될 수 없을 때 발생하는 높은 재구성 오차를 식별하여 이상을 탐지합니다. 저자들은 4개의 이상 탐지 벤치마크를 대상으로 도메인 내(in-domain), 교차 도메인(cross-domain), 교차 데이터셋 일반화를 포함하는 세 가지 상호보완적인 평가 설정에서 광범위한 실험을 수행했습니다. VQ-VAD는 강력한 도메인 내 정확도(HR-SHT [15]에서 81.83%), CMU Panoptic [14]으로부터의 효과적인 교차 도메인 전이(재학습 없이 HR-SHT [15]에서 76.69%), 그리고 경쟁력 있는 교차 데이터셋 강건성을 달성합니다. 본 연구의 코드베이스는 https://github.com/TeCSAR-UNCC/VQ-VAD 에서 확인할 수 있습니다.

arXiv:2609.20842v1cs.CL

COAL-SQL: Text-to-SQL 사후 학습을 위한 커버리지 기반 증강 및 실패 주도 학습

COAL-SQL: Coverage-Guided Augmentation and Failure-Driven Learning for Text-to-SQL Post-Training

Text-to-SQL은 자연어 질의를 실행 가능한 SQL 쿼리로 변환하지만, 오픈소스 대규모 언어 모델(LLM)은 복잡한 실세계 SQL 생성을 위해 여전히 과제별 사후 학습이 필요하다. 효과적인 사후 학습에는 목표 과제가 요구하는 역량을 포괄하는 학습 데이터와 모델이 이를 습득하게 하는 학습 전략이 모두 필요하다. 기존 데이터셋은 유용한 지도를 제공하지만 SQL 구조를 불완전하게만 다루며, 증강 방법은 일반적으로 구조적 공백을 식별하지 않은 채 데이터만 확장한다. 게다가 지도 미세조정(SFT) 또는 강화학습(RL)만으로는 학습 중 드러나는 약점을 동적으로 해결할 수 없다. 우리는 커버리지 기반 증강(CGA)과 실패 주도 학습(FDL)을 결합한 통합 프레임워크 COAL-SQL을 제안한다. CGA는 탐욕적 선택을 통해 원본 데이터셋에 없는 SQL 구조를 식별하고 보완 예제를 구성하여 구조적 커버리지를 높인다. FDL은 GRPO를 주 최적화 목표로 유지하면서 풀리지 않은 예제에 대해 목표화된 지도를 제공한다. 스텝 수준에서는 누적된 실패에 대해 강한 LLM이 생성한 검증된 추론 trace에 지도 미세조정을 적용한다. 에포크 수준에서는 누적된 실패를 바탕으로 구조적으로 관련된 예제를 검색해 목표화된 연습을 만들고, 모델이 해당 SQL 역량을 습득하도록 돕는다. 서로 다른 사후 학습 예제 12,600개만으로 COAL-SQL은 BIRD development set에서 64.9% 실행 정확도를 달성하며, 유사한 규모로 학습된 baseline을 능가한다. 코드는 https://github.com/TechNomad-ds/COAL-SQL 에서 제공한다.

arXiv:2610.12114v1cs.AI

LLM을 위한 범용 텍스트 교수법

Universal Textual Teaching for LLMs

지식 증류(KD)는 더 강력한 교사(Teacher) 모델에서 더 약한 학생(Student) 모델로 지식을 전달하지만, 대부분의 방법은 학생 모델의 매개변수를 학습해야 하므로 증류된 지식이 특정 아키텍처 및 체크포인트에 종속됩니다. 이러한 암묵적 표현은 해석하거나 모델 간에 재사용하기 어렵고, API 전용 모델이나 학습 비용이 많이 드는 모델에 대한 지식 증류 적용을 제한합니다. 본 논문에서는 대규모 언어 모델(LLM)을 위한 지식 전달을 연구합니다. 우리는 교사-학생 간 관찰된 지식 격차를 프라이머(Primer)라는 텍스트 기반의 해석 가능하고 재사용 가능한 자연어 산출물로 증류하는 매개변수 업데이트가 필요 없는 프레임워크인 범용 텍스트 교수법(UTT)을 제안합니다. 구체적으로 UTT는 먼저 쌍체 평가를 통해 대표적인 지식 격차 사례를 식별하고, 다중 역할 상호작용을 통해 프라이머를 반복적으로 업데이트합니다. 즉, 학생이 각 과제를 시도하고, 프롬프터는 평가 피드백을 교수 지침으로 변환하며, 교사는 맞춤형 시연을 제공하고, 합성기는 검증된 교훈을 통합합니다. 어려운 수학(Omni-MATH-2) 및 코드 생성(KernelBench) 과제에 대한 광범위한 실험 결과는 제안 방법의 효과를 입증합니다. UTT는 KernelBench에서 학생 모델의 정확도를 9.4%에서 48.6%로, Fast1 정확도를 9%에서 35%로 크게 향상시켰으며, 수학적 추론 정확도는 27.6%에서 51.7%로 높였습니다. 또한 UTT는 대표적인 프롬프트 엔지니어링 및 매개변수 기반 지식 증류 방법보다 우수한 성능을 보입니다. 특히 UTT는 서로 다른 교사와 학생 간에도 일반화 가능한 것으로 나타났습니다. 즉, 특정 교사-학생 쌍을 위해 합성된 프라이머는 합성에 참여하지 않은 다른 학생 모델에도 일반화될 수 있습니다.

arXiv:2610.16167v1cs.AI

이동 고체 상호작용 하에서의 인터랙티브 4D 체적 액체 예측

Interactive 4D Volumetric Liquid Forecasting under Moving-Solid Interaction

우리는 고체 객체가 액체를 통과하며 움직이는 방식에 조건화된 미래의 조밀한 3D 액체 속도장의 시공간적 전개를 예측하는, 상호작용형 4D 체적 액체 예측(Interactive 4D Volumetric Liquid Forecasting) 과제를 제안한다. 이 과제는 로봇의 액체 조작, 디지털 트윈, 경직체-유체 비디오 생성을 포함하여 움직임에 조건화된 액체 반응을 추론해야 하는 시스템을 위한 상류 물리 예측 기본 요소를 제공한다. 기존 연구들은 정적이거나 미리 정해진 고체 형상 주변의 흐름을 예측하고 시각적으로 타당한 유체 운동을 합성하는 데 노력을 기울여왔다. 그러나 이러한 접근법들은 움직이는 고체가 미래의 전체 영역 액체 반응을 어떻게 유발하는지 예측할 수 없기 때문에, 상호작용형 액체 역학에 대해 제한적인 커버리지만을 제공한다. 이 예측 시나리오에서 유체역학적 효과는 변화하는 액체-고체 경계면 근처에 집중되어 있지만, 예측 목표는 전역적인 시공간 롤아웃(rollout)이다. 이러한 과제를 해결하기 위해, 우리는 TIDE/TIDES라는 2단계 순환 예측 프레임워크를 제안한다: TIDE는 지역화된 경계면 주도 예측을 분리해내며, TIDES는 전송을 고려한 결합(transport-aware coupling)과 명시적 안정화(stabilization)를 추가하여 누적된 롤아웃 오차를 줄인다. 적응된 유사 베이스라인, 통제된 구성요소 제거 실험(ablation), 움직임/크기 분포 외(OOD) 테스트, 장기 평가 전반에서 TIDES는 최고의 예측 성능을 달성하였으며, 제거 실험 결과 지역화된 상호작용, 전송 결합, 안정화가 핵심 기여 요소임이 확인되었다. 종합적으로, 우리의 과제 정식화, 벤치마크, TIDE/TIDES 연구는 움직이는 고체에 조건화된 조밀 액체 예측을 위한 통제된 기반을 확립한다. 코드는 https://github.com/jongwonryu/TIDE-TIDES 에서 공개되어 있다.

arXiv:2003.14360

Application and Assessment of Deep Learning for the Generation of Potential NMDA Receptor Antagonists

Uncompetitive antagonists of the N-methyl D-aspartate receptor (NMDAR) have demonstrated therapeutic benefit in the treatment of neurological diseases such as Parkinson's and Alzheimer's, but some also cause dissociative effects that have led to the synthesis of illicit drugs. The ability to generate NMDAR antagonists in silico is therefore desirable both for new medication development and for preempting and identifying new designer drugs. Recently, generative deep learning models have been applied to de novo drug design as a means to expand the amount of chemical space that can be explored for potential drug-like compounds. In this study, we assess the application of a generative model to the NMDAR to achieve two primary objectives: (i) the creation and release of a comprehensive library of experimentally validated NMDAR phencyclidine (PCP) site antagonists to assist the drug discovery community and (ii) an analysis of both the advantages conferred by applying such generative artificial intelligence models to drug design and the current limitations of the approach. We apply, and provide source code for, a variety of ligand- and structure-based assessment techniques used in standard drug discovery analyses to the deep learning-generated compounds. We present twelve candidate antagonists that are not available in existing chemical databases to provide an example of what this type of workflow can achieve, though synthesis and experimental validation of these compounds is still required.

arXiv:2102.04548

Synthesizing Skeletal Motion and Physiological Signals as a Function of a Virtual Human's Actions and Emotions

Round-the-clock monitoring of human behavior and emotions is required in many healthcare applications which is very expensive but can be automated using machine learning (ML) and sensor technologies. Unfortunately, the lack of infrastructure for collection and sharing of such data is a bottleneck for ML research applied to healthcare. Our goal is to circumvent this bottleneck by simulating a human body in virtual environment. This will allow generation of potentially infinite amounts of shareable data from an individual as a function of his actions, interactions and emotions in a care facility or at home, with no risk of confidentiality breach or privacy invasion. In this paper, we develop for the first time a system consisting of computational models for synchronously synthesizing skeletal motion, electrocardiogram, blood pressure, respiration, and skin conductance signals as a function of an open-ended set of actions and emotions. Our experimental evaluations, involving user studies, benchmark datasets and comparison to findings in the literature, show that our models can generate skeletal motion and physiological signals with high fidelity. The proposed framework is modular and allows the flexibility to experiment with different models. In addition to facilitating ML research for round-the-clock monitoring at a reduced cost, the proposed framework will allow reusability of code and data, and may be used as a training tool for ML practitioners and healthcare professionals.