PyTorchKR Papers

“Code Generation”

총 10,186편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2607.22293v1cs.CV

RadSight: 지각적으로 신뢰할 수 있는 멀티모달 영상의학 영상 이해를 향하여

RadSight: Towards Perceptually Reliable Multimodal Radiology Image Understanding

의료 멀티모달 대규모 언어 모델(MLLM)은 점점 더 복잡한 영상 이해 작업을 수행할 것으로 기대되고 있지만, 시각적 해석에서의 빈번한 오류로 인해 신뢰성이 종종 저하된다. 이러한 실패를 체계적으로 추적하기 위해, 우리는 고수준 임상 작업에서부터 기본적인 시각 지각까지 계층을 따라 탐색한다. 이에 따라 우리는 Perception-Bench를 도입한다. 이는 113만 개의 샘플로 구성된 대규모 벤치마크로, 2D 및 3D 영상의학 영상을 모두 아우르며 속성 판단, 공간적 그라운딩(spatial grounding), 공간 이해, 질병 예측, 이상 탐지, 보고서 생성의 6가지 차원에서 의료 MLLM을 평가한다. Perception-Bench에 대한 우리의 분석은 기존 MLLM이 위치, 크기, 밀도와 같은 가장 기본적인 병변 속성조차 포착하는 능력이 부족함을 보여준다. 임상 출력을 1차 시각 증거에 그라운딩(grounding)하지 못하는 이러한 한계는, 모델의 진단적 비신뢰성이 저수준 시각 지각의 중요하지만 간과된 병목에 뿌리를 두고 있음을 드러낸다. 이에 영감을 받아, 우리는 RadSight를 제안한다. RadSight는 고유 영상 공간 구조를 보존하는 이중 2D/3D 인코더 아키텍처 위에 구축된 지각 중심 MLLM이다. RadSight는 의료 영상 이해를 시각-언어 정렬, 세밀한 시각 지각, 임상 진단, 진단적 해석의 4단계 점진적 과정으로 공식화한다. 이 모델은 점진적 커리큘럼 학습(progressive curriculum learning)을 사용하여 837만 개의 지각 지향 코퍼스로 학습된다. Perception-Bench에서 RadSight는 특히 공간적 그라운딩과 임상 진단에서 뚜렷한 향상을 보이며, 6가지 평가 차원 전반에서 기존 MLLM을 일관되게 능가한다. 또한 공개 2D 및 3D 의료 벤치마크에서도 일관된 개선을 달성하여, 견고한 저수준 시각 지각이 신뢰할 수 있는 임상 이해의 핵심 기반이 됨을 추가로 입증한다. 코드와 모델은 공개적으로 제공될 예정이다.

arXiv:2608.09264v1cs.CV

필드 조건 콘텐츠-스타일 사전학습 기반 과제 적응형 3D 교차 자장 MRI 변환

Task-Adaptive 3D Cross-Field MRI Translation via Field-Conditioned Content-Style Pretraining

자기장 강도는 자기공명영상(MRI)에서 도메인 이동(domain shift)의 주요 원인으로, 신호 대 잡음비, 조직 대비, 공간적 세부 물상, 해부학적 경계의 가시성에 영향을 미친다. MRIxFields 2026 챌린지는 0.1T, 1.5T, 3T, 5T, 7T에서 촬영한 데이터를 대상으로 교차 자장 MRI 변환을 통해 이 문제를 다룬다. 세 가지 과제인 Any-to-7T, 0.1T-to-High, Any-to-Any 합성은 피험자 고유의 해부 구조를 보존하면서 목표 자장의 영상 특성을 생성해야 한다. 이 문제는 특히 동일 피험자에 대해 여러 자장 강도에서 촬영한 짝(pair) 데이터가 학습용으로 거의 제공되지 않기 때문에 매우 어렵다. 우리는 필드 조건 콘텐츠-스타일 사전학습에 기반한 3D 비짝(unpaired) 교차 자장 MRI 변환 프레임워크를 제안한다. 제안 프레임워크는 먼저 해부학적 콘텐츠와 자장 의존적 대비 특성을 분리(disentangle)함으로써 이용 가능한 모든 자장 강도에서 제어 가능한 자장 간 변환을 학습한다. 사전학습된 백본(backbone)은 이어서 과제별 목표 도메인에 맞게 적응된다. 우리 모델은 3D 콘텐츠 인코더, 3D 스타일 인코더, 필드 조건 스타일 생성기, AdaIN 변조 디코더, 다중 자장 판별기로 구성된다. 적대적 학습(adversarial learning)은 사실적인 목표 자장 외관을 유도하고, cycle-consistency, identity, content, style, diversity 제약은 해부학적 충실도와 제어 가능한 변환을 촉진한다. 우리는 다섯 자장 강도와 세 가지 MRI 모달리티를 아우르는 MRIxFields 데이터에서 제안 방법을 평가한다. 짝(pair) 테스트 데이터에 대한 실험은 프레임워크가 합성 볼륨에서 3차원 해부 구조를 보존하면서 세 가지 챌린지 설정에 적응할 수 있음을 보여준다. 구현 코드는 https://github.com/Idea89560041/3D-MRI-Field-Translation 에서 공개되어 있다.

arXiv:2608.07981v1cs.CV

Distilling Physical Priors into Streaming World Models

Streaming world models predict future visual states online while maintaining physically coherent dynamics over long horizons. However, their rollouts often violate basic physical constraints. A common approach distills pretrained bidirectional DiTs into few-step causal generators. However, this paradigm suffers from two fundamental limitations: generic bidirectional teachers acquire limited physical priors from visually oriented pretraining, and the limited priors suffer further loss during bidirectional-to-causal distillation. We present PhyS, a three-stage framework for distilling physical priors into streaming world models. To acquire physical priors from real-world interactions, we construct PhyS-120K, a dataset of 120K real-world physical-interaction videos spanning rigid-body dynamics, soft-body deformation, fluid phenomena, and phase transitions. Each video is annotated with structured descriptions of object properties and causal state transitions. Physics-aware supervised fine-tuning injects the physical priors into a bidirectional 14B DiT teacher, which we then distill into a lightweight 1.3B causal DiT for few-step autoregressive streaming generation. Finally, we use online reinforcement learning to incentivize the distilled model to generate physically plausible rollouts and further propose Temporal Credit Routing (TCR) to address temporal credit assignment. TCR evaluates physical consistency over overlapping temporal windows and routes the resulting group-relative advantages to temporally aligned denoising actions. On PhysicsIQ, PhyS improves the Wan2.1-14B teacher by 18.2\% and the Self Forcing, Rolling Forcing, and Causal Forcing by 23.7\%, 14.8\%, and 31.4\%, respectively. Results also improve the physics-aware video benchmarks VideoPhy, VideoPhy2, and PhyGenBench. The dataset, code, and more sample videos are available on our Project Page.

arXiv:2610.01230v1cs.AI

HHR: 효율적인 LLM 생성을 위한 계층적 해시 검색

HHR: Hierarchical Hash Retrieval for Efficient LLM Generation

효율적인 긴 문맥 추론(inference)은 대규모 언어 모델(LLM)에 필수적이지만, 극심한 연산 병목 현상을 유발합니다. 해시 기반 검색은 쿼리(query)와 키(key)를 이진 코드로 인코딩하고 해밍 거리(Hamming distance)를 사용하여 키를 선택함으로써 효율적인 대안을 제공합니다. 그러나 이는 해밍 거리와 어텐션(attention) 관련성 사이에 심각한 불일치를 초래합니다. 쿼리-키 로짓(logit)은 방향 유사도와 특징(feature) 크기에 함께 의존하는 반면, 해시 이진화는 크기 정보를 버리기 때문에 낮은 로짓 키의 위양성(false-positive) 검색과 높은 로짓 키의 위음성(false-negative) 누락을 모두 유발합니다. 이러한 실패를 해결하기 위해, 본 논문에서는 기하학 인식 키 라우팅(Geometry-Aware Key Routing, GKR)과 학습된 해시 투영(Learned Hash Projection, LHP)을 통해 점진적으로 검색 정확도를 향상시키는 coarse-to-fine 프레임워크인 계층적 해시 검색(Hierarchical Hash Retrieval, HHR)을 제안합니다. GKR은 헤드별 직교 변환을 학습하여 특징 크기를 재분배하고 더 변별력 있는 페이지 수준 로짓 경계를 도출함으로써, 중요한 후보를 보존하면서 낮은 로짓 키의 효과적인 가지치기(pruning)를 가능하게 합니다. 그런 다음 LHP는 미세 단위(fine-grained) 검색을 위해 해밍 거리를 실제 쿼리-키 관련성 순위와 정렬하는 헤드별 투영 공간을 학습합니다. GKR과 LHP를 결합함으로써 HHR은 위양성을 억제하고 위음성을 복구하여 해시 기반 희소 어텐션(sparse attention)의 충실도를 크게 향상시킵니다. 다양한 LLM 및 벤치마크에 걸친 광범위한 실험을 통해 HHR이 기존 방법들보다 우수한 성능을 달성함을 입증합니다. 예를 들어 LongBench에서 HHR은 평균 점수를 1.10점 향상시키며, 128K 문맥 길이에서 Llama-3.1-8B-Instruct 기준 최대 3.30배의 디코딩 속도 향상과 2.83배의 엔드투엔드 속도 향상을 달성합니다. 코드는 https://github.com/lianjunl13-sudo/HHR 에서 공개되어 있습니다.

arXiv:2012.05185

Physics-Guided Spoof Trace Disentanglement for Generic Face Anti-Spoofing

Prior studies show that the key to face anti-spoofing lies in the subtle image pattern, termed "spoof trace", e.g., color distortion, 3D mask edge, Moire pattern, and many others. Designing a generic face anti-spoofing model to estimate those spoof traces can improve not only the generalization of the spoof detection, but also the interpretability of the model's decision. Yet, this is a challenging task due to the diversity of spoof types and the lack of ground truth in spoof traces. In this work, we design a novel adversarial learning framework to disentangle spoof faces into the spoof traces and the live counterparts. Guided by physical properties, the spoof generation is represented as a combination of additive process and inpainting process. Additive process describes spoofing as spoof material introducing extra patterns (e.g., moire pattern), where the live counterpart can be recovered by removing those patterns. Inpainting process describes spoofing as spoof material fully covering certain regions, where the live counterpart of those regions has to be "guessed". We use 3 additive components and 1 inpainting component to represent traces at different frequency bands. The disentangled spoof traces can be utilized to synthesize realistic new spoof faces after proper geometric correction, and the synthesized spoof can be used for training and improve the generalization of spoof detection. Our approach demonstrates superior spoof detection performance on 3 testing scenarios: known attacks, unknown attacks, and open-set attacks. Meanwhile, it provides a visually-convincing estimation of the spoof traces. Source code and pre-trained models will be publicly available upon publication.

arXiv:2007.03497

STBC-Aided Cooperative NOMA with Timing Offsets, Imperfect Successive Interference Cancellation, and Imperfect Channel State Information

The combination of non-orthogonal multiple access(NOMA) and cooperative communications can be a suitable solution for fifth generation (5G) and beyond 5G (B5G) wireless systems with massive connectivity, because it can provide higher spectral efficiency, lower energy consumption, and improved fairness compared to the non-cooperative NOMA. However,the receiver complexity in the conventional cooperative NOMA increases with increasing number of users owing to successive interference cancellation (SIC) at each user. Space time block code-aided cooperative NOMA (STBC-CNOMA) offers less numbers of SIC as compared to that of conventional cooperative NOMA. In this paper, we evaluate the performance of STBC-CNOMA under practical challenges such as imperfect SIC, imperfect timing synchronization between distributed cooperating users, and imperfect channel state information (CSI). We derive closed-form expressions of the received signals in the presence of such realistic impairments and then use them to evaluate outage probability. Further, we provide intuitive insights into the impact of each impairment on the outage performance through asymptotic analysis at high transmit signal-to-noise ratio. We also compare the complexity of STBC-CNOMA with existing cooperative NOMA protocols for a given number of users. In addition, through analysis and simulation, we observe that the impact of the imperfect SIC on the outage performance of STBC-CNOMA is more significant compared to the other two imperfections. Therefore, considering the smaller number of SIC in STBC-CNOMA compared to the other cooperative NOMA protocols, STBC-CNOMA is an effective solution to achieve high reliability for the same SIC imperfection condition.

arXiv:2105.03949공식 코드 · Papers with Code

High-performance symbolic-numerics via multiple dispatch

As mathematical computing becomes more democratized in high-level languages, high-performance symbolic-numeric systems are necessary for domain scientists and engineers to get the best performance out of their machine without deep knowledge of code optimization. Naturally, users need different term types either to have different algebraic properties for them, or to use efficient data structures. To this end, we developed Symbolics.jl, an extendable symbolic system which uses dynamic multiple dispatch to change behavior depending on the domain needs. In this work we detail an underlying abstract term interface which allows for speed without sacrificing generality. We show that by formalizing a generic API on actions independent of implementation, we can retroactively add optimized data structures to our system without changing the pre-existing term rewriters. We showcase how this can be used to optimize term construction and give a 113x acceleration on general symbolic transformations. Further, we show that such a generic API allows for complementary term-rewriting implementations. We demonstrate the ability to swap between classical term-rewriting simplifiers and e-graph-based term-rewriting simplifiers. We showcase an e-graph ruleset which minimizes the number of CPU cycles during expression evaluation, and demonstrate how it simplifies a real-world reaction-network simulation to halve the runtime. Additionally, we show a reaction-diffusion partial differential equation solver which is able to be automatically converted into symbolic expressions via multiple dispatch tracing, which is subsequently accelerated and parallelized to give a 157x simulation speedup. Together, this presents Symbolics.jl as a next-generation symbolic-numeric computing environment geared towards modeling and simulation.

arXiv:2307.00858공식 코드 · Papers with Code

Beyond the Snapshot: Brain Tokenized Graph Transformer for Longitudinal Brain Functional Connectome Embedding

Under the framework of network-based neurodegeneration, brain functional connectome (FC)-based Graph Neural Networks (GNN) have emerged as a valuable tool for the diagnosis and prognosis of neurodegenerative diseases such as Alzheimer's disease (AD). However, these models are tailored for brain FC at a single time point instead of characterizing FC trajectory. Discerning how FC evolves with disease progression, particularly at the predementia stages such as cognitively normal individuals with amyloid deposition or individuals with mild cognitive impairment (MCI), is crucial for delineating disease spreading patterns and developing effective strategies to slow down or even halt disease advancement. In this work, we proposed the first interpretable framework for brain FC trajectory embedding with application to neurodegenerative disease diagnosis and prognosis, namely Brain Tokenized Graph Transformer (Brain TokenGT). It consists of two modules: 1) Graph Invariant and Variant Embedding (GIVE) for generation of node and spatio-temporal edge embeddings, which were tokenized for downstream processing; 2) Brain Informed Graph Transformer Readout (BIGTR) which augments previous tokens with trainable type identifiers and non-trainable node identifiers and feeds them into a standard transformer encoder to readout. We conducted extensive experiments on two public longitudinal fMRI datasets of the AD continuum for three tasks, including differentiating MCI from controls, predicting dementia conversion in MCI, and classification of amyloid positive or negative cognitively normal individuals. Based on brain FC trajectory, the proposed Brain TokenGT approach outperformed all the other benchmark models and at the same time provided excellent interpretability. The code is available at https://github.com/ZijianD/Brain-TokenGT.git

arXiv:2308.16632공식 코드 · Papers with Code

3D-STMN: Dependency-Driven Superpoint-Text Matching Network for End-to-End 3D Referring Expression Segmentation

In 3D Referring Expression Segmentation (3D-RES), the earlier approach adopts a two-stage paradigm, extracting segmentation proposals and then matching them with referring expressions. However, this conventional paradigm encounters significant challenges, most notably in terms of the generation of lackluster initial proposals and a pronounced deceleration in inference speed. Recognizing these limitations, we introduce an innovative end-to-end Superpoint-Text Matching Network (3D-STMN) that is enriched by dependency-driven insights. One of the keystones of our model is the Superpoint-Text Matching (STM) mechanism. Unlike traditional methods that navigate through instance proposals, STM directly correlates linguistic indications with their respective superpoints, clusters of semantically related points. This architectural decision empowers our model to efficiently harness cross-modal semantic relationships, primarily leveraging densely annotated superpoint-text pairs, as opposed to the more sparse instance-text pairs. In pursuit of enhancing the role of text in guiding the segmentation process, we further incorporate the Dependency-Driven Interaction (DDI) module to deepen the network's semantic comprehension of referring expressions. Using the dependency trees as a beacon, this module discerns the intricate relationships between primary terms and their associated descriptors in expressions, thereby elevating both the localization and segmentation capacities of our model. Comprehensive experiments on the ScanRefer benchmark reveal that our model not only set new performance standards, registering an mIoU gain of 11.7 points but also achieve a staggering enhancement in inference speed, surpassing traditional methods by 95.7 times. The code and models are available at https://github.com/sosppxo/3D-STMN.

arXiv:2401.01141

Spiker+: a framework for the generation of efficient Spiking Neural Networks FPGA accelerators for inference at the edge

Including Artificial Neural Networks in embedded systems at the edge allows applications to exploit Artificial Intelligence capabilities directly within devices operating at the network periphery. This paper introduces Spiker+, a comprehensive framework for generating efficient, low-power, and low-area customized Spiking Neural Networks (SNN) accelerators on FPGA for inference at the edge. Spiker+ presents a configurable multi-layer hardware SNN, a library of highly efficient neuron architectures, and a design framework, enabling the development of complex neural network accelerators with few lines of Python code. Spiker+ is tested on two benchmark datasets, the MNIST and the Spiking Heidelberg Digits (SHD). On the MNIST, it demonstrates competitive performance compared to state-of-the-art SNN accelerators. It outperforms them in terms of resource allocation, with a requirement of 7,612 logic cells and 18 Block RAMs (BRAMs), which makes it fit in very small FPGA, and power consumption, draining only 180mW for a complete inference on an input image. The latency is comparable to the ones observed in the state-of-the-art, with 780us/img. To the authors' knowledge, Spiker+ is the first SNN accelerator tested on the SHD. In this case, the accelerator requires 18,268 logic cells and 51 BRAM, with an overall power consumption of 430mW and a latency of 54 us for a complete inference on input data. This underscores the significance of Spiker+ in the hardware-accelerated SNN landscape, making it an excellent solution to deploy configurable and tunable SNN architectures in resource and power-constrained edge applications.

arXiv:2406.10803

HiddenTables & PyQTax: A Cooperative Game and Dataset For TableQA to Ensure Scale and Data Privacy Across a Myriad of Taxonomies

A myriad of different Large Language Models (LLMs) face a common challenge in contextually analyzing table question-answering tasks. These challenges are engendered from (1) finite context windows for large tables, (2) multi-faceted discrepancies amongst tokenization patterns against cell boundaries, and (3) various limitations stemming from data confidentiality in the process of using external models such as gpt-3.5-turbo. We propose a cooperative game dubbed "HiddenTables" as a potential resolution to this challenge. In essence, "HiddenTables" is played between the code-generating LLM "Solver" and the "Oracle" which evaluates the ability of the LLM agents to solve Table QA tasks. This game is based on natural language schemas and importantly, ensures the security of the underlying data. We provide evidential experiments on a diverse set of tables that demonstrate an LLM's collective inability to generalize and perform on complex queries, handle compositional dependencies, and align natural language to programmatic commands when concrete table schemas are provided. Unlike encoder-based models, we have pushed the boundaries of "HiddenTables" to not be limited by the number of rows - therefore we exhibit improved efficiency in prompt and completion tokens. Our infrastructure has spawned a new dataset "PyQTax" that spans across 116,671 question-table-answer triplets and provides additional fine-grained breakdowns & labels for varying question taxonomies. Therefore, in tandem with our academic contributions regarding LLMs' deficiency in TableQA tasks, "HiddenTables" is a tactile manifestation of how LLMs can interact with massive datasets while ensuring data security and minimizing generation costs.

arXiv:2407.08739공식 코드 · Papers with Code

MAVIS: Mathematical Visual Instruction Tuning with an Automatic Data Engine

The mathematical capabilities of Multi-modal Large Language Models (MLLMs) remain under-explored with three areas to be improved: visual encoding of math diagrams, diagram-language alignment, and chain-of-thought (CoT) reasoning. This draws forth an urgent demand for an effective training paradigm and a large-scale, comprehensive dataset with detailed CoT rationales, which is challenging to collect and costly to annotate manually. To tackle this issue, we propose MAVIS, a MAthematical VISual instruction tuning pipeline for MLLMs, featuring an automatic data engine to efficiently create mathematical visual datasets. We design the data generation process to be entirely independent of human intervention or GPT API usage, while ensuring the diagram-caption correspondence, question-answer correctness, and CoT reasoning quality. With this approach, we curate two datasets, MAVIS-Caption (558K diagram-caption pairs) and MAVIS-Instruct (834K visual math problems with CoT rationales), and propose four progressive stages for training MLLMs from scratch. First, we utilize MAVIS-Caption to fine-tune a math-specific vision encoder (CLIP-Math) through contrastive learning, tailored for improved diagram visual encoding. Second, we also leverage MAVIS-Caption to align the CLIP-Math with a large language model (LLM) by a projection layer, enhancing vision-language alignment in mathematical domains. Third, we adopt MAVIS-Instruct to perform the instruction tuning for robust problem-solving skills, and term the resulting model as MAVIS-7B. Fourth, we apply Direct Preference Optimization (DPO) to enhance the CoT capabilities of our model, further refining its step-wise reasoning performance. Code and data will be released at https://github.com/ZrrSkywalker/MAVIS

arXiv:2409.15650공식 코드 · Papers with Code

ImPoster: Text and Frequency Guidance for Subject Driven Action Personalization using Diffusion Models

We present ImPoster, a novel algorithm for generating a target image of a 'source' subject performing a 'driving' action. The inputs to our algorithm are a single pair of a source image with the subject that we wish to edit and a driving image with a subject of an arbitrary class performing the driving action, along with the text descriptions of the two images. Our approach is completely unsupervised and does not require any access to additional annotations like keypoints or pose. Our approach builds on a pretrained text-to-image latent diffusion model and learns the characteristics of the source and the driving image by finetuning the diffusion model for a small number of iterations. At inference time, ImPoster performs step-wise text prompting i.e. it denoises by first moving in the direction of the image manifold corresponding to the driving image followed by the direction of the image manifold corresponding to the text description of the desired target image. We propose a novel diffusion guidance formulation, image frequency guidance, to steer the generation towards the manifold of the source subject and the driving action at every step of the inference denoising. Our frequency guidance formulations are derived from the frequency domain properties of images. We extensively evaluate ImPoster on a diverse set of source-driving image pairs to demonstrate improvements over baselines. To the best of our knowledge, ImPoster is the first approach towards achieving both subject-driven as well as action-driven image personalization. Code and data is available at https://github.com/divyakraman/ImPosterDiffusion2024.

arXiv:2502.05478공식 코드 · Papers with Code

OntoTune: Ontology-Driven Self-training for Aligning Large Language Models

Existing domain-specific Large Language Models (LLMs) are typically developed by fine-tuning general-purposed LLMs with large-scale domain-specific corpora. However, training on large-scale corpora often fails to effectively organize domain knowledge of LLMs, leading to fragmented understanding. Inspired by how humans connect concepts and organize knowledge through mind maps, we aim to emulate this approach by using ontology with hierarchical conceptual knowledge to reorganize LLM's domain knowledge. From this perspective, we propose an ontology-driven self-training framework called OntoTune, which aims to align LLMs with ontology through in-context learning, enabling the generation of responses guided by the ontology. We leverage in-context learning to identify whether the LLM has acquired the specific concept's ontology knowledge, and select the entries not yet mastered by LLM as the training set to further align the LLM with ontology. Compared to existing domain LLMs based on newly collected large-scale domain-specific corpora, our OntoTune, which relies on the existing, long-term developed ontology and LLM itself, significantly reduces data maintenance costs and offers improved generalization ability. We conduct our study in the medical domain to evaluate the effectiveness of OntoTune, utilizing a standardized medical ontology, SNOMED CT as our ontology source. Experimental results demonstrate that OntoTune achieves state-of-the-art performance in both in-ontology task hypernym discovery and out-of-ontology task medical domain QA. Moreover, compared to the latest direct ontology injection method TaxoLLaMA, our OntoTune better preserves original knowledge of LLM. The code and data are available at https://github.com/zjukg/OntoTune.

arXiv:2504.03128공식 코드 · Papers with Code

FontGuard: A Robust Font Watermarking Approach Leveraging Deep Font Knowledge

The proliferation of AI-generated content brings significant concerns on the forensic and security issues such as source tracing, copyright protection, etc, highlighting the need for effective watermarking technologies. Font-based text watermarking has emerged as an effective solution to embed information, which could ensure copyright, traceability, and compliance of the generated text content. Existing font watermarking methods usually neglect essential font knowledge, which leads to watermarked fonts of low quality and limited embedding capacity. These methods are also vulnerable to real-world distortions, low-resolution fonts, and inaccurate character segmentation. In this paper, we introduce FontGuard, a novel font watermarking model that harnesses the capabilities of font models and language-guided contrastive learning. Unlike previous methods that focus solely on the pixel-level alteration, FontGuard modifies fonts by altering hidden style features, resulting in better font quality upon watermark embedding. We also leverage the font manifold to increase the embedding capacity of our proposed method by generating substantial font variants closely resembling the original font. Furthermore, in the decoder, we employ an image-text contrastive learning to reconstruct the embedded bits, which can achieve desirable robustness against various real-world transmission distortions. FontGuard outperforms state-of-the-art methods by +5.4%, +7.4%, and +5.8% in decoding accuracy under synthetic, cross-media, and online social network distortions, respectively, while improving the visual quality by 52.7% in terms of LPIPS. Moreover, FontGuard uniquely allows the generation of watermarked fonts for unseen fonts without re-training the network. The code and dataset are available at https://github.com/KAHIMWONG/FontGuard.

arXiv:2504.18397공식 코드 · Papers with Code

Unsupervised Visual Chain-of-Thought Reasoning via Preference Optimization

Chain-of-thought (CoT) reasoning greatly improves the interpretability and problem-solving abilities of multimodal large language models (MLLMs). However, existing approaches are focused on text CoT, limiting their ability to leverage visual cues. Visual CoT remains underexplored, and the only work is based on supervised fine-tuning (SFT) that relies on extensive labeled bounding-box data and is hard to generalize to unseen cases. In this paper, we introduce Unsupervised Visual CoT (UV-CoT), a novel framework for image-level CoT reasoning via preference optimization. UV-CoT performs preference comparisons between model-generated bounding boxes (one is preferred and the other is dis-preferred), eliminating the need for bounding-box annotations. We get such preference data by introducing an automatic data generation pipeline. Given an image, our target MLLM (e.g., LLaVA-1.5-7B) generates seed bounding boxes using a template prompt and then answers the question using each bounded region as input. An evaluator MLLM (e.g., OmniLLM-12B) ranks the responses, and these rankings serve as supervision to train the target MLLM with UV-CoT by minimizing negative log-likelihood losses. By emulating human perception--identifying key regions and reasoning based on them--UV-CoT can improve visual comprehension, particularly in spatial reasoning tasks where textual descriptions alone fall short. Our experiments on six datasets demonstrate the superiority of UV-CoT, compared to the state-of-the-art textual and visual CoT methods. Our zero-shot testing on four unseen datasets shows the strong generalization of UV-CoT. The code is available in https://github.com/kesenzhao/UV-CoT.

arXiv:2506.07121v2cs.LG

품질-다양성 레드팀 테스팅: 대규모 언어 모델을 위한 고품질 다각화 공격자 자동 생성

Quality-Diversity Red-Teaming: Automated Generation of High-Quality and Diverse Attackers for Large Language Models

대규모 언어 모델(LLM)의 안전성(safety)과 강건성을 확보하는 것은 인공지능의 책임 있는 배포를 위한 근본적인 과제이자 필수 전제 조건입니다. 대상 LLM으로부터 유해한 응답을 유도하는 적대적 프롬프트(adversarial prompt)를 식별하기 위한 체계적인 프레임워크인 레드팀 테스팅(red-teaming)은 중요한 안전성 평가 패러다임으로 부상했습니다. 이 프레임워크 내에서 종합적인 안전성 평가를 수행하려면 적대적 프롬프트의 다양성이 필수적입니다. 그러나 기존의 레드팀 테스팅 접근법은 단어 빈도나 문장 임베딩(embedding) 유사도와 같은 단순한 지표를 통해 다양성을 추구하는 경우가 많아, 공격 전략에서의 유의미한 변량을 포착하지 못할 수 있습니다. 또한, 단일 공격자 모델을 학습(training)시키는 일반적인 관행은 모든 잠재적인 공격 스타일과 위험 범주 전반에 걸친 커버리지를 제한합니다. 본 논문에서는 이러한 한계를 해결하기 위해 설계된 새로운 프레임워크인 Quality-Diversity Red-Teaming(QDRT)을 소개합니다. QDRT는 행동 조건부 학습을 통해 목표 지향적 다양성을 달성하고, 개방형(open-ended) 방식으로 행동 재생 버퍼(behavioral replay buffer)를 구현합니다. 아울러 다양한 스타일과 위험 범주 전반에서 고품질 공격을 생성할 수 있는 복수의 전문화된 공격자를 학습시킵니다. 실증적 평가 결과, QDRT는 오픈소스 모델인 \texttt{GPT-2}, \texttt{Llama-3}, \texttt{Gemma-2}, \texttt{Qwen2.5} 및 상용 모델인 \texttt{GPT-4.1}, \texttt{GPT-5-Chat}을 포함한 광범위한 대상 LLM에 대해 더 다양하면서도 더 효과적인 공격을 생성함을 입증합니다. 본 연구는 자동화된 레드팀 테스팅을 위한 체계적이고 효과적인 접근법을 제공함으로써 LLM 안전성 분야를 발전시키며, 궁극적으로 LLM의 책임 있는 배포를 지원합니다. 코드는 https://github.com/lamda-bbo/QDRT 에서 확인할 수 있습니다.

arXiv:2606.22494v1cs.AI

동영상 기반 심층 학습 수화 인식 및 인도 방언으로의 교차 언어 번역

Deep Learning-Based Sign Language Recognition from Videos and Cross-Lingual Translation to Indian Vernaculars

수화는 전 세계 청각 장애인 및 난청인 커뮤니티의 주요 의사소통 수단이지만, 동영상에서 수화 제스처를 인식하고 이를 자연어 텍스트로 번역하는 자동화 도구는 여전히 제한적이며, 특히 저자원(low-resource) 인도 언어에 대해서는 더욱 그렇다. 우리는 2단계 심층 학습 파이프라인을 제안한다. 이 파이프라인은 (i) 파인튜닝(fine-tuning)된 VideoMAE 동영상 트랜스포머를 사용하여 짧은 수화 동영상 클립을 영어 단어 레이블로 분류하고, (ii) Meta AI의 No Language Left Behind(NLLB-200) 다국어 번역 모델을 사용하여 예측된 영어 레이블을 힌디어, 텔루구어, 벵골어로 번역한다. 분류 모델은 IIT Madras의 AI4Bharat 인도 수어 동영상 코퍼스의 13개 클래스 부분집합에서 파인튜닝되며, 각 동영상에서 균일하게 샘플링한 16프레임 클립을 224 x 224 해상도로 처리한다. 소규모 학술 설정(13개 클래스, 197개 클립, 80-20 분할)에서 파인튜닝된 모델은 15 에포크 후 99% 학습(training) 정확도와 78% 검증(validation) 정확도에 도달한다. 혼동 행렬과 분류 보고서를 통해 클래스별 세부 분석을 제공하고, 지배적인 실패 모드(ugly, deaf, blind, hat, dress와 같이 혼동되기 쉬운 형용사 쌍 등)를 식별하며, 사용자가 업로드한 동영상을 입력받아 예측된 영어 레이블과 그에 대한 힌디어, 텔루구어, 벵골어 번역을 반환하는 Streamlit 기반 추론 데모를 설명한다. 적용 범위, 한계(작은 레이블 집합, 연속 수화가 아닌 고립 단어 방식, 단일 수화자 스타일 민감성, 단일 단어 기계 번역의 모호성), 그리고 문장 수준 생성 및 더 큰 어휘로 확장하는 것을 포함한 향후 연구 방향을 논의한다. 재현 가능성을 위해 코드를 공개한다.

arXiv:2607.03180v1cs.CV

FairFlow: 텍스트-이미지 확산 트랜스포머의 스테레오타입 바이어스 규명 및 완화

FairFlow: Demystifying and Mitigating Stereotype Bias in Text-to-Image Diffusion Transformers

멀티모달 확산 트랜스포머(MM-DiT)는 현대 텍스트-이미지 생성 시스템의 주류 백본으로 부상했다. 그러나 이 모델들은 치명적인 정렬 취약점을 내포하고 있어, 무해한 프롬프트에서도 심각한 스테레오타입 바이어스를 체계적으로 드러낸다. 이는 배포된 시스템에서 알고리즘적 차별이라는 중대한 위험을 초래한다. 기존 완화 전략의 대부분이 레거시 U-Net 아키텍처에 맞게 설계되었기 때문에, MM-DiT에서 이러한 취약점을 정밀하게 교정하는 것은 여전히 미해결 과제로 남아 있다. 본 연구에서는 먼저 기계론적 분석을 통해 이 취약점의 근본 원인을 규명한다. MM-DiT에서 바이어스 표현이 깊이 방향으로 균일하게 분포되지 않고, 내부 의미적 바인딩 허브로 기능하는 소수의 레이어들에 의해 매개된다는 사실을 밝힌다. 이 허브들은 단계별 전파 방식으로 바이어스 발현을 주도한다: 초기 허브는 바이어스에 취약한 구조적 템플릿을 형성하고, 중간 허브는 텍스트 조건화로부터 핵심 스테레오타입 개념을 능동적으로 추출하며, 후기 허브는 시각적 셀프 어텐션을 통해 이러한 바이어스를 전역적으로 고착시킨다. 이러한 아키텍처적 인사이트를 바탕으로, 우리는 내재적·기제 기반 완화 프레임워크인 FairFlow를 제안한다. FairFlow는 희소 조정(sparse steering)을 적용하는 내부 조절자로서, 속성별 공정한 방향을 학습하고 이를 제한된 추론 윈도우 내에서 식별된 의미적 허브에만 주입한다. FLUX.1-dev 및 Stable Diffusion 3에 대한 평가에서 FairFlow는 성별, 인종, 교차적 설정 전반에 걸쳐 스테레오타입 취약점을 효과적으로 중화하며 최적의 공정성-충실도 균형을 달성함을 보인다. 추론 오버헤드가 거의 없고 복잡한 프롬프트에도 강건한 FairFlow는 대규모 배포 MM-DiT 시스템을 위한 경량의 실용적인 바이어스 완화 방법을 제공한다. 코드와 데이터셋은 논문 승인 후 공개될 예정이다.

arXiv:2607.22830v1cs.CV

ID-V2V: 정체성 보존 비디오 재스타일화

ID-V2V: Identity-Preserving Video Restylization

시각적 스토리텔링에서 인간의 퍼포먼스는 창의적 의도와 서사적 의미의 핵심이다. 그러나 생성형 비디오 모델은 유연한 시각적 편집을 가능하게 하면서도 인간의 정체성과 퍼포먼스를 보존하는 것이 여전히 어렵다. 우리는 이 과제를 정체성 보존 비디오 재스타일화로 공식화한다. 이는 편집된 키프레임으로 지정된 장면, 조명, 스타일 변화를 소스 비디오 전체에 전파하면서, 표정, 시선, 입술 동기화를 포함한 얼굴 유사성과 퍼포먼스를 보존하는 작업이다. 핵심 장애물은 paired 학습 데이터의 부재인데, 실제 환경에서는 정체성을 보존한 재스타일화 비디오 쌍이 드물기 때문이다. 이를 해결하기 위해 우리는 소스 기반 정체성 보존과 편집 주도 비디오 합성의 분리를 제안한다. 핵심 통찰은 얼굴 외형과 표정은 불변으로 유지되어야 하며, 조명이 주요하게 허용되는 변화라는 점이다. 따라서 정체성 보존을 비디오 재조명 문제로, 시각적 편집 전파는 편집된 키프레임이 안내하는 제어된 비디오 합성으로 모델링한다. 이 공식화를 바탕으로 우리는 ID-V2V를 제안한다. 이는 상호 보완적인 제어 신호를 통합한 비디오-투-비디오 생성 프레임워크로, 재조명된 얼굴 영역과 얼굴 노멀 맵이 얼굴 유사성과 퍼포먼스를 엄격히 제약하고, 편집된 키프레임과 깊이 시퀀스가 유연하고 시간적으로 일관된 생성을 가능하게 한다. 이 설계는 단일 비디오로부터 학습 쌍을 구성할 수 있어 희소한 paired 데이터가 필요 없게 한다. 광범위한 실험 결과 ID-V2V는 얼굴 유사성과 세밀한 얼굴 퍼포먼스 보존에서 기존 방법을 크게 능가하며, 단일 및 다중 피사체 시나리오를 모두 지원하고 높은 시각적 품질을 제공하여, 실제 콘텐츠 제작을 위한 인간 중심 도구로서의 잠재력을 보여준다. 코드는 https://github.com/Eyeline-Labs/ID-V2V 에서 제공된다.