PyTorchKR Papers

“Code Generation”

총 10,140편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2503.17657

Efficient Diffusion Training through Parallelization with Truncated Karhunen-Loève Expansion

Diffusion denoising models have become a popular approach for image generation, but they often suffer from slow convergence during training. In this paper, we identify that this slow convergence is partly due to the complexity of the Brownian motion driving the forward-time process. To address this, we represent the Brownian motion using the Karhunen-Lo\`eve expansion, truncating it to a limited number of eigenfunctions. We propose a novel ordinary differential equation with augmented random initials, termed KL diffusion, as a new forward-time process for training and sampling. By developing an appropriate denoising loss function, we facilitate the integration of our KL-diffusion into existing denoising-based models. Using the widely adopted DDIM framework as our baseline ensures a fair comparison, as our modifications focus solely on the forward process and loss function, leaving the network architecture and sampling methods unchanged. Our method significantly outperforms baseline diffusion models, achieving convergence speeds that are twice faster to reach the best FID score of the baseline and ultimately yielding much lower FID scores. Notably, our approach allows for highly parallelized computation, requires no additional learnable parameters, and can be flexibly integrated into existing diffusion methods. The code will be made publicly available.

arXiv:2503.22679공식 코드 · Papers with Code

Q-Insight: Understanding Image Quality via Visual Reinforcement Learning

Image quality assessment (IQA) focuses on the perceptual visual quality of images, playing a crucial role in downstream tasks such as image reconstruction, compression, and generation. The rapid advancement of multi-modal large language models (MLLMs) has significantly broadened the scope of IQA, moving toward comprehensive image quality understanding that incorporates content analysis, degradation perception, and comparison reasoning beyond mere numerical scoring. Previous MLLM-based methods typically either generate numerical scores lacking interpretability or heavily rely on supervised fine-tuning (SFT) using large-scale annotated datasets to provide descriptive assessments, limiting their flexibility and applicability. In this paper, we propose Q-Insight, a reinforcement learning-based model built upon group relative policy optimization (GRPO), which demonstrates strong visual reasoning capability for image quality understanding while requiring only a limited amount of rating scores and degradation labels. By jointly optimizing score regression and degradation perception tasks with carefully designed reward functions, our approach effectively exploits their mutual benefits for enhanced performance. Extensive experiments demonstrate that Q-Insight substantially outperforms existing state-of-the-art methods in both score regression and degradation perception tasks, while exhibiting impressive zero-shot generalization to comparison reasoning tasks. Code will be available at https://github.com/lwq20020127/Q-Insight.

arXiv:2505.10367공식 코드 · Papers with Code

A Hybrid Strategy for Aggregated Probabilistic Forecasting and Energy Trading in HEFTCom2024

Obtaining accurate probabilistic energy forecasts and making effective decisions amid diverse uncertainties are routine challenges in future energy systems. This paper presents the solution of team GEB, which ranked 3rd in trading, 4th in forecasting, and 1st among student teams in the IEEE Hybrid Energy Forecasting and Trading Competition 2024 (HEFTCom2024). The solution provides accurate probabilistic forecasts for a wind-solar hybrid system, and achieves substantial trading revenue in the day-ahead electricity market. Key components include: (1) a stacking-based approach combining sister forecasts from various Numerical Weather Predictions (NWPs) to provide wind power forecasts, (2) an online solar post-processing model to address the distribution shift in the online test set caused by increased solar capacity, (3) a probabilistic aggregation method for accurate quantile forecasts of hybrid generation, and (4) a stochastic trading strategy to maximize expected trading revenue considering uncertainties in electricity prices. This paper also explores the potential of end-to-end learning to further enhance the trading revenue by adjusting the distribution of forecast errors. Detailed case studies are provided to validate the effectiveness of these proposed methods. Code for all mentioned methods is available for reproduction and further research in both industry and academia.

arXiv:2505.11083공식 코드 · Papers with Code

Fault Diagnosis across Heterogeneous Domains via Self-Adaptive Temporal-Spatial Attention and Sample Generation

Deep learning methods have shown promising performance in fault diagnosis for multimode process. Most existing studies assume that the collected health state categories from different operating modes are identical. However, in real industrial scenarios, these categories typically exhibit only partial overlap. The incompleteness of the available data and the large distributional differences between the operating modes pose a significant challenge to existing fault diagnosis methods. To address this problem, a novel fault diagnosis model named self-adaptive temporal-spatial attention network (TSA-SAN) is proposed. First, inter-mode mappings are constructed using healthy category data to generate multimode samples. To enrich the diversity of the fault data, interpolation is performed between healthy and fault samples. Subsequently, the fault diagnosis model is trained using real and generated data. The self-adaptive instance normalization is established to suppress irrelevant information while retaining essential statistical features for diagnosis. In addition, a temporal-spatial attention mechanism is constructed to focus on the key features, thus enhancing the generalization ability of the model. The extensive experiments demonstrate that the proposed model significantly outperforms the state-of-the-art methods. The code will be available on Github at https://github.com/GuangqiangLi/TSA-SAN.

arXiv:2505.13880공식 코드 · Papers with Code

U-SAM: An audio language Model for Unified Speech, Audio, and Music Understanding

The text generation paradigm for audio tasks has opened new possibilities for unified audio understanding. However, existing models face significant challenges in achieving a comprehensive understanding across diverse audio types, such as speech, general audio events, and music. Furthermore, their exclusive reliance on cross-entropy loss for alignment often falls short, as it treats all tokens equally and fails to account for redundant audio features, leading to weaker cross-modal alignment. To deal with the above challenges, this paper introduces U-SAM, an advanced audio language model that integrates specialized encoders for speech, audio, and music with a pre-trained large language model (LLM). U-SAM employs a Mixture of Experts (MoE) projector for task-aware feature fusion, dynamically routing and integrating the domain-specific encoder outputs. Additionally, U-SAM incorporates a Semantic-Aware Contrastive Loss Module, which explicitly identifies redundant audio features under language supervision and rectifies their semantic and spectral representations to enhance cross-modal alignment. Extensive experiments demonstrate that U-SAM consistently outperforms both specialized models and existing audio language models across multiple benchmarks. Moreover, it exhibits emergent capabilities on unseen tasks, showcasing its generalization potential. Code is available (https://github.com/Honee-W/U-SAM/).

arXiv:2506.06175

Does It Run and Is That Enough? Revisiting Text-to-Chart Generation with a Multi-Agent Approach

Large language models can translate natural-language chart descriptions into runnable code, yet approximately 15\% of the generated scripts still fail to execute, even after supervised fine-tuning and reinforcement learning. We investigate whether this persistent error rate stems from model limitations or from reliance on a single-prompt design. To explore this, we propose a lightweight multi-agent pipeline that separates drafting, execution, repair, and judgment, using only an off-the-shelf GPT-4o-mini model. On the \textsc{Text2Chart31} benchmark, our system reduces execution errors to 4.5\% within three repair iterations, outperforming the strongest fine-tuned baseline by nearly 5 percentage points while requiring significantly less compute. Similar performance is observed on the \textsc{ChartX} benchmark, with an error rate of 4.6\%, demonstrating strong generalization. Under current benchmarks, execution success appears largely solved. However, manual review reveals that 6 out of 100 sampled charts contain hallucinations, and an LLM-based accessibility audit shows that only 33.3\% (\textsc{Text2Chart31}) and 7.2\% (\textsc{ChartX}) of generated charts satisfy basic colorblindness guidelines. These findings suggest that future work should shift focus from execution reliability toward improving chart aesthetics, semantic fidelity, and accessibility.

arXiv:2507.05418

Learn Globally, Speak Locally: Bridging the Gaps in Multilingual Reasoning

Large Language Models (LLMs) have achieved strong performance in domains like mathematics, factual QA, and code generation, yet their multilingual reasoning capabilities in these tasks remain underdeveloped. Especially for low-resource languages such as Swahili or Thai, LLMs can often misinterpret prompts or default to reasoning in English. This implicit bias toward high-resource languages undermines factual accuracy, interpretability, and trust. Current multilingual benchmarks focus only on final answers, overlooking whether models actually reason in the target language. To address this gap, we introduce GeoFact-X, a geography-based multilingual factual reasoning benchmark with annotated reasoning traces in five languages: English, Hindi, Japanese, Swahili, and Thai. We further propose BRIDGE, a novel training method that guides supervised fine-tuning and test-time reinforcement learning with a language-consistency reward to align reasoning with the input language. Finally, we develop an automatic evaluation protocol using LLM-as-a-judge to assess answer correctness and the quality and language consistency of reasoning traces, enabling nuanced and scalable analysis beyond surface-level metrics. Our results show that BRIDGE significantly enhances multilingual reasoning fidelity, demonstrating that reasoning-aware multilingual reinforcement learning is crucial for robust cross-lingual generalization. https://jd730.github.io/projects/GeoFact-X_BRIDGE

arXiv:2610.40532v1cs.RO

BURGER: Benchmarking and Understanding Robotic Generalization via Embodied Drawing

How effectively can vision-language-action (VLA) models learn diverse language-conditioned behaviors as training data scales? Investigating this question requires large and varied robot datasets, whose collection on physical robots remains costly. We introduce BURGER, a language-conditioned robotic drawing benchmark with a scalable, prompt-driven pipeline for generating continuous drawing trajectories, both in simulation and the real world. In BURGER, an agent starts from the same blank canvas and controls a robot arm to draw the object or spatial composition specified by language, while each instruction allows an open-ended variety of valid drawings and stroke orders. Using 28,200 simulated demonstrations spanning 282 drawing tasks, we evaluate five representative VLA models across data scales, language grounding, and multimodal behavior. BURGER supports fine-grained analysis of language grounding, spatial composition, and action generation, revealing distinct failure patterns across VLA models. Our experiments suggest that some VLA models can benefit from greater task diversity and demonstration scale, capture multimodal drawing behaviors, and generalize to unseen compositions of familiar objects. Finally, we deploy a trained policy on a Franka Panda arm, demonstrating the ability to draw reactively under human intervention. Project homepage and code can be found at https://siyingzhao.github.io/BURGER/.

arXiv:2610.39825v1cs.AI

AegisFlow: Training-Free Non-Myopic Path-Safe Guided Flow Matching

Pretrained generative models, such as diffusion and flow matching models, have demonstrated exceptional capabilities in synthesizing high-quality data. However, steering their generative trajectories to satisfy strict constraints--such as identity preservation in image editing or obstacle avoidance in robotics--remains fundamentally challenging. While recent training-free guidance methods enforce path-safety, they rely heavily on min-norm controllers that only account for immediate constraint satisfaction. These myopic approaches often yield suboptimal trajectories that hover dangerously close to the boundary, severely restricting the model's ability to optimize toward its target. In this paper, we propose AegisFlow, a training-free, non-myopic path-safe guidance framework that recasts guided generation as a safety-critical optimal control problem with global scope. By integrating a time-varying barrier function directly into the global cost functional, AegisFlow naturally enforces constraints along the entire generative path. To compute the global optimal control, we derive a tractable, mathematically grounded approximation of the Hamilton-Jacobi-Bellman (HJB) equation. Comprehensive experiments demonstrate that AegisFlow outperforms state-of-the-art methods across text-guided image manipulation and robotic planning, establishing a significantly better trade-off between target alignment and constraint satisfaction. Code is available at https://github.com/LiuKunpeng03/AegisFlow.

arXiv:2604.14586v5cs.IR

CPGRec+: A Balance-oriented Framework for Personalized Video Game Recommendations

The rapid expansion of gaming industry requires advanced recommender systems tailored to its dynamic landscape. Existing Graph Neural Network (GNN)-based methods primarily prioritize accuracy over diversity, overlooking their inherent trade-off. To address this, we previously proposed CPGRec, a balance-oriented gaming recommender system. However, CPGRec fails to account for critical disparities in player-game interactions, which carry varying significance in reflecting players' personal preferences and may exacerbate over-smoothness issues inherent in GNN-based models. Moreover, existing approaches underutilize the reasoning capabilities and extensive knowledge of large language models (LLMs) in addressing these limitations. To bridge this gap, we propose two new modules. First, Preference-informed Edge Reweighting (PER) module assigns signed edge weights to qualitatively distinguish significant player interests and disinterests while then quantitatively measuring preference strength to mitigate over-smoothing in graph convolutions. Second, Preference-informed Representation Generation (PRG) module leverages LLMs to generate contextualized descriptions of games and players by reasoning personal preferences from comparing global and personal interests, thereby refining representations of players and games. Experiments on \textcolor{black}{two Steam datasets} demonstrate CPGRec+'s superior accuracy and diversity over state-of-the-art models. The code is accessible at https://github.com/HsipingLi/CPGRec-Plus.

arXiv:2601.02236v2cs.CL

CD4LM: Consistency Distillation and aDaptive Decoding for Diffusion Language Models

Diffusion language models (DLMs) accelerate generation by decoding multiple tokens in parallel, but pushing them to fast decoding often sacrifices accuracy. We attribute this to a static-to-dynamic mismatch: training optimizes local denoising under fixed schedules, while fast inference skips steps and encounters irregular mask patterns. Existing accelerators largely address only one side of this problem. Training-free inference methods speed up decoding without changing the model, leaving the mismatch unresolved; training-side distillation methods adapt the model, but often tie the student to a specific decoding trajectory, limiting composability and still suffering accuracy loss. We propose CD4LM, a composable framework for accurate DLM acceleration. Its core training component, Discrete-Space Consistency Distillation (DSCD) trains a trajectory-invariant student on diverse masked states, reducing the mismatch without fixing a decoding policy. We pair DSCD with a lightweight ConfidenceAdaptive Decoder, while keeping the trained student compatible with external inference-side accelerators. On GSM8K, CD4LM preserves accuracy while achieving a 5.18x speedup; stacking CD4LM with per-step cache accelerators further pushes speedup to 9.73x at teacher-level accuracy, suggesting a scalable path for combining training-side robustness with future decoding advances. Code is available at https://github.com/yihao-liang/CDLM.

arXiv:2510.22622v2cs.CR

DeepfakeBench-MM: A Comprehensive Benchmark for Multimodal Deepfake Detection

Audio-visual deepfakes can spread misinformation and enable impersonation, undermining trust in digital media. However, existing datasets provide limited coverage of forgery operations and their combinations, constraining detector development and systematic evaluation. We introduce Mega-MMDF, containing 100,000 real and 1.2 million forged clips across 22 pipelines spanning modality-specific manipulations, stacked forgeries, and joint audio-video generation. To assess its training value and enable fair comparisons, we develop DeepfakeBench-MM, which standardizes training and evaluation across 8 datasets and 10 detectors. Training-based detectors achieve their highest mean AUC when trained on Mega-MMDF, with gains of up to 0.0784 over the best alternative training dataset for each detector. Experiments on data scale and pipeline coverage further support the value of large, diverse training data. Cross-pipeline evaluations reveal bidirectional and asymmetric generalization. Training on composite forgeries does not necessarily enable detection of their constituent operations in isolation. Our analysis of altered inputs shows that modality masking can increase false alarms and missed detections, and temporal misalignment can raise mean predicted forgery probabilities. Together, these resources provide a foundation for understanding and improving multimodal deepfake detection, with publicly available code and dataset access subject to application and usage terms.

arXiv:2606.12647v1cs.CC

AI 증강 컴퓨팅을 위한 토큰 복잡도 이론

Token Complexity Theory for AI-Augmented Computing

AI 증강 컴퓨팅에서 쿼리 및 응답 비용을 측정하기 위해 토큰 복잡도(token complexity)라는 형식적 자원 척도를 도입하고 AI-Oracle 튜링 기계 프레임워크 내에서 이론적 기초를 확립했습니다. 이를 통해 토큰 복잡도의 단조성, 볼록성 등의 성질을 증명하고 복잡도 경계의 구조를 규명했습니다.

arXiv:2607.11862v1cs.CV

근거 기반 비디오 질의응답

Evidence-Backed Video Question Answering

현재의 비디오 대규모 언어 모델(Video LLM)은 질의응답(QA)에서 뛰어난 성능을 보이지만, 대부분 시각적 근거 없이 텍스트 답변만 제공하는 블랙박스 방식으로 작동한다. 기존의 설명 가능성 연구들은 텍스트 기반 근거나 희소한 바운딩 박스에 의존하며, 폐색(occlusion)이나 비강체 변형(non-rigid deformation)과 같은 복잡한 비디오 동역학을 포착하는 데 한계가 있다. 우리는 근거 기반 비디오 질의응답(E-VQA)이라는 새로운 태스크를 제안한다. 이 태스크는 모델이 의미론적 답변과 함께 시공간적 근거—즉, 시간 구간과 조밀하게 추적된 객체 분할 마스크릿(masklet)—를 동시에 출력할 것을 요구한다. 이를 지원하기 위해 판별적(discriminative) 및 생성적(generative) 픽셀 수준 그라운딩을 위한 최초의 인간 검증 벤치마크인 ST-Evidence를 도입한다. 최신 모델들에 대한 평가 결과, QA 정확도와 실제 시각적 인식 사이의 심각한 괴리가 드러났으며, 이는 스케일링만으로는 해소되지 않는다. 이를 해결하기 위해 고수준 추론과 세밀한 그라운딩을 연결하는 16만 규모의 데이터셋인 ST-Evidence-Instruct를 생성하는 확장 가능한 자동화 생성 파이프라인을 개발한다. 이 데이터로 그라운딩 기반 Video LLM을 미세조정하면 동일한 크기의 UniPixel 기준선 대비 상당한 성능 향상을 달성한다(예: 7B 모델에서 t-mean +27.2, J&F +13.8). 이는 설명 가능하고 근거 기반의 비디오 이해를 위한 강건한 기준선을 확립한다. 코드와 데이터는 https://github.com/SalesforceAIResearch/EVQA 에서 공개되어 있다.

arXiv:2608.02353v1cs.CL

에이전트 워크플로우를 위한 전역 최적화 및 추론 시점 영역 접목

Global Optimization and Inference-Time Region Grafting for Agentic Workflows

에이전트 워크플로우(agentic workflow) 최적화의 최근 발전은 태스크별 워크플로우 탐색이나 입력 조건부 아키텍처 선택을 통해 워크플로우 설계를 자동화합니다. 그러나 이러한 방식은 실행 전에 워크플로우를 결정하므로, 실행 시점의 레이블 없는 품질 신호를 활용하여 실패한 워크플로우 영역을 적응시키지 못합니다. 전체 워크플로우 재최적화를 통해 이러한 추론 시점 적응을 단순하게 활성화하는 것은 계산 비용 측면에서 불가능합니다. 이 문제를 해결하기 위해, 우리는 전역적으로 최적화된 워크플로우를 보존하면서 각 입력에 대해 선택된 영역만 국소적으로 대체하는 GRAFT를 제안합니다. GRAFT는 매개변수 학습(parameter training) 없이 레이블 없는 실행 품질 신호를 사용하여 영역 수준 대안을 평가하며, 워크플로우 수준의 일관성을 유지하면서 국소 품질을 개선하는 대체안만을 수용함으로써 전체 워크플로우 재최적화 없이도 인스턴스별 적응을 가능하게 합니다. GRAFT는 수학적 추론, 코드 생성, 멀티홉 및 지식 집약적 질의응답을 아우르는 다양한 태스크에 걸쳐 수정 없이 적용됩니다. 일치된 옵티마이저 및 실행기(executor) 설정에서, 기존의 가장 강력한 워크플로우 최적화 방법인 MaAS 대비 평균 3.85포인트 향상됩니다. 전역 워크플로우를 재최적화하지 않고 실행기만 더 강력한 모델로 교체해도 추가적인 성능 향상을 얻을 수 있습니다. 이는 최적화된 워크플로우가 단순한 정적 최적화 결과물이 아니라, 추론 시점 피드백과 더 강력한 실행기를 통해 진화할 수 있는 적응형 실행 정책임을 시사합니다.

arXiv:2608.04286v1cs.CL

의미론적으로 동등한 적대적 공격을 통한 LLM의 내재적 환각 유발

Eliciting Intrinsic Hallucinations in LLMs via Semantically Equivalent Adversarial Attacks

대규모 언어 모델(LLM)은 검색-증강 생성(RAG)과 같은 방법을 통해 사실적 정확성을 개선하고 환각(hallucination)을 줄이기 위해 외부 지식 소스와 결합하여 자주 사용됩니다. 그러나 이러한 시스템은 모델이 검색된 근거에 의해 뒷받침되지 않는 충실하지 않거나 조작된 정보를 생성하는 내재적 환각에 여전히 취약합니다. 본 논문에서는 적대적 최적화 방법을 통해 발견한 사용자 질의의 자연스럽고 의미론적으로 동등한 변형을 사용하여 스트레스 테스트를 수행함으로써 이 현상에 대한 모델 견고성을 평가하는 새로운 프레임워크를 제안합니다. 엄격한 의미론적 동등성 제약과 내재적 환각 목표를 적용하는 본 프레임워크를 화이트박스, 그레이박스, 블랙박스 적대적 설정에 걸친 다양한 적대적 공격 기법에 적용합니다. 3개 데이터셋에 대해 5개의 오픈소스 및 5개의 폐쇄형 소스 생성기 모델에서 이러한 공격을 평가한 결과, 최첨단 모델조차도 의미를 보존하는 섭동(perturbation)에 매우 취약하여 문맥적 충실도를 크게 저하시키는 것(GPT-5-mini의 경우 최대 50%)을 입증합니다. 본 연구 결과는 문맥 내 근거의 충실한 활용이 최첨단 LLM에서도 여전히 취약함을 보여주며, 표면적인 질의 형태와 무관하게 견고한 그라운딩(grounding)을 강화하는 아키텍처 및 학습 목표의 필요성을 시사합니다. 코드는 https://github.com/atriviveksharma/intrinsic_hall 에서 이용할 수 있습니다.

arXiv:2608.07299v1cs.CV

EliSeg: 판독문 기반 이상 영역 분할을 위한 검증된 대상 구축

EliSeg: Verified Target Construction for Report-Grounded Abnormality Segmentation

방사선 판독문은 임상적 소견을 기술하지만 실행 가능한 분할(segmentation) 대상을 명시하지는 않습니다. 판독문에는 현재 존재하는 소견, 부정된 소견, 과거 소견, 불확실하거나 무관한 소견이 포함될 수 있으며, 여러 개의 유효한 이상 소견이 공존할 수도 있습니다. 기존 분할 기법들은 추론(inference) 전에 대상의 식별 정보나 공간적 프롬프트(prompt)를 입력받음으로써 이러한 모호성을 대체로 우회하는데, 이는 사실상 숨겨진 대상 오라클(oracle) 역할을 합니다. 본 연구에서는 필터링되지 않은 판독문으로부터 대상의 적격성(eligibility), 기수(cardinality), 그리고 소견-마스크 대응 관계를 모델(model)이 직접 결정한 뒤 해당 영역을 분할해야 하는 판독문 기반 이상 소견 분할 문제를 다룹니다. 이를 위해 대상 구축과 마스크 생성을 통합하는 actor-verify-revise 프레임워크인 EliSeg를 제안합니다. 문법 제약이 적용된 Actor가 대상 슬롯과 마스크를 제안하고, 독립적인 텍스트 전용 Verifier가 적격 소견 목록을 재구성하며, 두 대상 구조가 불일치할 경우 Revision 단계에서 공유된 Actor를 선택적으로 재실행합니다. EliSeg는 사전 정의된 대상 식별 정보, 소견 프롬프트, 포인트 또는 경계 상자(bounding box)를 필요로 하지 않습니다. MIMIC-CXR-ILS 데이터셋(dataset)을 이용한 실험을 통해 EliSeg가 다양한 소견 전반에서 직접 분할 방식 및 추출 후 분할(extract-then-segment) 캐스케이드 방식보다 일관되게 우수한 성능을 보이며 부적격 판독문 언급에 대한 마스크 생성을 효과적으로 억제함을 보였습니다. 제거 연구(ablation study)를 통해 검증과 수정의 상호보완적 역할을 확인하였으며, CheXlocalize 평가에서는 EliSeg가 외부 데이터셋으로도 효과적으로 전이됨을 입증했습니다. 코드는 https://github.com/Maybach-dream/EliSeg 에서 제공됩니다.

arXiv:2608.22479v1cs.CL

GTA-RAG: 다중 턴 검색-증강 추론을 위한 그래프 궤적 증강 강화학습

GTA-RAG: Graph-Trajectory-Augmented Reinforcement Learning for Multi-Turn Retrieval-Augmented Reasoning

검색-증augumented generation(RAG)은 LLM이 지식 집약적 질문에 답하기 위해 외부 지식에 접근할 수 있게 한다. 복잡한 다중 홉(multi-hop) 질문의 경우, 다중 턴 검색-증강 추론은 RAG를 여러 문서에 걸쳐 반복적으로 증거를 검색하고 통합하는 반복적 과정으로 확장한다. 그러나 에이전트형 RAG를 위한 기존 강화학습(RL) 접근법은 일반적으로 최종 답변 보상으로 최적화되어, 희소한 지도를 제공하며 모델이 실제로 필요한 증거 연쇄를 검색하는지는 간과한다. 우리는 다중 턴 검색-증강 추론을 위한 그래프 궤적 증강 RL 프레임워크인 GTA-RAG를 제안한다. 엔티티-문서 그래프에서 연결된 문서 경로를 샘플링하고, 다중 홉 QA 궤적을 합성하며, 배포된 검색기로 이를 검증하여 실행 가능한 궤적 수준 지도를 얻는다. 이어서 Group Relative Policy Optimization(GRPO)과 정확한 답변과 목표 증거 문서 확보를 모두 장려하는 궤적 유도 보상으로 검색 정책을 최적화하고, 자연 QA 인스턴스에 대한 답변 보상 학습을 이어서 수행한다. 세 가지 다중 홉 및 두 가지 단순 QA 벤치마크에서의 실험은 GTA-RAG가 Qwen2.5-3B와 Qwen2.5-7B 백본 모두에서 RL 기반 RAG 베이스라인을 일관되게 능가하며, 증거 연쇄 커버리지를 크게 개선함을 보여준다. 코드는 https://github.com/cjcj46262/GTA-RAG 에서 제공된다.

arXiv:2609.28272v1cs.CL

효율적인 추론을 향하여: 확산 언어 모델을 위한 인과적 지름길 학습

Towards Efficient Reasoning: Learning Causal Shortcuts for Diffusion Language Models

확산 언어 모델(Diffusion Language Models, DLM)은 뛰어난 추론 능력으로 상당한 주목을 받아왔습니다. 그러나 양방향 어텐션(bidirectional attention) 메커니즘 하에서 DLM은 자기회귀 모델(autoregressive models, ARM)에 비해 기하급수적으로 큰 탐험(exploration) 공간에서 작동하므로, 무작위 마스킹 환경에서 추론을 유도하는 토큰에 집중하기 어렵습니다. 본 논문에서는 전체 시퀀스를 포괄하며 올바른 추론 궤적으로 명시적인 가이드를 제공하는 토큰 체인을 인과적 지름길(causal shortcut)로 정의합니다. DLM의 추론 정확도와 수렴(convergence) 속도에 인과적 지름길이 미치는 영향을 분석한 결과, 정답 수렴 효율성과 생성 정확도가 크게 향상됨을 확인했습니다. 이에 영감을 받아, 본 연구에서는 DLM을 위한 인과적 지름길 학습(Causal Shortcut Learning, CSL) 프레임워크를 제안합니다. 구체적으로, 데이터에서 인과적 지름길을 추출하는 단계별 토큰 추출 절차를 도입하고, 학습(training) 중 이러한 토큰들에 병렬 우선순위 마스킹을 적용하여 인과적 지름길을 통해 정답으로의 효율적이고 정확한 수렴을 가능하게 합니다. 여러 추론 벤치마크와 두 가지 기본 모델에 걸친 광범위한 실험을 통해 CSL이 기존 SFT 변형 베이스라인들을 일관되게 능가하며, SFT 전용 모델 대비 평균 $1.92\%$, MATH-500에서는 최대 $4.20\%$의 향상을 달성함을 입증합니다. 코드는 \href{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning}{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning 에서 확인할 수 있습니다.

arXiv:2610.07072v1cs.CV

VAE 잠재 공간에서의 색상 정렬과 그 응용에 대하여

On Color Alignment in VAE Latent Spaces and Its Applications

변분 오토인코더(VAE)는 잠재 공간 내에서 이미지를 생성하는 최신 텍스트-투-이미지(text-to-image) 모델의 핵심 구성 요소입니다. VAE는 데이터 내 변동의 주요 요인들을 분리(disentangle)하는 것으로 알려져 있으며, 색상은 자연 이미지에서 이러한 요인 중 가장 구조화된 요인 중 하나로 알려져 있습니다. 즉, 색상의 상관관계를 해소하면 하나의 밝기(luminance) 축과 두 개의 대립색(opponent-color) 축이 도출됩니다. 따라서 색상은 VAE 잠재 공간에서 뚜렷한 요인으로 창발할 것으로 기대되어야 합니다. 그러나 이러한 잠재 공간이 색상을 어떻게 표현하는지는 아직 거의 탐구되지 않은 상태입니다. 본 연구에서는 텍스트-투-이미지 모델의 VAE들이 밝기 및 대립색과 정렬(alignment)된 색상 부분공간(color subspace)을 공유함을 보여줍니다. 인코더의 선형 근사와 목표 잠재 제어(latent steering)를 통해, 저자들은 SD1.5부터 FLUX.2 및 Z-Image에 이르는 광범위한 VAE 전반에서 이러한 부분공간이 일관되게 존재함을 확인했습니다. 이러한 특성 규명을 기반으로 세 가지 응용 방안을 제안합니다. GenColorBench의 세분화된 CSS3/X11 체계에서 정밀한 수치적 색상 생성을 통해 최고 성능(SOTA)을 달성하는 ColorTuning, 전역적 채도 강도를 조절하는 채도 제어, 그리고 참조 이미지에 맞춰 팔레트를 변경하는 색상 전이(color transfer)입니다. 코드와 모델은 https://julian075.github.io/Color_Subspace/ 에서 공개되어 있습니다.