PyTorchKR Papers

“Code Generation”

총 10,140편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2506.18488

AI-Generated Song Detection via Lyrics Transcripts

The recent rise in capabilities of AI-based music generation tools has created an upheaval in the music industry, necessitating the creation of accurate methods to detect such AI-generated content. This can be done using audio-based detectors; however, it has been shown that they struggle to generalize to unseen generators or when the audio is perturbed. Furthermore, recent work used accurate and cleanly formatted lyrics sourced from a lyrics provider database to detect AI-generated music. However, in practice, such perfect lyrics are not available (only the audio is); this leaves a substantial gap in applicability in real-life use cases. In this work, we instead propose solving this gap by transcribing songs using general automatic speech recognition (ASR) models. We do this using several detectors. The results on diverse, multi-genre, and multi-lingual lyrics show generally strong detection performance across languages and genres, particularly for our best-performing model using Whisper large-v2 and LLM2Vec embeddings. In addition, we show that our method is more robust than state-of-the-art audio-based ones when the audio is perturbed in different ways and when evaluated on different music generators. Our code is available at https://github.com/deezer/robust-AI-lyrics-detection.

arXiv:2610.38593v2cs.CV

SpectralTF-MAE: A Pre-trained Spectral Foundation Model for Tokamak Fusion Plasma Diagnostics

Spectroscopic diagnostics provide rich information for characterizing plasma states in tokamak fusion experiments, while existing learning-based approaches are often designed for individual tasks and rely heavily on labeled data. In this work, we propose SpectralTF-MAE, a self-supervised spectral foundation model for tokamak plasma diagnostics. The model is pretrained on paired charge-exchange recombination spectroscopy (CXRS) and X-ray crystal spectroscopy (XCS) measurements through masked spectral reconstruction. To better capture diagnostically important spectral structures, we introduce a peak-aware masking strategy together with a peak-enhanced reconstruction objective, encouraging the model to focus on characteristic spectral regions. A shared Transformer encoder is employed to learn transferable representations across different diagnostic modalities. The pretrained model is further adapted to several downstream tasks, including plasma-parameter prediction, cross-diagnostic spectral generation, and spectral peak analysis. Experiments on EAST diagnostic data demonstrate that the proposed framework achieves competitive performance across different tasks and consistently benefits from self-supervised spectral pretraining. These results indicate the potential of SpectralTF-MAE as a general and transferable representation learning framework for plasma spectroscopic diagnostics. The source code and pre-trained models will be released on https://github.com/Event-AHU/OpenFusion/tree/main/SpectralTF-MAE.

arXiv:2610.41736v1cs.LG

Locality-Controlled Out-of-Distribution Guidance for Robust Regulatory DNA Sequence Design

Designing regulatory DNA sequences for targeted gene-expression control is an important challenge. Recent approaches frame this task as property-conditioned generation, where diffusion models trained on natural sequences are guided toward high predicted activity through reward-based fine-tuning or sampling-time guidance. We show that single-reward evaluation can obscure reward-hacking behavior. By decomposing evaluation into property, novelty, and plausibility, we identify an empirically underexplored region of the evaluation space in which all three objectives are satisfied, but no existing baseline succeeds. We postulate that this gap arises because prior methods treat guidance primarily as a matter of magnitude. In regulatory DNA, however, sequence grammar is spatially nonuniform: motif positions are sensitive to perturbation, while background regions allow more exploration. We therefore propose LOCOGEN by reformulating guidance as a problem of locality. LOCOGEN learns an invariant motif mask through sequence-level invariance learning to protect motif positions, while applying OOD damping only to background positions. It operates at sampling time on a frozen diffusion backbone, without retraining the backbone. Across HepG2, K562, and SK-N-SH, LOCOGEN reaches this previously underexplored region of the property-novelty-plausibility space. Code is available at https://github.com/Lotfollahi-lab/LocoGen.

arXiv:2610.41454v1cs.LG

When Everyone Can Build a Model: Mechanistic Inference in the Age of AI

Modern deep learning and AI-assisted code generation are lowering the technical barrier to building mathematical models of biological systems that reproduce complex observations. This lets researchers with domain expertise build semi-mechanistic, hybrid models constrained by prior knowledge and augmented with learned structure without extensive training in modelling. However, easier construction does not make interpretation easier: predictive success of such so-called grey-box models does not establish that an inferred mechanism corresponds to the one that generated the data, and the learned component can absorb errors in the mechanistic part. Many biological modelling problems are underdetermined, so several, possibly infinitely many, models may reproduce the same data equally well. This ambiguity enters at two modelling choices: which variables can affect others, and which response function describes the underlying mechanism. For the first choice, causal inference provides a formal framework stating which causal relationships and intervention effects are identifiable from the data and available knowledge. For the second, ensemble analyses quantify the uncertainty and the range of behaviours still allowed by models that fit equally well. Together, they turn a single good fit into an explicit account of what is supported, what remains open, and which experiment would decide.

arXiv:2611.06046v2cs.CV

DeepfakeGenome: Toward Next-Generation Deepfake Attribution

In recent years, AIGC technologies are capable of generating hyper-realistic forged facial images, posing severe threats to facial security safety. To tackle these challenges, early Deepfake research primarily centered on real-fake classification. Recently, growing efforts have been devoted to the Deepfake Attribution (DFA) of generated content. Nevertheless, existing research on Deepfake detection and attribution faces saturated performance in binary classification, limited diversity in datasets and algorithms, and imperfect evaluation protocols, which severely impede practical application. To address these limitations, we propose a comprehensive deepfake detection and attribution benchmark named DeepfakeGenome (DFG). It contains 100 facial forgery algorithms and 2M images in total, achieving 4x to 100x larger than prior DFA benchmarks. We further design 4 protocols for practical evaluation, including a novel retrieval-based attribution paradigm. Unlike previous open-set evaluation metrics, the proposed retrieval metrics are more aligned with the real-world active defense situation of blacklist registration mechanisms. Based on these elaborate designs, we investigate the performance ceiling of deepfake attribution task. Over 2k experimental evaluations are conducted, and 10 insightful findings are derived. We believe this work can provide new insights into the DFA research field. The Code and Benchmark of DFG are avaliable on https://huggingface.co/spaces/DeepfakeGenome/DFG_Page.

arXiv:2610.36734v2cs.CL

CAMR: Compatibility-Aware Memory Replay for Continual Learning in Large Language Models

Continual learning requires large language models to acquire new knowledge and capabilities while retaining what they have learned. Fine-tuning and replay support acquisition and retention, but deciding whether incoming examples need supervision and which historical examples to revisit remains a challenge. We propose Compatibility-Aware Memory Replay (CAMR), an adaptive framework that jointly controls current-example supervision and historical replay. CAMR combines compatibility checks with a learned memory gate to guide an online policy over three actions: learning incoming examples with general replay, jointly reinforcing compatible related examples, and skipping direct supervision of verified mastered duplicates. The policy learns from acquisition, retention, and training-cost feedback under a bounded per-arrival replay budget. We evaluate CAMR with Qwen3-8B-Base on continual factual updating and cross-task and cross-domain learning. On WikiBigEdit, CAMR consistently leads evaluated methods in Original Match from 3K to 100K facts, reaching 93.66% after just 3K facts and surpassing Full-history Replay (LoRA) after 100K facts. It also achieves the highest final scores on all four selected TRACE tasks and maintains or improves earlier-task performance relative to post-acquisition levels in a sequence spanning financial question answering, mathematical reasoning, code generation, and summarization.

arXiv:2602.06941v2cs.LG

언어 모델에서의 활성화 조종에 대한 내재적 저항

Endogenous Resistance to Activation Steering in Language Models

대규모 언어 모델(LLM)은 작업과 정렬되지 않은 활성화 조종(activation steering)으로부터 생성 도중 복구하여, "잠깐, 그건 틀렸어"와 같은 명시적인 언어적 재시작을 생성하고 조종 섭동이 활성화된 상태로 유지되더라도 주제에 맞게 계속할 수 있습니다. 우리는 이를 내재적 조종 저항(Endogenous Steering Resistance, ESR)이라고 명명합니다. 희소 오토인코더(SAE) 잠재 변수(latent)를 사용하여 모델 활성화를 조종한 결과, Llama-3.3-70B는 \llamaseventyEsrRate\%의 비율로 명시적인 ESR을 보여주는 반면, Llama-3 및 Gemma-2 계열의 더 작은 모델들은 명시적인 형태를 덜 자주 보여주었습니다. 두 가지 통제 조건을 통해 ESR을 감지 이벤트와 지속적 저항 구성 요소로 분리했으며, 이는 최근 주제 관련 토큰에 대한 조건부 설정만으로는 완전히 설명되지 않습니다. 우리는 대조적 주제 관련/주제 벗어남 검색을 통해 \numOtdLatents{}개의 SAE 잠재 변수를 식별했습니다. 이들을 제로 어블레이션(zero-ablation)하면 다중 시도율이 \multiAttemptReductionPct\% 감소하며, 무작위 잠재 변수 및 홀드아웃 프롬프트 통제 조건은 이 결과의 특이성을 뒷받침합니다. ESR은 메타 프롬프팅(meta-prompting)과 합성 자가 교정 예시에 대한 미세조정(fine-tuning)을 통해 의도적으로 강화될 수도 있습니다. ESR은 안전성(safety)에 대해 이중적인 시사점을 갖습니다. 모델이 이 둘을 구별할 방법이 없기 때문에, ESR은 적대적 활성화 공간 조작에 대해 모델을 강화할 수 있지만 동시에 유익한 조종 기반 개입을 방해할 수도 있습니다. 코드는 https://github.com/agencyenterprise/endogenous-steering-resistance 에서 확인할 수 있습니다.

arXiv:2607.02576v1stat.ML

CORA: SVD 기반 저랭크 적응을 위한 슬라이스별 일관적 직교 회전

CORA: Per-Slice Coherent Orthogonal Rotation for SVD-based Low-Rank Adaptation

CORA(Coherent Orthogonal Rotation Adaptation)는 최소 섭동 이론에 기반하여 가중치 행렬의 각 행 슬라이스에 공유 직교 회전 $Q_i$를 적용함으로써 사전학습된 좌·우 특이 기저의 결합 기하 구조를 명시적으로 보존하는 SVD 기반 파인튜닝 방법으로, LoRA 대비 약 4배 적은 파라미터로 상식 추론 및 코드 생성 태스크에서 LoRA, DoRA, PiSSA, MiLoRA를 능가한다.

arXiv:2607.13683v2cs.CL

HarnessBank: 에이전트 하네스 자기 진화를 위한 게이트 검증 기반 시맨틱 유전자 은행 탐색

HarnessBank: Semantic Gene-Bank Search with Gated Verification for Agent-Harness Self-Evolution

대규모 언어 모델(LLM)은 다양한 응용 분야에서 역량 있는 에이전트(agent) 개발을 가능하게 했습니다. 파운데이션 모델을 넘어, 에이전트의 성능은 프롬프트, 도구, 제어 루프 등을 포함한 주변 에이전트 하네스(harness)에 의해 결정됩니다. 이러한 하네스를 자동으로 진화시키는 것은 에이전트 향상을 위한 유망한 경로를 제공하지만, 기존 접근 방식은 일반적으로 탐욕적(greedy) 후보 선택과 노이즈가 있는 자체 생성 피드백에 의존하므로 탐색 붕괴, 태스크별 과적합(overfitting), 낮은 검증 가능성에 취약합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 반복적인 실패 진단, 하네스 생성, 진화 검증을 위해 태스크 에이전트와 별도의 진화자(evolver) 에이전트를 결합하는 신뢰할 수 있는 에이전트 하네스 자기 진화 프레임워크인 HarnessBank를 소개합니다. HarnessBank는 다양한 시맨틱 좌표의 고성능 하네스로 구성된 하네스 유전자 은행(Harness Gene Bank)을 유지합니다. 이러한 하네스는 자기 진화 과정 동안 재창안, 재조합, 선별 및 선택됩니다. 또한, 고품질 하네스를 효율적으로 필터링하고 수많은 자손 하네스 평가 비용을 절감하기 위한 게이트 하네스 선별(Gated Harness Screening) 메커니즘을 제안합니다. 7개의 에이전트 벤치마크 전반에서 HarnessBank는 5.1%에서 15.4%에 이르는 일관된 성능 향상을 보입니다. 교차 모델(cross-model) 실험은 이러한 성능 향상이 보편적으로 최적인 하네스가 아닌 모델(model)별 자기 진화 과정에서 비롯됨을 추가로 검증합니다. 코드는 논문 수락 시 공개될 예정입니다.

arXiv:2607.28384v1cs.AI

명세가 충돌할 때: LLM 선호도 측정을 위한 대칭성 기반 프레임워크

When Specifications Conflict: A Symmetry-Based Framework for Measuring LLM Preferences

대규모 언어 모델(LLM)은 일관되지 않거나 상충될 수 있는 여러 정보 소스를 통합해야 하는 요구를 점점 더 많이 받고 있습니다. 그러나 모델이 경쟁하는 명세(specification) 간의 충돌을 어떻게 해결하는지 분석하기 위한 제어 가능하고 원인 규명이 가능한 방법론은 여전히 부족합니다. 본 논문에서는 상충하는 명세 하에서 모델의 선호도를 연구하기 위한 통제된 실험 프레임워크를 제안합니다. 명시적인 충돌이 있는 명세를 구축함으로써, 이 프레임워크는 상충하는 명세 간의 모델 선택을 직접 관찰하고 분석할 수 있게 합니다. 나아가 대칭성 기반 설계를 통해 교란 요인을 줄임으로써 표현 유형 간의 선호도를 체계적으로 비교할 수 있습니다. 저자들은 11개 함수군에 걸친 550개의 충돌 인스턴스를 포함하는 실행 가능한 수학 벤치마크에서 이 프레임워크를 평가하며, 순수 자연어, 정형 언어(formal language), 자연어화된 정형 언어, 입출력 예시의 네 가지 표현 유형을 비교합니다. 결과는 무작위적 행동이 아닌 체계적인 선호도 패턴을 보여주며, $ \text{Formal} \approx \text{Naturalized Formal} > \text{Pure Natural Language} > \text{Input--Output Examples} $와 같은 일관된 순서를 나타냅니다. 또한 예시 효과는 모델 능력과 함수군에 따라 달라집니다. 저자들은 이 프레임워크를 불 대수, 코드 생성, 임상 도메인의 이종 명세 충돌로 확장하여 다양한 작업과 명세 형태 전반에서의 적용 가능성을 입증합니다. 본 프레임워크는 LLM이 경쟁하는 정보 소스 간의 충돌을 어떻게 해결하는지 측정하기 위한 통합된 접근 방식을 제공합니다.

arXiv:2608.02892v2cs.CV

과학 실험 장면 모델링: 데이터셋과 모델

Modeling Scientific Experiment Scenes: Dataset and Model

장면 그래프 생성(Scene Graph Generation, SGG)은 구조화된 시각적 이해의 기초가 되지만, 기존 벤치마크는 주로 일상생활 이미지에 초점을 맞추고 있어 특수 장비, 작업별 실험적 의미, 그리고 조밀하고 세분화된 물리적 관계를 가진 과학 실험 장면을 간과하고 있습니다. 이러한 장면들은 자동화된 실험 분석 및 스마트 교육에서 그 중요성이 점차 커지고 있습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 물리 실험 장면을 위한 최초의 SGG 데이터셋인 PhysScene을 소개합니다. 이 데이터셋은 다양한 지도(supervision) 및 프로토콜 설정 하에서 조밀하게 주석 처리된 장면 그래프와 벤치마크를 제공합니다. 또한 PhysScene은 SGG에 대한 두 가지 주요 알고리즘적 과제를 드러냅니다. 이는 두드러진 롱테일 관계 서술어(predicate) 분포와 상당한 시각-텍스트 간 의미론적 격차입니다. 이러한 과제를 해결하기 위해, 견고한 오픈 보캐블러리(open-vocabulary) SGG를 위한 모델인 Cross-Modal Dual-Path Generator(CM-DPG)를 제안합니다. 이 모델은 시각-텍스트 공동 인코딩을 통해 객체 수준의 의미 표현을 강화하고, 상호 보완적인 시각 및 기하학적 단서를 활용하여 관계 추론을 개선합니다. 또한 관계 인식 사전학습(pre-training), 캡션 기반 의사 지도(pseudo-supervision), 적응형 가중치 부여를 통합하여 헤드 및 테일 서술어 전반에 걸친 균형 잡힌 학습을 지원합니다. PhysScene 및 VG150에 대한 광범위한 실험을 통해 CM-DPG가 여러 평가 설정 전반에서 경쟁력 있는 성능을 달성함을 보였으며, 소거 연구(ablation study)를 통해 각 구성 요소의 기여도를 검증했습니다. 데이터셋과 코드는 https://github.com/ZMH-SDUST/CM-DPG 에서 공개되어 있습니다.

arXiv:2608.04448v1cs.CV

다운스케일된 이미지로 학습할 때 언제 동일한 그래디언트가 생성되는가?

When does training on downscaled images yield the same gradients?

디퓨전 트랜스포머(Diffusion Transformer)는 뛰어난 이미지 생성 성능을 제공하지만, 학습 비용이 해상도에 따라 초선형적으로 증가합니다. 최근 연구들은 고노이즈 상태에서 다운스케일된 잠재(latent) 변수가 잔존하는 신호의 대부분을 보존한다는 스펙트럼 전제(spectral premise)를 기반으로, 해상도를 줄여 학습하거나 샘플링하는 방식을 정당화합니다. 그러나 다운스케일된 스텝이 본래 해상도(native)의 학습 그래디언트 신호 역시 보존하는지는 아직 명확히 규명되지 않았습니다. 본 연구에서는 다운스케일링 하에서 해당 신호가 어떻게 변화하는지를 두 가지 항으로 단순화하여 설명합니다. 첫째는 스펙트럼 전제가 예측하듯 고노이즈에서 감쇠하며 다운스케일 비율에 의해 결정되는 노이즈 의존적 항이고, 둘째는 연산 그래프 자체에 내재되어 어떤 노이즈 수준에서도 사라지지 않으며 목표 그리드의 절대적 토큰 수에 의해 결정되는 σ-독립적 하한선(floor)입니다. 실제로 측정된 (경로, σ) 맵은 이러한 설명을 입증하며, 스펙트럼 관점에서는 나타낼 수 없는 구조를 밝혀냅니다. 즉, 1024->768 경로에서 어떤 허용 오차의 스펙트럼 기준으로도 예측되지 않았던 구간(0.65 < σ < 0.95)이 존재하며, 이 구간에서는 다운스케일된 그래디언트가 본래 그래디언트와 매우 작은 마진 이내를 유지합니다. 이 맵을 통해 검증된 경로와 노이즈 구간으로 다운스케일 스텝을 제한하여 LoRA 어댑터를 학습한 결과, 고정된 스텝 예산에서 가중치 공간상 본래 성능에 준하는 수준을 유지하면서도 학습 시간을 14.6% 단축했습니다. 코드는 https://github.com/sorryhyun/anima_lora 에서 확인할 수 있습니다.

arXiv:2608.04426v1cs.CV

예측 후 검색: 비디오 접두 문맥으로부터 인스턴스 간 미래 상태 검색

Predict, Then Retrieve: Cross-Instance Future-State Retrieval from Video Prefixes

본 논문에서는 모델이 짧은 비디오 접두 문맥(prefix)과 객체의 미래 상태에 대한 시간적 질문을 관찰한 후, 해당 상태를 묘사하는 다른 비디오나 이미지의 인스턴스를 검색하는 태스크인 예측 상태 검색(Predictive State Retrieval, PSR)을 소개합니다. 레이블을 예측하는 행동 예측(action anticipation), 비디오 내에서 관찰된 이벤트를 위치화하는 모먼트 검색(moment retrieval), 또는 픽셀을 합성하는 비디오 생성과 달리, PSR은 예측과 여러 시간적 범위(horizon)에 걸친 인스턴스 간 검색을 결합합니다. 우리는 정밀하게 인간 검증을 거친 정답 데이터, 난이도 계층, 그리고 오라클 상한선을 갖춘 4개의 데이터셋으로 벤치마크를 구축했습니다. 또한 동결된 인코더를 활용하여 질문 및 시간 범위에 조건화된 미래 잠재 변수를 예측하고 이를 상호 보완적인 의미적 및 시각적 공간에서 매칭하는 경량 리트리버인 LFTR을 제안합니다. 상한선 분석을 통해 명확한 병목 현상이 드러났습니다. 실제 미래 상태는 구체화되기만 하면 검색 성능이 매우 높은 반면, 접두 문맥 프레임에 접근할 수 있는 대규모 멀티모달 언어 모델을 포함하여 우리가 평가한 모든 예측 모델은 오라클 수준에 크게 못 미쳤습니다. 따라서 지각보다는 예측이 학습의 핵심 과제임을 확인했습니다. LFTR은 실질적으로 훨씬 낮은 추론 비용으로 이러한 격차를 좁히며, 제거 연구(ablation)를 통해 이러한 성능 향상이 잠재 롤아웃(latent rollout)보다는 공간 간 융합과 하드 네거티브 학습 덕분임을 입증합니다. 우리는 벤치마크, 코드, 평가 스크립트를 공개합니다.

arXiv:2608.24509v1cs.AI

PeakBench: LLM 에이전트의 자원 인식 도구 호출 벤치마킹

PeakBench: Benchmarking Resource-Aware Tool Invocation in LLM Agents

대규모 언어 모델(LLM) 에이전트(agent)는 여러 도구를 호출하여 작업을 해결하는 경우가 점점 늘고 있으며, 여기서 병렬 실행은 낮은 지연 시간을 위해 필수적이지만 안전하게 관리하기는 어렵습니다. 기존 에이전트 벤치마크는 주로 직렬 실행 환경에서 도구 선택, 인자 생성, 엔드투엔드(end-to-end) 성공 여부를 평가하며, 유효한 병렬화와 자원 제약 스케줄링은 크게 간과하고 있습니다. 이러한 스케줄링 측면의 부재는 실질적인 실패 양상을 야기합니다. 즉, 직렬 실행은 안전하지만 느린 반면, 자원을 고려하지 않는 병렬 실행은 빠르지만 피할 수 있는 자원 초과를 유발하기 쉽습니다. 이러한 한계를 해결하기 위해, 우리는 실행 기반 의존성 주석과 측정된 자원 프로필을 포함하는 실행 가능한 멀티 도구 워크플로 벤치마크인 PeakBench를 소개합니다. 이러한 워크플로를 평가할 때 핵심적인 과제는 귀인(attribution)입니다. 실패와 비효율성은 잘못된 의존성 계획, 부실한 자원 제약 스케줄링, 또는 두 가지 모두에서 발생할 수 있습니다. PeakBench는 논리적 계획과 물리적 스케줄링을 분리하고 각 차원에 맞는 전용 지표를 제공하는 2단계 평가 프레임워크를 통해 이 문제를 해결합니다. 이 프레임워크를 사용하여, 우리는 강력한 논리적 계획 능력이 자원 제약 환경에서 안전하거나 효율적인 실행으로 안정적으로 이어지지 않음을 보여줍니다. 나아가 자원 정보를 노출하면 피할 수 있는 초과 문제를 줄이고 자원 활용도를 높일 수 있음을 보임으로써, PeakBench가 자원 인식 에이전트 동작을 진단하는 유용한 테스트베드임을 보여줍니다. 코드는 https://github.com/Czzzk/Staggering-the-Peaks 에서 확인할 수 있습니다.

arXiv:2608.29160v1cs.CV

플로우 매칭 이미지 생성기를 위한 학습 불필요 은닉 상태 정제

Training-Free Hidden-State Refinement for Flow-Matching Image Generators

본 연구는 모델 가중치나 외부 샘플러를 변경하지 않고, 디노이저(denoiser) 내부에 추론(inference) 연산을 추가하여 동결된(frozen) 플로우 매칭(flow-matching) 이미지 생성기를 개선하는 것을 목표로 한다. 기존 생성기는 대개 샘플링 스텝 수를 늘려 추가적인 테스트 시점 연산(test-time computation)을 소모하는데, 이는 전체 디노이저를 반복 평가하여 품질 향상을 샘플러 비용과 결부시킨다. 핵심 과제는 동결된 트랜스포머(transformer) 디노이저 내부에서 추가 연산을 어떻게 활용할 것인가이다. 즉, 원래의 생성 파이프라인을 보존하면서 어떤 토큰(token), 층(layer), 샘플링 시점이 반복 업데이트를 받을지 결정해야 한다. 본 논문에서는 각 디노이징 호출 내에서 선택된 트랜스포머 층을 반복 적용하는 학습 불필요(training-free) 루핑 프레임워크를 제안한다. Dense 및 Sparse Token Loop는 토큰 범위를 변화시키며, Sampling-Progress Gating과 루프 층 범위는 루핑이 활성화되는 시점과 위치를 지정한다. 또한 루프 횟수와 강도는 반복 업데이트를 제어하고, Loop Guidance는 일반 및 루프된 벡터장 예측을 결합한다. 두 가지 Scale-RAE 모델 규모에 걸쳐, 루프 변형들은 경쟁력 있는 품질-효율성 트레이드오프와 함께 주 및 보조 품질 지표를 향상시킨다. Loop Guidance는 테스트된 세 모델 모두에서 두 주 지표를 더욱 향상시키며, Scale-RAE DiT2.4B에서 GenEval을 0.4471에서 0.5691로, DPG-Bench를 0.7656에서 0.8053으로 끌어올린다. 코드는 공개될 예정이다.

arXiv:2610.07086v1cs.LG

SchemaFill: 슬롯 병렬 투기적 디코딩을 통한 효율적인 LLM 도구 호출

SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding

대규모 언어 모델(LLM) 에이전트(agent)는 구조화된 도구 호출을 생성하여 외부 시스템과 상호작용합니다. 사용자 요청, 대화 컨텍스트, 도구 스키마 카탈로그가 주어지면, 도구 호출 모델은 도구를 선택하고 해당 인자(argument)를 생성해야 하며, 단일 응답 내에서 여러 호출을 생성할 수도 있습니다. 표준 자기회귀(autoregressive) 디코딩은 이러한 호출을 토큰(token) 단위로 순차적으로 생성하므로, 다중 호출이나 다수의 인자 필드를 포함하는 요청의 경우 상당한 지연 시간(latency)이 발생합니다. 명시적인 인자 구조는 병렬 생성의 기회를 제공하지만, 이후 인자 값은 이전 필드 및 호출에 의존할 수 있어 독립적으로 생성된 값은 타깃 모델의 출력과 다를 수 있습니다. 본 연구에서는 슬롯 병렬 투기적 디코딩(slot-parallel speculative decoding)을 통해 효율적인 LLM 도구 호출을 수행하는 프레임워크인 SchemaFill을 제시합니다. SchemaFill은 실제 호출 순서나 인자 값에 대한 사전 지식 없이도 향후 슬롯 값들을 후보로 동시에 생성합니다. 여러 필드와 호출에 걸친 후보들은 실제 출력 접두 문맥(prefix) 하에서 타깃 모델의 검증을 거치기 위해 연결됩니다. 검증된 토큰만 반영(commit)되며, 후보가 불일치할 경우 타깃 모델이 수정을 제공합니다. 이는 슬롯과 호출 전반의 병렬성을 활용하면서 타깃 검증을 적용합니다. Glaive 및 BFCL에서 SchemaFill은 자기회귀 디코딩 대비 엔드투엔드 처리량(throughput)에서 최대 4.05$\times$의 향상을 달성합니다. 코드는 https://github.com/Czzzk/SchemaFill 에서 확인할 수 있습니다.

arXiv:2610.18834v1cs.CV

Game2Real-Bench: Do Toy Games Reveal and Transfer to Real-World Visual Reasoning?

Visual reasoning is an important capability for vision-language models (VLMs) to understand visual evidence, spatial structure, constraints, and state changes. Existing evaluations mainly rely on real-world data or procedurally generated tasks. Real-world data preserve natural complexity, while procedural games provide controllable generation and verifiable solutions. However, it remains unclear whether abilities measured in toy games correspond to real-world visual reasoning and whether game examples can support transfer. We introduce Game2Real-Bench, a benchmark that studies these connections across four capability groups, including fine-grained perception, spatial reasoning, constraint reasoning, and sequential planning. We construct 1,000 procedurally generated game samples with executable verification and curate 400 real-world samples aligned by shared reasoning requirements rather than visual similarity. We evaluate 25 representative VLMs and observe strong game-to-real consistency, with Pearson and Spearman correlations of 0.935. We further study one-shot game-to-real transfer on four models. Constraint reasoning improves for several models, while fine-grained perception declines with game demonstrations. We also construct Game2Real-Dataset with nearly 24K verified game samples across 18 tasks and 65 QA families. Our benchmark, dataset, and code are available at https://github.com/QingAnLiu/Game2Real-Bench.

arXiv:1807.10267공식 코드 · Papers with Code

Generating 3D faces using Convolutional Mesh Autoencoders

Learned 3D representations of human faces are useful for computer vision problems such as 3D face tracking and reconstruction from images, as well as graphics applications such as character generation and animation. Traditional models learn a latent representation of a face using linear subspaces or higher-order tensor generalizations. Due to this linearity, they can not capture extreme deformations and non-linear expressions. To address this, we introduce a versatile model that learns a non-linear representation of a face using spectral convolutions on a mesh surface. We introduce mesh sampling operations that enable a hierarchical mesh representation that captures non-linear variations in shape and expression at multiple scales within the model. In a variational setting, our model samples diverse realistic 3D faces from a multivariate Gaussian distribution. Our training data consists of 20,466 meshes of extreme expressions captured over 12 different subjects. Despite limited training data, our trained model outperforms state-of-the-art face models with 50% lower reconstruction error, while using 75% fewer parameters. We also show that, replacing the expression space of an existing state-of-the-art face model with our autoencoder, achieves a lower reconstruction error. Our data, model and code are available at http://github.com/anuragranj/coma

arXiv:1906.04240공식 코드 · Papers with Code

Interpreting OWL Complex Classes in AutomationML based on Bidirectional Translation

The World Wide Web Consortium (W3C) has published several recommendations for building and storing ontologies, including the most recent OWL 2 Web Ontology Language (OWL). These initiatives have been followed by practical implementations that popularize OWL in various domains. For example, OWL has been used for conceptual modeling in industrial engineering, and its reasoning facilities are used to provide a wealth of services, e.g. model diagnosis, automated code generation, and semantic integration. More specifically, recent studies have shown that OWL is well suited for harmonizing information of engineering tools stored as AutomationML (AML) files. However, OWL and its tools can be cumbersome for direct use by engineers such that an ontology expert is often required in practice. Although much attention has been paid in the literature to overcome this issue by transforming OWL ontologies from/to AML models automatically, dealing with OWL complex classes remains an open research question. In this paper, we introduce the AML concept models for representing OWL complex classes in AutomationML, and present algorithms for the bidirectional translation between OWL complex classes and their corresponding AML concept models. We show that this approach provides an efficient and intuitive interface for nonexperts to visualize, modify, and create OWL complex classes.

arXiv:1911.11776공식 코드 · Papers with Code

Noise Robust Generative Adversarial Networks

Generative adversarial networks (GANs) are neural networks that learn data distributions through adversarial training. In intensive studies, recent GANs have shown promising results for reproducing training images. However, in spite of noise, they reproduce images with fidelity. As an alternative, we propose a novel family of GANs called noise robust GANs (NR-GANs), which can learn a clean image generator even when training images are noisy. In particular, NR-GANs can solve this problem without having complete noise information (e.g., the noise distribution type, noise amount, or signal-noise relationship). To achieve this, we introduce a noise generator and train it along with a clean image generator. However, without any constraints, there is no incentive to generate an image and noise separately. Therefore, we propose distribution and transformation constraints that encourage the noise generator to capture only the noise-specific components. In particular, considering such constraints under different assumptions, we devise two variants of NR-GANs for signal-independent noise and three variants of NR-GANs for signal-dependent noise. On three benchmark datasets, we demonstrate the effectiveness of NR-GANs in noise robust image generation. Furthermore, we show the applicability of NR-GANs in image denoising. Our code is available at https://github.com/takuhirok/NR-GAN/.