PyTorchKR Papers

“Code Generation”

총 10,140편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2501.19393공식 코드 · Papers with Code

s1: Simple test-time scaling

Test-time scaling is a promising new approach to language modeling that uses extra test-time compute to improve performance. Recently, OpenAI's o1 model showed this capability but did not publicly share its methodology, leading to many replication efforts. We seek the simplest approach to achieve test-time scaling and strong reasoning performance. First, we curate a small dataset s1K of 1,000 questions paired with reasoning traces relying on three criteria we validate through ablations: difficulty, diversity, and quality. Second, we develop budget forcing to control test-time compute by forcefully terminating the model's thinking process or lengthening it by appending "Wait" multiple times to the model's generation when it tries to end. This can lead the model to double-check its answer, often fixing incorrect reasoning steps. After supervised finetuning the Qwen2.5-32B-Instruct language model on s1K and equipping it with budget forcing, our model s1-32B exceeds o1-preview on competition math questions by up to 27% (MATH and AIME24). Further, scaling s1-32B with budget forcing allows extrapolating beyond its performance without test-time intervention: from 50% to 57% on AIME24. Our model, data, and code are open-source at https://github.com/simplescaling/s1

arXiv:2502.02205v4cs.LG공식 코드 · Papers with Code

From Uncertain to Safe: Conformal Adaptation of Diffusion Models for Safe PDE Control

SafeDiffCon은 컨포멀 예측(conformal prediction)으로 추정한 불확실성 분위(uncertainty quantile)를 확산 모델(diffusion model)의 사후학습(post-training)과 추론(inference) 단계에 반영해, 편미분방정식(PDE) 제약 제어에서 안전 제약을 만족하는 제어 시퀀스를 생성하는 방법이다. 1D Burgers 방정식, 2D 비압축 유체, 핵융합 제어 과제에서 기존 고전·딥러닝 기준선이 안전 제약을 위반하는 반면 SafeDiffCon만 모든 안전 제약을 충족하면서 최고의 제어 성능을 달성했다.

arXiv:2502.08056공식 코드 · Papers with Code

Cognify: Supercharging Gen-AI Workflows With Hierarchical Autotuning

Today's gen-AI workflows that involve multiple ML model calls, tool/API calls, data retrieval, or generic code execution are often tuned manually in an ad-hoc way that is both time-consuming and error-prone. In this paper, we propose a systematic approach for automatically tuning gen-AI workflows. Our key insight is that gen-AI workflows can benefit from structure, operator, and prompt changes, but unique properties of gen-AI workflows require new optimization techniques. We propose AdaSeek, an adaptive hierarchical search algorithm for autotuning gen-AI workflows. AdaSeek organizes workflow tuning methods into different layers based on the user-specified total search budget and distributes the budget across different layers based on the complexity of each layer. During its hierarchical search, AdaSeek redistributes the search budget from less useful to more promising tuning configurations based on workflow-level evaluation results. We implement AdaSeek in a workflow autotuning framework called Cognify and evaluate Cognify using six types of workflows such as RAG-based QA and text-to-SQL transformation. Overall, Cognify improves these workflows' generation quality by up to 2.8x, reduces execution monetary cost by up to 10x, and reduces end-to-end latency by 2.7x.

arXiv:2503.00767

LLMs are everywhere: Ubiquitous Utilization of AI Models through Air Computing

We are witnessing a new era where problem-solving and cognitive tasks are being increasingly delegated to Large Language Models (LLMs) across diverse domains, ranging from code generation to holiday planning. This trend also creates a demand for the ubiquitous execution of LLM-powered applications in a wide variety of environments in which traditional terrestrial 2D networking infrastructures may prove insufficient. A promising solution in this context is to extend edge computing into a 3D setting to include aerial platforms organized in multiple layers, a paradigm we refer to as air computing, to augment local devices for running LLM and Generative AI (GenAI) applications. This approach alleviates the strain on existing infrastructure while enhancing service efficiency by offloading computational tasks to the corresponding air units such as UAVs. Furthermore, the coordinated deployment of various air units can significantly improve the Quality of Experience (QoE) by ensuring seamless, adaptive, and resilient task execution. In this study, we investigate the synergy between LLM-based applications and air computing, exploring their potential across various use cases. Additionally, we present a disaster response case study demonstrating how the collaborative utilization of LLMs and air computing can significantly improve outcomes in critical situations.

arXiv:2505.07782공식 코드 · Papers with Code

MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering

We introduce MLE-Dojo, a Gym-style framework for systematically reinforcement learning, evaluating, and improving autonomous large language model (LLM) agents in iterative machine learning engineering (MLE) workflows. Unlike existing benchmarks that primarily rely on static datasets or single-attempt evaluations, MLE-Dojo provides an interactive environment enabling agents to iteratively experiment, debug, and refine solutions through structured feedback loops. Built upon 200+ real-world Kaggle challenges, MLE-Dojo covers diverse, open-ended MLE tasks carefully curated to reflect realistic engineering scenarios such as data processing, architecture search, hyperparameter tuning, and code debugging. Its fully executable environment supports comprehensive agent training via both supervised fine-tuning and reinforcement learning, facilitating iterative experimentation, realistic data sampling, and real-time outcome verification. Extensive evaluations of eight frontier LLMs reveal that while current models achieve meaningful iterative improvements, they still exhibit significant limitations in autonomously generating long-horizon solutions and efficiently resolving complex errors. Furthermore, MLE-Dojo's flexible and extensible architecture seamlessly integrates diverse data sources, tools, and evaluation protocols, uniquely enabling model-based agent tuning and promoting interoperability, scalability, and reproducibility. We open-source our framework and benchmarks to foster community-driven innovation towards next-generation MLE agents.

arXiv:2505.10566

3D-Fixup: Advancing Photo Editing with 3D Priors

Despite significant advances in modeling image priors via diffusion models, 3D-aware image editing remains challenging, in part because the object is only specified via a single image. To tackle this challenge, we propose 3D-Fixup, a new framework for editing 2D images guided by learned 3D priors. The framework supports difficult editing situations such as object translation and 3D rotation. To achieve this, we leverage a training-based approach that harnesses the generative power of diffusion models. As video data naturally encodes real-world physical dynamics, we turn to video data for generating training data pairs, i.e., a source and a target frame. Rather than relying solely on a single trained model to infer transformations between source and target frames, we incorporate 3D guidance from an Image-to-3D model, which bridges this challenging task by explicitly projecting 2D information into 3D space. We design a data generation pipeline to ensure high-quality 3D guidance throughout training. Results show that by integrating these 3D priors, 3D-Fixup effectively supports complex, identity coherent 3D-aware edits, achieving high-quality results and advancing the application of diffusion models in realistic image manipulation. The code is provided at https://3dfixup.github.io/

arXiv:2505.17513

What You Read Isn't What You Hear: Linguistic Sensitivity in Deepfake Speech Detection

Recent advances in text-to-speech technologies have enabled realistic voice generation, fueling audio-based deepfake attacks such as fraud and impersonation. While audio anti-spoofing systems are critical for detecting such threats, prior work has predominantly focused on acoustic-level perturbations, leaving the impact of linguistic variation largely unexplored. In this paper, we investigate the linguistic sensitivity of both open-source and commercial anti-spoofing detectors by introducing transcript-level adversarial attacks. Our extensive evaluation reveals that even minor linguistic perturbations can significantly degrade detection accuracy: attack success rates surpass 60% on several open-source detector-voice pairs, and notably one commercial detection accuracy drops from 100% on synthetic audio to just 32%. Through a comprehensive feature attribution analysis, we identify that both linguistic complexity and model-level audio embedding similarity contribute strongly to detector vulnerability. We further demonstrate the real-world risk via a case study replicating the Brad Pitt audio deepfake scam, using transcript adversarial attacks to completely bypass commercial detectors. These results highlight the need to move beyond purely acoustic defenses and account for linguistic variation in the design of robust anti-spoofing systems. All source code will be publicly available.

arXiv:2506.01844공식 코드 · Papers with Code

SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics

Vision-language models (VLMs) pretrained on large-scale multimodal datasets encode rich visual and linguistic knowledge, making them a strong foundation for robotics. Rather than training robotic policies from scratch, recent approaches adapt VLMs into vision-language-action (VLA) models that enable natural language-driven perception and control. However, existing VLAs are typically massive--often with billions of parameters--leading to high training costs and limited real-world deployability. Moreover, they rely on academic and industrial datasets, overlooking the growing availability of community-collected data from affordable robotic platforms. In this work, we present SmolVLA, a small, efficient, and community-driven VLA that drastically reduces both training and inference costs, while retaining competitive performance. SmolVLA is designed to be trained on a single GPU and deployed on consumer-grade GPUs or even CPUs. To further improve responsiveness, we introduce an asynchronous inference stack decoupling perception and action prediction from action execution, allowing higher control rates with chunked action generation. Despite its compact size, SmolVLA achieves performance comparable to VLAs that are 10x larger. We evaluate SmolVLA on a range of both simulated as well as real-world robotic benchmarks and release all code, pretrained models, and training data.

arXiv:2511.16672v4cs.CV

EvoLMM: 연속적 보상을 통한 자기 진화 대규모 멀티모달 모델

EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards

대규모 멀티모달 모델(LMM)의 최근 발전은 인상적인 추론 및 인지 능력을 가능하게 했으나, 대부분의 기존 학습 파이프라인은 여전히 인간이 큐레이션한 데이터나 외부에서 검증된 보상 모델에 의존하여 자율성과 확장성을 제한합니다. 본 연구에서는 완전한 비지도 방식(어떠한 주석 데이터나 보상 증류 없이)으로 LMM의 추론 능력을 향상시키고자 합니다. 이를 위해 본 연구는 단일 백본 모델에서 두 개의 협력적 에이전트를 인스턴스화하는 EvoLMM이라는 자기 진화 프레임워크를 제안합니다. 다양한 이미지 기반 질문을 생성하는 제안자(Proposer)와 내적 일관성을 통해 이를 해결하는 해결자(Solver)로 구성되며, 학습은 연속적인 자기 보상 과정을 통해 진행됩니다. 이러한 동적 피드백은 정답(ground-truth)이나 인간의 판단에 의존하지 않고, 정보성 있는 쿼리의 생성과 구조화된 추론의 개선을 모두 장려합니다. 널리 사용되는 Qwen2.5-VL을 기본 모델로 사용할 때, 본 EvoLMM은 원본 학습 이미지만을 사용하여 ChartQA, MathVista, MathVision을 포함한 멀티모달 수학 추론 벤치마크에서 최대 약 3%의 일관된 성능 향상을 보입니다. 우리의 간단하면서도 효과적인 접근 방식이 완전 비지도 방식의 자기 개선 LMM 연구를 용이하게 하는 견고한 기준선이 되기를 바랍니다. 코드와 모델은 https://github.com/mbzuai-oryx/EvoLMM에서 확인할 수 있습니다.

arXiv:2606.28266v1cs.CV

RSICCLLM: 원격 탐사 영상 변화 캡셔닝을 위한 멀티모달 대규모 언어 모델

RSICCLLM: A Multimodal Large Language Model for Remote Sensing Image Change Captioning

원격 탐사 영상 변화 캡셔닝(RSICC)은 이중 시점 원격 탐사 영상 간의 변화를 설명하는 것을 목표로 하며, 상당한 연구 및 응용 가치를 지닌다. 그러나 기존 방법의 대부분은 전통적인 심층 학습 아키텍처에 의존하고 있으며, 제한된 모델 용량이 성능을 제약한다. 일반 분야에서는 대규모 모델의 사후 학습 기법이 큰 성공을 거두었지만, 데이터 부족과 세밀한 변화 이해의 필요성으로 인해 RSICC로의 직접 전이는 여전히 어렵다. 이를 해결하기 위해, 본 연구는 RSICCLLM을 제안한다. 이는 RSICC에서 대규모 비전-언어 모델을 위한 최초의 사후 학습 프레임워크이다. 구체적으로, 데이터 생성 패러다임을 설계하고, 지시 데이터셋 RSICI를 공개하며, 태스크 특화 RSICC 벤치마크를 구축한다. 또한 변화 표현을 명시적으로 추출하고 모델이 시간적 차이를 인지하고 이해하도록 안내하는 차이 인식 지도 미세조정(Difference-aware Supervised Fine-tuning)을 도입한다. 더 나아가, 두 가지 상보적인 부정 샘플 구성 전략을 활용하여 선호 데이터셋 RSICP를 구성하고 모델 성능을 더욱 정제하는 이중 부정 선호 최적화(Dual-Negative Preference Optimization, DNPO)를 제안한다. 광범위한 실험을 통해 RSICCLLM의 우수한 능력이 검증되었으며, 7B 파라미터만으로 더 큰 규모의 모델들을 능가하는 뛰어난 결과를 달성한다. 코드와 데이터셋은 https://github.com/keaill/RSICCLLM 에서 공개될 예정이다.

arXiv:2607.14561v2cs.CL

MARS: KGQA를 위한 다중 홉 적응형 검색 및 SPARQL 생성

MARS: Multi-hop Adaptive Retrieval and SPARQL Generation for KGQA

대규모 언어 모델(LLM)은 강력한 추론 성능을 보여주었지만, 환각(hallucination) 경향은 최신의 그라운딩(grounding)된 정보가 필요한 지식 집약적 작업에서 신뢰성을 제한한다. 지식 그래프(KG)와 LLM을 결합하면 값비싼 미세조정 없이 지속적으로 업데이트할 수 있는 명시적 기호 지식을 활용할 수 있으며, 빠르게 발전하는 LLM 추론의 이점도 누릴 수 있다. 우리는 모델 미세조정이 필요 없는 확장 가능한 지식 그래프 질의응답(KGQA) 접근법인 MARS를 제안한다. 개방형 에이전트 탐험에 의존하는 대신, MARS는 질문 엔티티를 KG에 연결하고 관련 다음 홉(next-hop) 정보를 반복적으로 검색하는 구조화된 검색 절차를 수행한다. 각 단계에서 MARS는 그래프 순회를 계속할지 최종 SPARQL 쿼리를 생성할지 결정하여, 질문에 따라 검색 깊이를 적응적으로 조절하면서 전체 파이프라인을 완전한 에이전트 방식보다 더 예측 가능하게 유지한다. 우리는 여러 LLM과 설정, 다국어 평가를 포함하여 세 가지 기존 KGQA 벤치마크에서 MARS를 평가하고, ablation study와 오류 분석을 통해 통찰을 제공한다. 우리의 접근법은 효율적이고 확장 가능한 상태를 유지하면서 최신(state-of-the-art) 방법 대비 경쟁력 있는 성능을 달성한다. 평가 결과, 코드 및 리소스는 공개적으로 제공된다: https://github.com/dice-group/mars-kgqa.

arXiv:2607.20293v1cs.CV

빠른 Diffusion Policy 추론을 위한 진화형 캐시 스케줄

Evolving Cache Schedules for Fast Diffusion Policy Inference

Diffusion policy는 action chunk를 반복적으로 denoising하여 강력한 visuomotor control을 달성하지만, 반복적인 denoising은 실시간 배포를 계산적으로 부담스럽게 만든다. 캐시 기반 방법은 중간 활성화를 재사용하여 추론 비용을 줄이지만, 기존의 학습 없는 스케줄은 일반적으로 블록 전체에 계산을 균등하게 할당하여 블록 간 이질적인 중복성을 무시하고, 이로 인해 성능-효율성 trade-off가 최적이 아니다. 이 격차를 메우기 위해, 우리는 진화 탐색을 통해 캐시 갱신을 전역적으로 스케줄링하는 학습 없는 가속 프레임워크인 Evolving Cache Schedules(EVO)를 제안한다. EVO는 각 후보를 block-timestep lattice에 대한 완전한 스케줄로 표현한다. 따라서 반복적 denoising 동안 중복된 트랜스포머 계산을 캐시 재사용을 통해 건너뛸 수 있으며, 폐루프 롤아웃 성능을 유지할 수 있다. 탐색을 실용적으로 만들기 위해, EVO는 유망한 스케줄로 개체군을 시드하는 중복성 인식 초기화와, 원하는 성능 목표에 도달하면 검증하고 종료하는 목표 조건부 조기 종료를 도입한다. 오프라인으로 최적화된 스케줄은 재학습 없이 사전학습된 diffusion policy에 직접 연결할 수 있다. 광범위한 manipulation 벤치마크에서 EVO는 거의 완전한 성능을 유지하면서 계산량을 대폭 줄이며, action generation 속도를 최대 8.05배 향상하고 FLOPs를 15.77G에서 최저 1.96G까지 감소시킨다. 소스 코드는 https://github.com/pillom/EVO 에서 이용 가능하다.

arXiv:2608.06030v1cs.CV

PaCoNet: 평행 좌표계를 위한 딥 데이터 추출

PaCoNet: Deep Data Extraction for Parallel Coordinates

시각화 자료에서 데이터를 추출하는 작업은 컴퓨터 비전(CV) 분야에서 오랫동안 난제로 여겨져 왔으며, 현재 연구는 막대, 꺾은선, 원형 차트 등 주로 저차원 시각화에 집중되어 있습니다. 그러나 널리 사용되는 고차원 데이터 시각화 기법인 평행 좌표계(parallel coordinates)는 이러한 맥락에서 여전히 거의 연구되지 않은 상태입니다. 평행 좌표 플롯은 잘못 설계되거나 데이터가 밀집될 경우 빠르게 복잡해지고 해석하기 어려워질 수 있으므로, 이러한 시각화로부터 자동화된 데이터 추출을 수행하는 것은 특히 큰 주목을 받고 있습니다. 본 논문에서는 평행 좌표 데이터 추출을 위한 최초의 접근법인 PaCoNet을 제안합니다. PaCoNet은 선의 좌표를 추출할 뿐만 아니라 추가 분석을 위한 개별 데이터 샘플의 추출까지 가능하게 합니다. 이를 위해 본 연구는 다음과 같은 기여를 제시합니다. 먼저 평행 좌표 분석에 맞춤화된 최초의 심층 학습(deep learning) 접근법을 제시하고, 조정되지 않은 베이스라인보다 상당한 마진(margin)으로 뛰어난 성능을 보임을 입증합니다. 나아가 학습(training) 및 테스트를 위한 대규모 평행 좌표 데이터셋(dataset)을 새롭게 도입합니다. 이러한 핵심 기여들을 통해 사상 최초로 평행 좌표 플롯의 자동화된 분석 및 재설계가 가능해집니다. 결과적으로 PaCoNet은 복잡한 시각화 분석의 기틀을 마련하고, 컴퓨터 비전과 데이터 시각화의 융합을 한층 더 발전시킵니다. 모든 코드, 학습된 모델, 데이터 생성 스크립트는 논문 채택 시 공개될 예정입니다.

arXiv:2608.08709v1cs.AI

AI 평가는 정확성만이 아니라 검증 비용을 측정해야 한다

AI Evaluation Should Measure Verification Cost, Not Correctness Alone

AI 생성 모델의 신뢰성은 일반적으로 출력의 정확성으로 측정되지만, 실제로는 그 출력을 검증하는 데 필요한 노력에 좌우된다. 본 논문은 현재의 평가 지표가 핵심적인 실패 유형인 검증 비용 오류(Verification-Cost Errors, VCE)를 간과하고 있다고 주장한다. VCE는 주어진 배포 환경에서 사용할 수 있는 검증 예산 내에 검증자 집단 중 명시된 비율이 식별하지 못하는 잘못된 입출력 쌍으로 정의된다. 표준적인 "환각(hallucination)" 개념과 달리, VCE는 출력 자체의 어떤 속성이 아니라 예산 내에서 올바르게 식별하지 못했다는 사실로 조작적으로 정의된다. 그럴듯함과 권위 있는 제시 방식은 이러한 실패의 기여 요인으로 가정되지만, 정의를 이루는 조건은 아니다. 이러한 비대칭성을 포착하기 위해, 본 논문은 현재의 평가가 일상적으로 다루지 않는 조작적 차원으로서 배포 예산에 상대적인 검증 비용이라는 개념을 도입한다. 이 양은 확정된 지표가 아니라 개념적 도구로 제시된다. 코드 생성과 멀티모달 문서 이해에서 얻은 증거는 높은 벤치마크 정확도가 실제로는 상당한 검증 노력을 가릴 수 있음을 보여준다. 따라서 본 논문은 정확성만으로는 신뢰성을 측정하기에 충분하지 않다는 입장을 취한다. AI 평가는 현실적인 자원 제약 아래에서 오류를 탐지할 수 있는지를 반영하여 검증 비용을 명시적으로 고려해야 한다.

arXiv:2609.22553v1cs.CL

정확한 진단, 더 나은 피드백: 논리 증명에서 충실한 LLM 튜터링 피드백을 위한 기호 검증기

Correct Diagnosis, Better Feedback: A Symbolic-Verifier for Faithful LLM Tutoring Feedback in Logic Proofs

효과적인 LLM 튜터링은 피드백을 생성하기 전에 학생의 추론에서 특정 오류를 올바르게 식별하는 데 달려 있다. 우리는 학생의 행동을 형식 추론 규칙에 대해 검증할 수 있는 명제 논리 증명 튜터링에서 이 문제를 연구한다. 진단과 언어 생성을 분리하는 검증기 기반 아키텍처를 제안한다. 균형 잡힌 학생 행동 600건을 사용하여 제로샷 LLM 탐지기, 미세조정 탐지기, 기호 검증기를 비교한다. 각 진단은 공유된 근거(rationale) 및 피드백 에이전트가 처리되어 초기 진단의 효과를 분리한다. 제로샷 탐지기는 macro-F1 0.191을 달성한다. 미세조정은 이를 0.709로 높이지만 구조적으로 관련된 클래스 간 체계적 오류를 유지한다. 근거는 일반적으로 제공된 진단을 보존하여, 잘못된 진단이 파이프라인을 통해 충실하게 전파될 수 있음을 보여준다. 피드백 역시 근거에 충실하고 정답을 노출하지 않으며(non-revealing) 교육적으로 적절하면서도 잘못된 오류를 다룰 수 있다. 검증기 기반 피드백은 가장 높은 진단 정확도를 달성하며, 전문가 평가는 자동 피드백 평가와 대체로 불일치한다. 이러한 결과는 겉보기 피드백 품질이 상류 진단 오류를 가릴 수 있으며, 충실성은 정확성과 별도로 평가되어야 함을 보여준다. 코드는 공개되어 있다.

arXiv:2609.24265v1cs.AI

Unsupervised Brain Anomaly Detection as a Bayesian Inverse Problem with Diffusion Prior

Unsupervised anomaly detection (UAD) aims to localize abnormal regions in medical scans without pixel-level annotations. A typical strategy seeks to reconstruct a pseudo-healthy image that preserves subject-specific anatomy. Recently, diffusion models have been proposed to perform UAD. However, these methods rely on heuristic noise schedules or synthetic corruptions to balance subject-specificity and anomaly removal. In this work, we propose an alternative formulation of UAD as a Bayesian inverse problem under a diffusion prior. First, we introduce a latent spatial anomaly mask that models pixel-wise consistency between a test image and its latent corresponding pseudo-healthy image. Then, we propose an approximation of the unknown generation process that links healthy anatomy, anomalies, and the observed image, enabling a well-defined likelihood within the Bayesian framework. Building on recent advances in diffusion-based inverse problem methods, we jointly infer the pseudo-healthy image and the anomaly mask via annealed posterior sampling. We evaluate our approach on FDG PET (ADNI) and FLAIR MRI (BraTS 2021), demonstrating improved anomaly localization performance compared to other diffusion-based approaches and validating the contribution of our introduced model. Our code is available at https://github.com/HuguesRoy/UAD_DAPS.

arXiv:2610.10197v1cs.CV

VolCo: 고충실도 인간 파지 생성을 위한 체적 접촉 표현

VolCo: Volumetric Contact for High-Fidelity Human Grasp Generation

정확한 접촉 모델링은 손-물체 상호작용을 이해하는 데 핵심적이지만, 기존의 접촉 표현은 대개 물체 표면에 국한되며 접촉 세부 정보를 복원하기 위해 수작업 규칙에 의존하므로 심각한 관통과 비현실적인 결과를 초래합니다. 모션 캡처 데이터의 풍부한 세부 정보를 더 잘 활용하기 위해, 표면 점을 일련의 3D 체적 격자(volumetric grid)로 확장하는 표현인 Volumetric Contact(VolCo)를 도입합니다. VolCo는 정밀한 손 부위 복원을 가능하게 하는 3D 접촉을 인코딩하며, 고유한 계층 구조로 구성됩니다. 즉, 각 볼륨 내의 국소적 접촉 세부 정보와 모든 볼륨에 걸친 전역적 손 기하학 구조입니다. 우리의 프레임워크인 VolCoDiff는 이러한 계층 구조에 따라 국소 및 전역 특징을 포착하는 두 가지 모듈을 사용합니다. 국소적 접촉 세부 정보를 위해, 국소 물체 부호화 거리 필드(SDF)를 조건으로 가능한 손 구성을 모델링하는 3D 변분 오토인코더(VAE)를 사용합니다. 전역적 손 기하학 구조를 위해, 체적 격자에서 집계된 압축 잠재 특징의 분포를 학습하는 사전 정보 유도 확산 모델(prior-guided diffusion model)을 설계합니다. 두 가지 벤치마크 데이터셋에서 제안하는 방법을 평가하고 관통 및 안정성 측면에서 최고 수준(SOTA)의 성능을 입증하여, 훨씬 덜 심각한 관통으로 밀착된 파지를 생성할 수 있는 역량을 보여줍니다. 코드는 https://github.com/chzh9311/volco 에서 확인할 수 있습니다.

arXiv:1805.03973

Active User Detection of Uplink Grant-Free SCMA in Frequency Selective Channel

Massive machine type communication (mMTC) is one of the three fifth generation mobile networking (5G) key usage scenarios, which is characterized by a very large number of connected devices typically transmitting a relatively low volume of non-delay sensitive data. To support the mMTC communication, an uplink (UL) grant-free sparse code multiple access (SCMA) system has been proposed. In this system, the knowledge of user equipments' (UEs') status should be obtained before decoding the data by a message passing algorithm (MPA). An existing solution is to use the compressive sensing (CS) theory to detect active UEs under the assumed condition of flat fading channel. But the assumed condition is not suitable for the frequency selective channel and will decrease the accuracy of active UEs detection. This paper proposes a new simple module named refined active UE detector (RAUD), which is based on frequency selective channel gain analyzing. By making full use of the channel gain and analyzing the difference between characteristic values of the two status of UEs, RAUD module can enhance the active UEs detection accuracy. Meanwhile, the addition of the proposed module has a negligible effect on the complexity of UL grant-free SCMA receiver.

arXiv:2012.10974

High-Fidelity Neural Human Motion Transfer from Monocular Video

Video-based human motion transfer creates video animations of humans following a source motion. Current methods show remarkable results for tightly-clad subjects. However, the lack of temporally consistent handling of plausible clothing dynamics, including fine and high-frequency details, significantly limits the attainable visual quality. We address these limitations for the first time in the literature and present a new framework which performs high-fidelity and temporally-consistent human motion transfer with natural pose-dependent non-rigid deformations, for several types of loose garments. In contrast to the previous techniques, we perform image generation in three subsequent stages, synthesizing human shape, structure, and appearance. Given a monocular RGB video of an actor, we train a stack of recurrent deep neural networks that generate these intermediate representations from 2D poses and their temporal derivatives. Splitting the difficult motion transfer problem into subtasks that are aware of the temporal motion context helps us to synthesize results with plausible dynamics and pose-dependent detail. It also allows artistic control of results by manipulation of individual framework stages. In the experimental results, we significantly outperform the state-of-the-art in terms of video realism. Our code and data will be made publicly available.

arXiv:2012.08106

Hybrid NOMA for Future Radio Access: Design, Potentials and Limitations

Next-generation internet of things (IoT) applications need trillions of low-powered wireless mobile devices to connect with each other having ultra-reliability and low-latency. Non-orthogonal multiple access (NOMA) is a promising technology to address massive connectivity for 5G and beyond by accommodating several users within the same orthogonal resource block. Therefore, this article explores hybrid NOMA (HNOMA) for massive multiple access in the uplink scenarios due to its higher spectral efficiency. The HNOMA includes both power domain and code domain NOMA method due to diverse channel conditions in practice. We highlight that polar coded based data transmission can achieve higher reliability and lower latency in HNOMA-based wireless networks. Further, at the base station (BS), channel state information (CSI) of each link is not perfectly available or very complex to estimate due to non-orthogonal links. Therefore, we analyze and review the performance of uplink based system involving HNOMA transmission in the presence of imperfect CSI. Furthermore, we summarize some key technical challenges as well as their potential solutions in futuristic IoT applications using HNOMA transmission. Finally, we offer some design guidelines for HNOMA-based systems using deep learning approach to implement adaptive and efficient wireless networks.