Transformers today still struggle to generate one-minute videos because self-attention layers are inefficient for long context. Alternatives such as Mamba layers struggle with complex multi-scene stories because their hidden states are less expressive. We experiment with Test-Time Training (TTT) layers, whose hidden states themselves can be neural networks, therefore more expressive. Adding TTT layers into a pre-trained Transformer enables it to generate one-minute videos from text storyboards. For proof of concept, we curate a dataset based on Tom and Jerry cartoons. Compared to baselines such as Mamba~2, Gated DeltaNet, and sliding-window attention layers, TTT layers generate much more coherent videos that tell complex stories, leading by 34 Elo points in a human evaluation of 100 videos per method. Although promising, results still contain artifacts, likely due to the limited capability of the pre-trained 5B model. The efficiency of our implementation can also be improved. We have only experimented with one-minute videos due to resource constraints, but the approach can be extended to longer videos and more complex stories. Sample videos, code and annotations are available at: https://test-time-training.github.io/video-dit
Learning to associate audio with textual descriptions is valuable for a range of tasks, including pretraining, zero-shot classification, audio retrieval, audio captioning, and text-conditioned audio generation. Existing contrastive language-audio pretrained models are typically trained using global, clip-level descriptions, which provide only weak temporal supervision. We hypothesize that CLAP-like language-audio models - particularly, if they are expected to produce frame-level embeddings - can benefit from a stronger temporal supervision. To confirm our hypothesis, we curate a novel dataset of approximately 12,000 audio recordings from Freesound, each annotated with single-sentence free-text descriptions linked to a specific temporal segment in an audio recording. We use large language models to clean these annotations by removing references to non-audible events, transcribed speech, typos, and annotator language bias. We further propose a frame-wise contrastive training strategy that learns to align text descriptions with temporal regions in an audio recording and demonstrate that our model has better temporal text-audio alignment abilities compared to models trained only on global captions when evaluated on the AudioSet Strong benchmark. The dataset and our source code are available on Zenodo and GitHub, respectively.
Reasoning models have made rapid progress on many benchmarks involving math, code, and science. Yet, there are still many open questions about the best training recipes for reasoning since state-of-the-art models often rely on proprietary datasets with little to no public information available. To address this, the goal of the OpenThoughts project is to create open-source datasets for training reasoning models. After initial explorations, our OpenThoughts2-1M dataset led to OpenThinker2-32B, the first model trained on public reasoning data to match DeepSeek-R1-Distill-32B on standard reasoning benchmarks such as AIME and LiveCodeBench. We then improve our dataset further by systematically investigating each step of our data generation pipeline with 1,000+ controlled experiments, which led to OpenThoughts3. Scaling the pipeline to 1.2M examples and using QwQ-32B as teacher yields our OpenThoughts3-7B model, which achieves state-of-the-art results: 53% on AIME 2025, 51% on LiveCodeBench 06/24-01/25, and 54% on GPQA Diamond - improvements of 15.3, 17.2, and 20.5 percentage points compared to the DeepSeek-R1-Distill-Qwen-7B. All of our datasets and models are available on https://openthoughts.ai.
Large language models (LLMs) augmented with retrieval systems have demonstrated significant potential in handling knowledge-intensive tasks. However, these models often struggle with unfaithfulness issues, generating outputs that either ignore the retrieved context or inconsistently blend it with the LLM`s parametric knowledge. This issue is particularly severe in cases of knowledge conflict, where the retrieved context conflicts with the model`s parametric knowledge. While existing faithful RAG approaches enforce strict context adherence through well-designed prompts or modified decoding strategies, our analysis reveals a critical limitation: they achieve faithfulness by forcibly suppressing the model`s parametric knowledge, which undermines the model`s internal knowledge structure and increases the risk of misinterpreting the context. To this end, this paper proposes FaithfulRAG, a novel framework that resolves knowledge conflicts by explicitly modeling discrepancies between the model`s parametric knowledge and retrieved context. Specifically, FaithfulRAG identifies conflicting knowledge at the fact level and designs a self-thinking process, allowing LLMs to reason about and integrate conflicting facts before generating responses. Extensive experiments demonstrate that our method outperforms state-of-the-art methods. The code is available at https:// github.com/DeepLearnXMU/Faithful-RAG
Physical-world models (PhyModels) perform grounded perception, reasoning, or decision tasks; physical-world agents (PhyAgents) combine these models with planning or tool use. We introduce RedPhys, an extensible red-teaming platform, instantiated here with vision-language models and agents. Shared interfaces make tasks, test methods, defenses, and victim systems configurable and extensible, producing robustness reports and datasets for future alignment. The platform emphasizes adversarial testing that seeks physically grounded functional failures, while also supporting non-adversarial input perturbations without an attack objective. The benchmark integrates 12 red-teaming methods, 3 model-agnostic defenses, and 13 PhyModels across seven physical domains under a practical black-box threat model. An agentic target-generation pipeline derives a scene-specific, physically grounded target, so targeted methods pursue the same intended error. Our evaluation shows that when attackers control the text prompt or add auxiliary visual instructions, injection exposes substantial instruction-following vulnerabilities; among bounded visual-transfer attacks, multimodal co-optimization transfers best; single-pass generative attacks approach iterative methods without per-image optimization; and neither model scale nor physical-reasoning post-training confers robustness. Code is available at https://github.com/loopleap-lab/RedPhys.
Printed circuit board (PCB) routing is the stage of physical layout that finds paths connecting the placed pads of each net. Public datasets in this domain are few, and most contain only the final states of routed boards, not demonstrations of the electronic design automation (EDA) engine actions that produce them. To close this gap, we propose CADET (Constructing executAble Demonstrations for Engine-grounded Training), which jointly generates synthetic boards and demonstrations built from EDA engine actions. The resulting RouteDemos provides 100,000 synthetic boards routed with zero design rule violations (DRVs), together with their demonstrations. Their distributions over 17 statistics resemble those of 142 real reference boards. CADET trains a routing policy on these demonstrations with behavior cloning and fine-tunes it with reinforcement learning (RL). On real test boards, the policy raised the rate of complete DRV-free routing from 38.0% to 67.2% over an RL-only baseline. This rate was comparable to that of the open-source autorouter FreeRouting and exceeded those of the other baselines, including GPT-6 Astra. We release the dataset and its generation code as open source at https://github.com/LGAI-Research/CADET.
As memory-augmented agents increasingly support long-term and personalized interactions, reliable recall of emotional experiences while preserving their associated affect becomes necessary. However, existing evaluations usually assess emotion accuracy and factual memory grounding separately, overlooking event-affect correspondence. In this work, we formulate Affective-Episodic Retrospection (AER) as a task that explicitly evaluates the recovery of past events, associated affects, and their correspondence, and define Event-Affect Decoupling as a failure mode where the correct emotion is recalled but associated with the wrong episode. To diagnose Event-Affect Decoupling, we propose EM-TRACE, a stage-wise framework that decomposes AER into retrieval, affect recovery, and realization. On a controlled GoEmotions-based benchmark, Emotion-only retrieval achieves 28.65% affect recovery but retrieves the target episode for only 4.44% of queries, yielding a UAR of 24.21%. Further analysis reveals that event retrieval and affect assignment introduce distinct binding failures. These findings show that reliable AER requires grounded recall of emotional experiences, where episode retrieval, affect recovery, event-affect binding, and generation quality should be evaluated jointly. Our code is available at https://anonymous.4open.science/r/A412/.
학습 없이 대규모 언어 모델(LLM)의 잔차 스트림(residual streams)에서 추출한 가벼운 조정 벡터를 추론 시 적용하여 선호도 정렬을 수행하는 PaLRS를 제안한다. 이 방식은 적은 데이터로 수학 추론 및 코드 생성 벤치마크(benchmark)에서 기존 최적화 방식보다 우수한 성능을 보이며 범용 성능을 유지한다.
우리는 통합된 혼합 트랜스포머(mixture-of-transformers) 아키텍처 내에서 언어, 이미지, 비디오, 오디오 및 행동 시퀀스를 공동으로 처리하고 생성하도록 설계된 옴니모달 월드 모델(omnimodal world models) 패밀리인 Cosmos 3를 소개합니다. 고도로 유연한 입력-출력(input-output) 구성을 지원함으로써, Cosmos 3는 물리적 AI(Physical AI)를 위한 핵심 모달리티(modalities)를 매끄럽게 통합하여 비전-언어 모델(vision-language models), 비디오 생성기(video generators), 월드 시뮬레이터(world simulators), 및 월드-액션 모델(world-action models)을 단일 프레임워크로 효과적으로 아우릅니다. 우리의 평가 결과는 Cosmos 3가 다양한 이해 및 생성 작업에서 새로운 최첨단(SOTA) 기록을 수립함을 보여주며, 이는 옴니모달 월드 모델이 임베디드 에이전트(embodied agents)를 위한 확장 가능하고 범용적인 백본(backbone)이 될 수 있음을 입증합니다. 사후학습(post-trained)된 우리의 Cosmos 3 모델들은 본 기술 보고서 작성 시점에 Artificial Analysis로부터 최고의 오픈 소스 텍스트-투-이미지(Text-to-Image) 및 이미지-투-비디오(Image-to-Video) 모델로, 그리고 RoboArena로부터 최고의 정책 모델(policy model)로 순위를 매겨졌습니다. 물리적 AI(Physical AI) 분야의 오픈 연구와 배포를 가속화하기 위해, 우리는 리눅스 재단의 OpenMDW-1.1 라이선스 하에 우리의 코드, 모델 체크포인트(model checkpoints), 큐레이팅된 합성 데이터셋(curated synthetic datasets), 그리고 평가 벤치마크(evaluation benchmark)를 https://github.com/nvidia/cosmos 및 https://huggingface.co/collections/nvidia/cosmos3에서 공개합니다. 프로젝트 웹사이트는 https://research.nvidia.com/labs/cosmos-lab/cosmos3에서 확인할 수 있습니다.
Mechanistic interpretability has made substantial progress in automatically localizing circuits, but explaining what localized components do remains labor-intensive and difficult to standardize. In this work, we study whether language model (LM) agents can assist with this explanation problem once a circuit has already been identified. We introduce AgenticInterpBench, a benchmark for circuit explanation built from 84 semi-synthetic transformer circuits with 163 component-level annotations. We propose HyVE (Hypothesize, Validate, Explain), an agentic explainer that analyzes each component through an iterative loop of observation, hypothesis generation, and causal validation, eventually producing a component-level explanation and a circuit-level task description. Across four LM backbones, HyVE recovers useful component- and task-level explanations, but no backbone is uniformly best. Our analysis shows that strong backbones usually form observation-grounded hypotheses, while failures more often arise later in the validation loop, through incomplete validation plans, code execution errors, or unresolved hypotheses. A case study on an arithmetic circuit in Llama-3-8B shows that the same formulation can extend beyond semi-synthetic benchmarks to naturally trained models. Overall, LM agents are promising circuit explainers, but reliable validation remains the key obstacle.
의학 객관식 질의응답(MCQA)에서 검색-증강 생성(RAG)은 언어 모델(LM)의 도메인 지식을 보완할 수 있습니다. 그러나 바닐라(vanilla) RAG는 검색된 문서를 무차별적으로 활용하기 때문에 언어 모델의 성능을 저하시킬 수 있습니다. 이를 해결하기 위해 우리는 MedJudgeRAG를 제안합니다. 제안하는 프레임워크는 검색된 문서를 개체(entity)와 관계(relation)로 구성된 동적 지식 그래프(KG)로 표현합니다. 각 선택지에 대해 모델은 검색된 문서와 지식 그래프로부터 증거 판정을 내립니다. 이러한 판정 조합을 바탕으로 모델은 최종 답안을 추론하기 위한 지식 활용 전략을 결정합니다. 이러한 능력은 교사(teacher) 언어 모델이 생성한 구조화된 추론 궤적(reasoning traces)을 사용하는 지도 미세조정(supervised fine-tuning)을 통해 학습(training)됩니다. 학습에는 지식 그래프와 추론 세그먼트에 차등 가중치를 부여하는 가중 교차 엔트로피 손실(weighted cross-entropy loss)이 적용됩니다. 두 가지 의학 MCQA 벤치마크에 대한 실험은 MedJudgeRAG가 바닐라 RAG 및 매개변수 기반 베이스라인(parametric baselines) 모두를 일관되게 능가함을 보여줍니다. 나아가 소거 연구(ablation analysis)를 통해 동적 지식 그래프가 추론(inference) 시 명시적인 출력으로 사용되는 것보다 학습 시 그래프 조건부 감독(graph-conditioned supervision)으로 사용될 때 더 효과적임을 밝힙니다. 우리의 코드는 https://github.com/hyu-amllab/medjudgerag 에서 제공되며, 생성된 추론 궤적은 https://huggingface.co/datasets/youarethewon/medjudgerag 에 공개되어 있습니다.
언어 모델 토크나이저는 설계상의 선택이 모델의 성능에 직접적인 영향을 미침에도 불구하고, 일반적으로 최소한의 평가만을 거쳐 선정됩니다. 이는 토크나이저의 어떤 특성이 다운스트림 성능의 어떤 측면에 영향을 미치는지에 대한 이해가 부족한 데 일부 기인합니다. 본 논문에서는 번식도(fertility)나 압축률과 같은 표준적인 측정 지표를 넘어 언어학적 및 구조적으로 유의미한 특성(예: UTF-8 문자 경계 무결성 및 수학을 위한 자릿수 경계 정렬)을 포착하는 토크나이저 평가 메트릭 프레임워크인 TokEval을 소개합니다. 이러한 지표들이 다운스트림 모델 성능을 예측할 수 있는지 검증하기 위해, 토크나이저의 학습 데이터 혼합, 사전 토큰화(pretokenization) 전략, 학습 알고리즘만을 변화시키며 통제된 언어 모델 사전학습 실험을 수행합니다. 연구진은 결과 모델들을 bits-per-byte(토크나이저에 구애받지 않는 퍼플렉서티 버전)와 언어 이해, 수학적 추론, 코드 생성을 아우르는 여러 벤치마크에서 평가합니다. 실험 결과, 서로 다른 내재적 특성이 모델 능력에 서로 다른 영향을 미치는 것으로 나타났습니다. 정보 이론적 메트릭은 언어 모델링 능력을 예측하는 반면(스피어만 상관계수 rho 최대 0.80), 숫자 및 줄바꿈 처리를 측정하는 것과 같은 구조 민감형 메트릭은 태스크 정확도와 상관관계를 보였습니다. TokEval이 더욱 원칙적인 토크나이저 평가를 가능하게 하여, 두 평가가 일치하는 영역에서는 사전학습 스윕(sweep)을 내재적 측정으로 대체할 수 있기를 기대합니다.
대규모 언어 모델(LLM)을 프롬프트하여 요청에 따라 수사적 허술을 생성하게 할 수 있는지, 현재의 안전성 사후 학습이 이러한 행동을 얼마나 제약하는지는, 기존 텍스트에서 허술을 탐지하는 관련 질문보다 덜 주목받아 왔다. 우리는 DeflectBench로 이 공백을 메우며, 네 가지 프런티어 모델에서 나온 23,990개의 생성 결과를 세 가지 회피 전략(whataboutism, ad hominem, red herring), 일곱 가지 프롬프트 프레이밍, 네 가지 논쟁 수준에 걸친 80개의 주장에 대해 평가한다. 거절은 주장 내용보다 요청 구조에 의해 주로 좌우된다. 80개 주장에 걸친 주장별 거절률 변동은 11퍼센트포인트에 불과한 반면, 프롬프트 프레이밍을 하나만 바꾸면 동일 모델 내 거절률이 거의 100퍼센트포인트까지 변할 수 있고, 명시적 프레이밍 안에서 요청된 허술 유형을 바꾸면 80퍼센트포인트 이상 변할 수 있다. 교육용 토론 코치 프롬프트 프레이밍은 네 모델 계열 모두에서 거절을 거의 0에 가깝게 줄이지만, 우회된 행동은 clean compliance가 아니다. 모델은 일반적으로 요청된 조작 기법을, 그 조작이 담긴 응답 본문과 같은 응답 안에서 이름 붙여 밝히는 labeled compliance를 낸다. 네 모델은 거절, labeled compliance, soft refusal, clean compliance에 걸쳐 서로 다른 분포를 보인다. 코드와 데이터셋은 https://github.com/ArtKanke/DeflectBench 에서 공개된다.
오픈 보캐블러리 시청각 의미론적 분할(Open-Vocabulary Audio-Visual Semantic Segmentation, OV-AVSS)은 열린 범주의 클래스 집합에서 소리를 내는 객체를 픽셀 단위로 분할하는 것을 목표로 한다. 기존 방식은 클래스에 구애받지 않는(class-agnostic) 전경 정의에 의존하는데, 이는 의미적으로 다양한 객체들을 이종의 양성 집합(positive set)으로 묶어 모델이 불안정한 발음(sounding) 패턴을 학습하고 신뢰할 수 없는 제안(proposal)을 생성하게 만든다. 이를 해결하기 위해, 본 연구에서는 목표를 카테고리 특정적(category-specific)으로 재구성하고, 정적이고 오디오와 무관한 시각-텍스트 사전 지식을 동적인 음향 기반 비용 표현으로 변환하는 새로운 음향 기반 비용 학습(Acoustically Grounded Cost Learning, AGCL) 프레임워크를 제안한다. 범주 내 발음 영역 발견(intra-category soundingness discovery)을 위해, 침습성이 낮은 오디오 주입 메커니즘을 통해 프레임 수준의 발음 영역 강조와 비디오 수준의 시간적 정제를 모두 가능하게 하는 오디오 변조 비용 생성(Audio-Modulated Cost Generation, AMCG) 및 오디오 유도 시간적 집계(Audio-Guided Temporal Aggregation, AGTA) 모듈을 설계한다. 범주 간 방해 요소 식별(inter-category distractor discrimination)을 위해서는 음향적 및 의미적으로 혼동을 주는 음성 카테고리를 선택적으로 패널티화하여 보다 식별력 있는 결정 경계를 학습하는 협력적 방해 요소 마이닝(Synergistic Distractor Mining, SDM) 전략을 도입한다. AVSBench-OV 데이터셋에 대한 광범위한 실험을 통해 제안하는 방법이 기존의 최신(state-of-the-art) 접근법들을 크게 능가하며, 특히 미확인(unseen) 카테고리에서 뛰어난 성능을 보임을 입증한다. 코드는 https://github.com/spyflying/AGCL 에서 확인할 수 있다.
대규모 언어 모델의 강화학습 미세조정은 다양한 역량에 걸쳐 더 풍부한 지도 신호를 제공하기 위해, 검증 가능한 규칙, 태스크별 평가기, 학습된 보상 모델(reward model) 등 여러 보상 차원을 점점 더 많이 채택하고 있다. 이러한 차원들은 일반적으로 고정된 집계 가중치로 스칼라화된다. 본 연구는 집계 자체가 보상 해킹(reward hacking)을 유발하는 실패 양상을 규명한다. 정적 투영(static projection)은 질적으로 서로 다른 보상 프로필을 하나의 스칼라로 뭉뚱그려, 최적화가 가장 쉽거나, 가장 밀도가 높거나, 보상 신호에서 체계적으로 유리한 차원으로 쏠리게 만든다. 학습이 진행되는 동안 이는 정책(policy)을 최적이 아닌 프로필에 가두고, 더 높은 태스크 성능을 낼 수 있는 더 균형 잡힌 프로필로의 수렴을 막는다. 이를 해결하기 위해 우리는 상대적 부족분(relative shortfall), 보상 변동성(reward volatility), 최근 진척도(recent progress)의 세 가지 신호로 집계 가중치를 재배분하는 경량 온라인 방법인 Adaptive Multi-Reward Projection(AMRP)을 제안한다. AMRP는 뒤처지거나, 불안정하거나, 정체된 차원에 대한 압력을 높이고 포화된 차원에 대한 압력은 완화한다. GRPO 환경에서 구조화된 추론, 인용 기반 생성(citation-grounded generation), 개방형 정렬(open-ended alignment)에 걸쳐, AMRP는 고정 및 동적 가중치 베이스라인보다 보상 프로필의 균형과 다운스트림 성능을 일관되게 향상시킨다. 또한 GDPO 및 PPO에서도 효과를 유지하여 여러 강화학습 알고리즘과의 호환성을 뒷받침한다. 코드는 https://github.com/yyhappier/AMRP.git 에서 확인할 수 있다.
Although foundation models have achieved remarkable success in general domains, applying them to electroencephalography (EEG) analysis is constrained by substantial data requirements and large parameter counts, which incur prohibitive computational costs and impede deployment in resource-constrained clinical environments. General-purpose automated machine learning frameworks are likewise ill-suited to this domain, since exploration within an unbounded programmatic space fails to incorporate essential neurophysiological priors and frequently yields neuroscientifically implausible solutions. We therefore propose NeuroWeaver, a unified autonomous evolutionary agent that generalizes across diverse EEG datasets and tasks by reformulating pipeline engineering as a discrete constrained optimization problem solved through large language model (LLM)-driven generation of executable code. A Domain-Informed Subspace Initialization confines the search to a neuroscientifically plausible manifold, while a Multi-Objective Evolutionary Optimization dynamically balances performance, novelty, and efficiency via self-reflective refinement. Across five heterogeneous benchmarks, NeuroWeaver synthesizes lightweight pipelines that outperform state-of-the-art task-specific methods on nearly all metrics and attain accuracy comparable to large-scale foundation models, even surpassing them on the HMC and Workload benchmarks with only $0.18$M and $0.011$M parameters, respectively.
장기 대화 에이전트(agent) 역할을 하는 대규모 언어 모델(LLM)에는 확장된 상호작용에 대해 신뢰할 수 있는 추론을 지원하는 메모리 시스템이 필요하다. 그러나 기존의 검색-증강 생성(RAG) 프레임워크는 일반적으로 메모리를 수동적인 저장소로 취급하여, 출처가 명시된 신념(belief)과 출처가 명시되지 않은 사건/사실 기록을 구분하거나 여러 세션에 분산된 증거를 연결하기 어렵게 만든다. 우리는 PEC$^2$F(Person-Event-Concept-Claim-Fact) 그래프 스키마를 기반으로 하는 인지 메모리 아키텍처인 CogMem을 소개한다. 전용 Claim 노드는 주관적 진술의 출처와 대상을 보존하며, Fact 및 Event 노드는 각각 의미론적 지식과 일화적 지식을 나타낸다. 대화 턴(turn)은 점진적으로 출처 정보가 포함된(provenance-aware) 그래프 레코드로 변환되고, 상위 수준의 사실로 통합되며, 동일한 출처가 상충하는 업데이트를 제공할 때 시간적 범위가 지정된 Claim 뷰로 조정된다. 검색을 위해 LLM 의도 파싱(intent parsing)으로 구동되는 규칙 기반 컨트롤러가 앵커링(anchoring), 순회(traversal), 교집합(intersection), 증거 그라운딩(evidence grounding)이라는 네 가지 결정론적 그래프 연산자를 조합하여 질의와 관련된 컨텍스트를 재구성한다. LoCoMo와 LongMemEval에 대한 실험은 특히 다중 홉(multi-hop), 시간적(temporal), 지식 업데이트(knowledge-update) 과제에서 우수한 성능을 보인다. 제거 연구(ablation)와 의미적 붕괴(semantic-collapse) 프로브는 인식론적 분리(epistemic separation), 통합(consolidation), 에이전틱 검색(agentic retrieval)이 상호 보완적으로 기여함을 뒷받침한다. 코드: https://github.com/Silent-Rain02/CogMem.
Over the past years, deep generative models have achieved a new level of performance. Generated data has become difficult, if not impossible, to be distinguished from real data. While there are plenty of use cases that benefit from this technology, there are also strong concerns on how this new technology can be misused to generate deep fakes and enable misinformation at scale. Unfortunately, current deep fake detection methods are not sustainable, as the gap between real and fake continues to close. In contrast, our work enables a responsible disclosure of such state-of-the-art generative models, that allows model inventors to fingerprint their models, so that the generated samples containing a fingerprint can be accurately detected and attributed to a source. Our technique achieves this by an efficient and scalable ad-hoc generation of a large population of models with distinct fingerprints. Our recommended operation point uses a 128-bit fingerprint which in principle results in more than $10^{38}$ identifiable models. Experiments show that our method fulfills key properties of a fingerprinting mechanism and achieves effectiveness in deep fake detection and attribution. Code and models are available at https://github.com/ningyu1991/ScalableGANFingerprints .
Machine-generated artworks are now part of the contemporary art scene: they are attracting significant investments and they are presented in exhibitions together with those created by human artists. These artworks are mainly based on generative deep learning techniques, which have seen a formidable development and remarkable refinement in the very recent years. Given the inherent characteristics of these techniques, a series of novel legal problems arise. In this article, we consider a set of key questions in the area of generative deep learning for the arts, including the following: is it possible to use copyrighted works as training set for generative models? How do we legally store their copies in order to perform the training process? Who (if someone) will own the copyright on the generated data? We try to answer these questions considering the law in force in both the United States of America and the European Union, and potential future alternatives. We then extend our analysis to code generation, which is an emerging area of generative deep learning. Finally, we also formulate a set of practical guidelines for artists and developers working on deep learning generated art, as well as some policy suggestions for policymakers.
Recent advances in deep learning, in particular enabled by hardware advances and big data, have provided impressive results across a wide range of computational problems such as computer vision, natural language, or reinforcement learning. Many of these improvements are however constrained to problems with large-scale curated data-sets which require a lot of human labor to gather. Additionally, these models tend to generalize poorly under both slight distributional shifts and low-data regimes. In recent years, emerging fields such as meta-learning or self-supervised learning have been closing the gap between proof-of-concept results and real-life applications of machine learning by extending deep-learning to the semi-supervised and few-shot domains. We follow this line of work and explore spatio-temporal structure in a recently introduced image-to-image translation problem in order to: i) formulate a novel multi-task few-shot image generation benchmark and ii) explore data augmentations in contrastive pre-training for image translation downstream tasks. We present several baselines for the few-shot problem and discuss trade-offs between different approaches. Our code is available at https://github.com/irugina/meta-image-translation.