Dynamic flexible assembly flow shop scheduling with multi-product delivery, often with kitting supply and machine-level flexibility, can be found in many applications. It is difficult to design rules manually for it. Genetic programming (GP) has been used to automatically generate dispatching rules, enabling responsive scheduling while meeting high responsiveness demands. However, GP methods are dependent on fixed terminal sets and have poor interpretability. In this work, we develop an evolving dispatching rules framework (EvoDR) that leverages the semantic understanding and generation capabilities of large language models to achieve cross-domain integration of rule design and scheduling knowledge. In our proposed framework, multi-stage assembly supply decisions are modeled as priority sorting of directed edges based on heterogeneous graphs. A dual-expert co-evolution mechanism is proposed, which allows LLM-A to generate code and LLM-S conduct scheduling analysis and reflection. Guided by improvements in hybrid evaluation, adaptive rules that fit dynamic features are continuously evolved. Experimental results show that EvoDR can achieve lower average tardiness than other automatically designed state-of-the-art approaches. It also outperforms expert-designed competitors across 480 instances over 24 distinct scenarios with varying resource configurations and disturbance levels, and EvoDR demonstrates robust adaptability across diverse operating conditions.
Quantization is widely used to reduce the inference cost of large language models, but its effect on reasoning models is not fully captured by final-answer accuracy or per-token latency. We show that low-bit post-training quantization can introduce a hidden test-time compute cost: quantized reasoning models often generate longer chains of thought even when they still answer correctly. Across mathematical reasoning, code generation, scientific question answering, and agentic tool-use benchmarks, we find that INT4/INT3 quantization can preserve accuracy but increase reasoning-token usage, offsetting the expected per-token speedup. To measure this effect, we introduce the CoT Token Inflation Ratio, which compares reasoning length between quantized and full-precision models averaged across all evaluation benchmarks. We further show that token inflation is accompanied by behavioral changes in the reasoning trace, including more intermediate steps and greater semantic repetition. These changes translate into measurable end-to-end real-world serving penalties. Finally, we evaluate mitigation strategies and find that prompting and decoding-time sampling offer inconsistent accuracy-length trade-offs, while quantization-aware training shows more promise in reducing both accuracy degradation and token inflation. Our results suggest that reasoning-token usage should be reported alongside accuracy when evaluating quantized reasoning models.
Vision-language-action (VLA) models aim to map multimodal inputs to robot actions. However, most existing approaches struggle to cover complex dynamic scenarios due to treating all visual tokens uniformly and reasoning with human-selected factors, which lack mechanisms to emphasize task-critical evidence and ignore underlying factors. To address this issue, we propose LEEVLA, a VLA architecture for seeing what matters in Latent Environment Evolution that explicitly guides the model toward informative regions while preserving the structured evolution of latent world representations. To identify salient and instruction-relevant regions, we introduce drift-guided dynamic prioritization (DGDP), which combines dynamic position prioritization (DPP) with semantic drift guidance (SDG) to guide the VLA agent where to attend during training. On top of this, we introduce structured feature flow generation (SFFG), which models how these prioritized features should evolve in latent space via prototype-to-periphery (P2P) prediction, and a mutual-neighborhood contrastive (MC) loss to maintain topological consistency among neighborhoods. Together, DGDP and SFFG form a task-aware "where-how" training framework. Extensive experiments on VLA benchmarks show that LEEVLA consistently outperforms prior methods, confirming that explicit task-evidence guidance and structured latent reasoning are both crucial for scalable VLA. Our code is available at https://github.com/LyuQi127/LEEVLA.
고품질의 다양한 데이터는 대규모 언어 모델(LLM)에 필수적이지만 여전히 부족하고 비용이 많이 듭니다. 데이터 합성은 실행 가능한 대안이며 폐쇄형 과제에서 성공을 거두었으나, 인문사회과학(HSS) 분야는 간과되어 왔고 개방형 특성으로 인해 합성이 까다롭습니다. 기존의 역량 중심적이고 파편화된 시도를 넘어, 본 연구는 주제 중심 패러다임을 채택하고 14개 주요 분야를 아우르는 최초의 HSS 도메인 체계를 정의하며 HSS를 위한 최초의 데이터 합성 파이프라인인 HSS-Synth를 소개합니다. HSS-Synth는 다음으로 구성됩니다. (1) 다단계 필터링 및 심사자 평가 텍스트 정제를 통해 웹 말뭉치로부터 시드 문서를 구축, (2) 엄격한 Q&A 정렬(alignment) 검증과 함께 '요구사항 + 페르소나'를 지정하여 시드 문서를 다양하면서도 충실한 인스트럭션으로 역번역(backtranslate), (3) 의미를 고정하고 환각(hallucination)을 줄이며 어조와 온전성을 유지하기 위해 응답 생성 중 시드 문서를 입력하는 교사 강제(teacher-forced) 응답 방식을 통해 LLM 응답 한계를 극복. HSS-Synth는 16개 벤치마크에서 14개의 주요 베이스라인을 능가하는 23만 7천 개의 고품질 다양 인스트럭션 튜닝(instruction tuning) 샘플을 생성합니다. 이를 통해 파인튜닝(fine-tuning)된 Qwen3-8B-Base는 새로운 최고 성능(SOTA)을 달성하고 공식 Qwen3-8B에 근접하며, 성능 시소 현상 없이 인간 선호도와 지식 역량을 모두 향상시킵니다. 광범위한 실험을 통해 HSS-Synth의 강건성과 전이 가능성을 입증합니다. 저희 코드는 https://github.com/pengr/HSS-Synth 에서 공개되어 있습니다.
대규모 언어 모델(LLM)이 정보 탐색에 점점 더 많이 활용되고 있지만, 의미상 동등한 질문이라도 표현 방식이 다르면 답변 품질에 상당한 차이가 발생할 수 있습니다. 응답 동작을 유도하기 위해 시스템 프롬프트(system prompt)가 널리 사용되나, 이는 대개 평균적인 경우의 품질에 맞춰 최적화되므로 일부 질문 표현에 대해서는 여전히 불완전하거나 품질이 낮은 답변이 제공될 수 있습니다. 이를 해결하기 위해, 본 연구에서는 시스템 프롬프트 선택을 위한 제약된 혼합 전략 GroupDRO 프레임워크를 정식화합니다. 이 프레임워크는 시스템 프롬프트 텍스트 자체를 최적화하는 대신, 기존 풀(pool) 내의 시스템 프롬프트들에 가중치를 부여하여 평가 지표 및 그룹 전반에 걸친 최악의 경우(worst-case) 정보 품질 손실을 최소화하는 동시에, 평균 손실이 평균 기반 선택 방식의 손실과 가깝게 유지되도록 제약합니다. 풀 생성과 선택 과정이 분리되어 있으므로, 이 방식은 어떠한 시스템 프롬프트 풀에도 적용 가능하며 단일 프롬프트 대신 상호보완적인 시스템 프롬프트들의 앙상블을 활용할 수 있습니다. 두 개의 이중 언어 의료 및 소비자 금융 벤치마크에서 5개의 LLM을 대상으로 실험한 결과, 제약된 방식은 완화 조치를 취하지 않은 경우 대비 전체 평균(Overall Mean), 하위 25% 평균(Worst 25% Mean), 최악의 경우(Worst) 손실을 각각 평균 13.1%, 13.2%, 13.7% 감소시키면서도 전반적인 품질을 평균 기반 선택과 유사하게 유지했습니다. 또한 다중 프롬프트 가중치는 지표-그룹 쌍 전반에서 상호보완성을 나타냅니다. 코드와 데이터는 https://github.com/Rainxu09/equitable-system-prompt-selection 에서 확인할 수 있습니다.
특화된 도메인에 배포되는 대규모 언어 모델(LLM)은 일반적인 성능을 희생하지 않으면서 도메인 내(in-domain) 성능을 향상시켜야 합니다. 기존의 매개변수 효율적 미세조정(PEFT) 방법들은 일반적으로 항시 활성화(always on)되어 있어, 학습된 섭동이 모든 입력에 적용되므로 도메인 외(OOD) 성능을 저하시킬 수 있습니다. 본 논문에서는 사전학습 시점의 조건부 메모리를 동결된 LLM을 위한 사후(post-hoc) 어댑터로 용도 변경하는 프레임워크인 Engram Adapter를 제안합니다. 이 방법은 명시적 점유 추적(occupancy tracking)을 포함한 국소 n-그램 패턴 대상의 다중 채널 매칭을 경량 선택성 사전 분포(selectivity prior)로 사용하여 도메인 내 입력에 잔여 신호 주입(residual injection)이 발생할 가능성을 높이는 동시에, 학습된 스칼라 게이트를 통해 일관되지 않은 OOD 검색을 억제합니다. 저자들은 AG-News와 MedMCQA를 적응 작업으로 삼고, 추론, 번역, 코드 생성, 법률 추론에 걸친 OOD 벤치마크를 활용하여 Qwen3-4B 및 Qwen3-8B에서 평가를 진행했습니다. Engram Adapter는 도메인 내 정확도를 향상시키는 동시에 평균 OOD 성능을 99.4%--100.1% 수준으로 보존하며, 비교 대상인 항시 활성화 베이스라인들이 급격한 성능 저하를 보이는 것과 달리 LegalBench에서는 평균적으로 동결된 베이스 모델을 소폭 상회합니다. 메커니즘 분석 결과, OOD 활성화 값이 0이 아님에도 불구하고 게이트 및 프로젝션 감쇠를 통해 잔차가 은닉 상태 노름(hidden-state norm)의 약 0.08%로 감소하여 미미한 KL 발산과 무시할 수 있는 수준의 정확도 변화만을 유발하는 것으로 나타났습니다. 이러한 결과는 조건부 활성화가 동결된 백본 상에서 모듈화되고 보존 능력을 유지하는 도메인 특화를 달성하기 위한 유망한 경로임을 시사합니다.
대규모 언어 모델(LLM)이 대화형 추천 어시스턴트로 점점 더 널리 활용되고 있습니다. 따라서 이들에 대한 평가는 그럴듯한 아이템 추천을 넘어, 결함이 있는 추천 요청을 인식할 수 있는지까지 테스트해야 합니다. 기존의 추천 벤치마크는 주로 랭킹, 생성 또는 선호도 충족을 평가하는 반면, 기존의 오류 감지 벤치마크는 대개 추천에 특화된 사용자와 후보 증거에 기반(grounding)하지 않습니다. 이러한 격차를 해소하기 위해, 자연어 추천 요청 내의 잘못된 전제를 감지, 진단하고 적절히 처리하는 능력인 '추천 전제 비판(Recommender-Premise Critique)'을 평가하기 위한 벤치마크인 RPCBench를 소개합니다. RPCBench는 5개 추천 도메인에서 도출된 증거 기반 테스트 인스턴스를 포함하며 10가지 유형의 전제 결함을 다룹니다. 각 인스턴스는 가시적인 추천 컨텍스트와 손상된 사용자 쿼리를 제공합니다. 나아가 선제적 감지, 오류 위치 파악, 감지 후 처리 전략 및 증거 충실도를 측정하는 세분화된 평가 프레임워크를 설계했습니다. 11개 LLM에 대한 체계적인 평가를 통해 선제적 감지가 추천 전제 비판의 주요 병목이며, 모델들이 불충분하게 명시된 전제(underspecified-premise) 오류에서 가장 낮은 성능을 보임을 발견했습니다. 또한 불필요한 증거보다 대상에 핵심적인 정보 밀도가 더 중요하며, 추론 길이가 길어진다고 해서 비판 품질이 단조 증가하지 않는다는 점도 확인했습니다. 즉 성능은 중간 정도의 추론 길이에서 정점을 찍고 지나치게 긴 추론에는 과도한 생각(overthinking)에 따른 페널티가 수반됩니다. 코드는 https://github.com/ZhongruChen/RPCBench 에서 이용할 수 있습니다.
다중물리 연속체 모델(multiphysics continuum model)은 전기화학 소자 연구를 위한 강력한 도구로, 컴퓨터 시뮬레이션 기반(in silico) 반응기 설계와 함께 소자 성능을 지배하지만 실험적으로는 측정이 어려운 국소 pH, 전위, 농도장의 해석을 가능하게 합니다. 그러나 이러한 모델을 구축하려면 상당한 수준의 수치적 전문 지식이 필요하거나 상용 독점 소프트웨어에 의존해야 합니다. 본 연구에서는 프론티어 대규모 언어 모델(LLM) 에이전트가 연구자의 통제하에 기본 물리를 유지하면서 이러한 구현 부담을 해소할 수 있음을 보여줍니다. 다공성 기체 확산 전극에서 CO2가 CO로 환원되는 1차원 전기화학 반응을 테스트 케이스로 삼아, 지배 방정식, 매개변수, 수치 해석 기법, 논리적 구축 단계, 사람이 검증 가능한 체크포인트를 포함하는 기계 판독 가능하고 사람이 명시한 모델링 하네스(harness)를 개발합니다. 이 명세로부터 에이전트는 오픈소스 Julia 환경에서 완전한 다중물리 모델을 재현 가능하게 구축합니다. 완전 자율 에이전트 구축 모델을 포함하여 독립적으로 구축된 모델들은 동등한 COMSOL 구현 결과와 피크 CO 부분 전류 밀도의 0.7% 이내에서 일치하며, 상호 간에는 0.04% 이내로 일치합니다. 체계적으로 주입된 오류 실험을 통해 재현성을 위한 명시적 명세의 중요성을 입증하고, 모델 물리를 디버깅하는 에이전트의 능력과 한계를 확인합니다. 이 프레임워크는 특화된 코드 대신 물리적 기술과 지배 방정식이 계산 모델 개발의 주요 입력이 되는 다중물리 모델링에 대한 더욱 투명한 접근법을 정립합니다.
온-정책(on-policy) 사후 학습(post-training)은 대규모 언어 모델(LLM)이 자체 궤적(trajectory)으로부터 학습하여 성능을 향상시킬 수 있지만, 비용이 많이 드는 롤아웃(rollout) 생성을 필요로 합니다. 본 연구에서는 고정된 시연(demonstration) 데이터가 더 우수한 지도(supervision)를 통해 경쟁력 있는 오프-정책(off-policy) 학습을 지원할 수 있는지 질문을 던집니다. 우리의 전제는 시연 데이터의 유용성이 학습 궤적뿐만 아니라, 지도가 연속적인 생성 경로 간의 유익한 선호도를 제공하고 이러한 안내를 학습 중인 추론 결정과 연결하는지 여부에도 달려 있다는 것입니다. 본 논문에서는 시연 데이터를 단계 정렬된 분포적 지도(distributional supervision)로 변환하는 롤아웃 없는 자가 증류(self-distillation) 기법인 단계 정렬 특권 지식 증류(Step-Aligned Privileged Distillation, SAPD)를 소개합니다. SAPD의 핵심 통찰은 참조 솔루션을 구분되지 않는 단순 문맥으로 취급하는 대신, 참조 솔루션의 알려진 진행 과정을 활용하여 각 추론 전환을 타깃팅된 특권적 안내(privileged guidance)와 연결하는 것입니다. 수학적 추론 벤치마크에서 SAPD는 온-정책 강화학습(RL) 및 자가 증류 방식과 경쟁력 있는 성능을 유지하면서 지도 미세조정(SFT)과 라벨 스무딩(label smoothing)을 평균적으로 능가합니다. 분석 결과는 문맥 의존적인 분포적 안내의 가치와 특권 정보를 현재 단계에 정렬하는 것의 이점을 모두 뒷받침합니다. 또한 SAPD는 도메인 외(out-of-domain) 코딩 성능을 대체로 유지하며, 온-정책 베이스라인 대비 약 2배 빠른 학습 루프 속도 향상을 달성합니다. 이러한 발견은 정교하게 구축된 지도를 통해 완전한 오프-정책 사후 학습이 경쟁력 있고 계산 효율적인 대안이 될 수 있음을 시사합니다. 코드 링크: https://github.com/Miaow-Lab/SAPD.
소수의 X선 투영 영상으로부터 3차원 컴퓨터 단층촬영(CT) 이미지를 재구성하는 것은 부피 정보의 손실로 인해 매우 불량조건인 역문제(ill-posed inverse problem)입니다. 본 논문에서는 3차원 폐 CT 이미지를 재구성하기 위해 베르-람베르트 법칙(Beer-Lambert law)에 기반한 미분 가능한 물리 기반 순방향 모델과 강력한 사전 확률(prior)로서 텍스트 조건부 확산 모델(Diffusion)을 통합하는 학습 불필요(training-free) 프레임워크인 PhyDiCT를 제안합니다. 사전 확률 모델을 미세조정 없이 사용하며 디노이징 과정을 유도하여 X선 관측값과 일치하는 샘플을 생성하는 것을 목표로 하므로, 본 접근법을 학습 불필요 방식이라고 지칭합니다. 투영 충실도(보상)와 사전 지식과의 일관성을 함께 최적화하기 위해 Split Gibbs 샘플링을 사용하여 확산 생성을 유도합니다. 또한, 이미지 사실성과 해부학적 일관성을 향상시키는 테스트 시점 정제(test-time refinement) 단계를 도입합니다. 공개된 3차원 CT 데이터셋을 대상으로 지각 및 의미론적 지표를 모두 활용해 광범위한 평가를 수행하였으며, 본 기법이 기존의 플러그 앤 플레이 확산 모델 및 완전 학습된 재구성 기법들을 능가함을 입증했습니다. 연구 결과는 강력한 생성 사전 확률과 영상 형성의 기초 물리학을 결합하는 것이 재구성 품질을 실질적으로 향상시킴을 보여줍니다(예: 전체 학습 기법 대비 SSIM 7.5% 향상). 코드는 https://github.com/batmanlab/PhyDiCT 에 공개될 예정입니다.
재귀적 자기개선(Recursive Self-Improvement, RSI)은 상호작용 경험을 지속적인 개선으로 전환하는 것을 목표로 하지만, 외부 피드백은 비용이 많이 들고 정책(policy)이 진화함에 따라 월드 모델(world model)의 예측이 신뢰할 수 없게 될 수 있다. 우리는 JEPA-Anything을 기반으로 구축된 도메인 범용(domain-general) 프레임워크인 RSI-Anything을 소개하며, 이는 예측적 월드 모델을 사용하여 행동 및 학습 데이터 선택을 안내한다. 관찰된 피드백은 정책 또는 워크플로우 개선과 조건부 월드 모델 적응(adaptation)을 이끌며, 구성요소 및 호환성 검사가 업데이트된 정책-모델 쌍의 유지 여부를 결정한다. 다양한 계산 및 과학 도메인에서 RSI-Anything은 상당한 성능 향상을 보여준다. 코드 수정(code repair) 과제에서, 코더(coder)를 고정한 상태로 성공률은 정적 검증기(static verifier)를 사용할 때 26.3%였으나, 예측적 선택(predictive selection)을 통해 29.2%로, 월드 모델 적응 이후에는 31.2%로 증가했으며, 이는 비슷한 테스트 사용량에서 달성되었다. 그래픽 사용자 인터페이스(Graphical User Interface, GUI) 평가에서는 과제 완료율이 더 높아졌으며, 평균 행동 수는 39.4% 감소했다. 연속된 5개의 정책 버전에 걸쳐, 실험실 계획(laboratory-planning) 점수는 21.80%에서 46.01%로 두 배 이상 증가했다. 반응 최적화(reaction optimization)에서, RSI-Anything은 동일한 40회 실험 예산 하에서 평균 최고 관측 수율(mean best observed yield) 96.15%를 달성했으며, 이는 베이지안 최적화(Bayesian optimization)의 82.16%와 대비된다. 더 나아가, 엔드투엔드(end-to-end) 면역학(immune-science) 응용에서는 워크플로우 진화와 예측 모델링을 치료적 가설 생성(therapeutic hypothesis generation)과 연결한다. 이러한 결과는 예측적 월드 모델과 유지된 시스템 업데이트가 다양한 환경에서 재귀적 개선을 가능하게 하는 방식을 보여준다.
This paper focuses on scalability and robustness of spectral clustering for extremely large-scale datasets with limited resources. Two novel algorithms are proposed, namely, ultra-scalable spectral clustering (U-SPEC) and ultra-scalable ensemble clustering (U-SENC). In U-SPEC, a hybrid representative selection strategy and a fast approximation method for K-nearest representatives are proposed for the construction of a sparse affinity sub-matrix. By interpreting the sparse sub-matrix as a bipartite graph, the transfer cut is then utilized to efficiently partition the graph and obtain the clustering result. In U-SENC, multiple U-SPEC clusterers are further integrated into an ensemble clustering framework to enhance the robustness of U-SPEC while maintaining high efficiency. Based on the ensemble generation via multiple U-SEPC's, a new bipartite graph is constructed between objects and base clusters and then efficiently partitioned to achieve the consensus clustering result. It is noteworthy that both U-SPEC and U-SENC have nearly linear time and space complexity, and are capable of robustly and efficiently partitioning ten-million-level nonlinearly-separable datasets on a PC with 64GB memory. Experiments on various large-scale datasets have demonstrated the scalability and robustness of our algorithms. The MATLAB code and experimental data are available at https://www.researchgate.net/publication/330760669.
As deep learning is showing unprecedented success in medical image analysis tasks, the lack of sufficient medical data is emerging as a critical problem. While recent attempts to solve the limited data problem using Generative Adversarial Networks (GAN) have been successful in generating realistic images with diversity, most of them are based on image-to-image translation and thus require extensive datasets from different domains. Here, we propose a novel model that can successfully generate 3D brain MRI data from random vectors by learning the data distribution. Our 3D GAN model solves both image blurriness and mode collapse problems by leveraging alpha-GAN that combines the advantages of Variational Auto-Encoder (VAE) and GAN with an additional code discriminator network. We also use the Wasserstein GAN with Gradient Penalty (WGAN-GP) loss to lower the training instability. To demonstrate the effectiveness of our model, we generate new images of normal brain MRI and show that our model outperforms baseline models in both quantitative and qualitative measurements. We also train the model to synthesize brain disorder MRI data to demonstrate the wide applicability of our model. Our results suggest that the proposed model can successfully generate various types and modalities of 3D whole brain volumes from a small set of training data.
The recently introduced introspective variational autoencoder (IntroVAE) exhibits outstanding image generations, and allows for amortized inference using an image encoder. The main idea in IntroVAE is to train a VAE adversarially, using the VAE encoder to discriminate between generated and real data samples. However, the original IntroVAE loss function relied on a particular hinge-loss formulation that is very hard to stabilize in practice, and its theoretical convergence analysis ignored important terms in the loss. In this work, we take a step towards better understanding of the IntroVAE model, its practical implementation, and its applications. We propose the Soft-IntroVAE, a modified IntroVAE that replaces the hinge-loss terms with a smooth exponential loss on generated samples. This change significantly improves training stability, and also enables theoretical analysis of the complete algorithm. Interestingly, we show that the IntroVAE converges to a distribution that minimizes a sum of KL distance from the data distribution and an entropy term. We discuss the implications of this result, and demonstrate that it induces competitive image generation and reconstruction. Finally, we describe two applications of Soft-IntroVAE to unsupervised image translation and out-of-distribution detection, and demonstrate compelling results. Code and additional information is available on the project website -- https://taldatech.github.io/soft-intro-vae-web
Graph neural networks (GNNs) constitute a class of deep learning methods for graph data. They have wide applications in chemistry and biology, such as molecular property prediction, reaction prediction and drug-target interaction prediction. Despite the interest, GNN-based modeling is challenging as it requires graph data pre-processing and modeling in addition to programming and deep learning. Here we present DGL-LifeSci, an open-source package for deep learning on graphs in life science. DGL-LifeSci is a python toolkit based on RDKit, PyTorch and Deep Graph Library (DGL). DGL-LifeSci allows GNN-based modeling on custom datasets for molecular property prediction, reaction prediction and molecule generation. With its command-line interfaces, users can perform modeling without any background in programming and deep learning. We test the command-line interfaces using standard benchmarks MoleculeNet, USPTO, and ZINC. Compared with previous implementations, DGL-LifeSci achieves a speed up by up to 6x. For modeling flexibility, DGL-LifeSci provides well-optimized modules for various stages of the modeling pipeline. In addition, DGL-LifeSci provides pre-trained models for reproducing the test experiment results and applying models without training. The code is distributed under an Apache-2.0 License and is freely accessible at https://github.com/awslabs/dgl-lifesci.
Current state-of-the-art approaches for image captioning typically adopt an autoregressive manner, i.e., generating descriptions word by word, which suffers from slow decoding issue and becomes a bottleneck in real-time applications. Non-autoregressive image captioning with continuous iterative refinement, which eliminates the sequential dependence in a sentence generation, can achieve comparable performance to the autoregressive counterparts with a considerable acceleration. Nevertheless, based on a well-designed experiment, we empirically proved that iteration times can be effectively reduced when providing sufficient prior knowledge for the language decoder. Towards that end, we propose a novel two-stage framework, referred to as Semi-Autoregressive Image Captioning (SAIC), to make a better trade-off between performance and speed. The proposed SAIC model maintains autoregressive property in global but relieves it in local. Specifically, SAIC model first jumpily generates an intermittent sequence in an autoregressive manner, that is, it predicts the first word in every word group in order. Then, with the help of the partially deterministic prior information and image features, SAIC model non-autoregressively fills all the skipped words with one iteration. Experimental results on the MS COCO benchmark demonstrate that our SAIC model outperforms the preceding non-autoregressive image captioning models while obtaining a competitive inference speedup. Code is available at https://github.com/feizc/SAIC.
Modern image captioning models are usually trained with text similarity objectives. However, since reference captions in public datasets often describe the most salient common objects, models trained with text similarity objectives tend to ignore specific and detailed aspects of an image that distinguish it from others. Toward more descriptive and distinctive caption generation, we propose using CLIP, a multimodal encoder trained on huge image-text pairs from web, to calculate multimodal similarity and use it as a reward function. We also propose a simple finetuning strategy of the CLIP text encoder to improve grammar that does not require extra text annotation. This completely eliminates the need for reference captions during the reward computation. To comprehensively evaluate descriptive captions, we introduce FineCapEval, a new dataset for caption evaluation with fine-grained criteria: overall, background, object, relations. In our experiments on text-to-image retrieval and FineCapEval, the proposed CLIP-guided model generates more distinctive captions than the CIDEr-optimized model. We also show that our unsupervised grammar finetuning of the CLIP text encoder alleviates the degeneration problem of the naive CLIP reward. Lastly, we show human analysis where the annotators strongly prefer the CLIP reward to the CIDEr and MLE objectives according to various criteria. Code and Data: https://github.com/j-min/CLIP-Caption-Reward
From the perspective of the layer normalization (LN) positions, the architectures of Transformers can be categorized into two types: Post-LN and Pre-LN. Recent Transformers tend to be Pre-LN because, in Post-LN with deep Transformers (e.g., those with ten or more layers), the training is often unstable, resulting in useless models. However, Post-LN has consistently achieved better performance than Pre-LN in relatively shallow Transformers (e.g., those with six or fewer layers). This study first investigates the reason for these discrepant observations empirically and theoretically and made the following discoveries: 1, the LN in Post-LN is the main source of the vanishing gradient problem that leads to unstable training, whereas Pre-LN prevents it, and 2, Post-LN tends to preserve larger gradient norms in higher layers during the back-propagation, which may lead to effective training. Exploiting the new findings, we propose a method that can provide both high stability and effective training by a simple modification of Post-LN. We conduct experiments on a wide range of text generation tasks. The experimental results demonstrate that our method outperforms Pre-LN, and enables stable training regardless of the shallow or deep layer settings. Our code is publicly available at https://github.com/takase/b2t_connection.
StyleGAN2 was demonstrated to be a powerful image generation engine that supports semantic editing. However, in order to manipulate a real-world image, one first needs to be able to retrieve its corresponding latent representation in StyleGAN's latent space that is decoded to an image as close as possible to the desired image. For many real-world images, a latent representation does not exist, which necessitates the tuning of the generator network. We present a per-image optimization method that tunes a StyleGAN2 generator such that it achieves a local edit to the generator's weights, resulting in almost perfect inversion, while still allowing image editing, by keeping the rest of the mapping between an input latent representation tensor and an output image relatively intact. The method is based on a one-shot training of a set of shallow update networks (aka. Gradient Modification Modules) that modify the layers of the generator. After training the Gradient Modification Modules, a modified generator is obtained by a single application of these networks to the original parameters, and the previous editing capabilities of the generator are maintained. Our experiments show a sizable gap in performance over the current state of the art in this very active domain. Our code is available at \url{https://github.com/sheffier/gani}.
The existing model compression methods via structured pruning typically require complicated multi-stage procedures. Each individual stage necessitates numerous engineering efforts and domain-knowledge from the end-users which prevent their wider applications onto broader scenarios. We propose the second generation of Only-Train-Once (OTOv2), which first automatically trains and compresses a general DNN only once from scratch to produce a more compact model with competitive performance without fine-tuning. OTOv2 is automatic and pluggable into various deep learning applications, and requires almost minimal engineering efforts from the users. Methodologically, OTOv2 proposes two major improvements: (i) Autonomy: automatically exploits the dependency of general DNNs, partitions the trainable variables into Zero-Invariant Groups (ZIGs), and constructs the compressed model; and (ii) Dual Half-Space Projected Gradient (DHSPG): a novel optimizer to more reliably solve structured-sparsity problems. Numerically, we demonstrate the generality and autonomy of OTOv2 on a variety of model architectures such as VGG, ResNet, CARN, ConvNeXt, DenseNet and StackedUnets, the majority of which cannot be handled by other methods without extensive handcrafting efforts. Together with benchmark datasets including CIFAR10/100, DIV2K, Fashion-MNIST, SVNH and ImageNet, its effectiveness is validated by performing competitively or even better than the state-of-the-arts. The source code is available at https://github.com/tianyic/only_train_once.