We present Chirpy3D, a novel approach for fine-grained 3D object generation, tackling the challenging task of synthesizing creative 3D objects in a zero-shot setting, with access only to unposed 2D images of seen categories. Without structured supervision -- such as camera poses, 3D part annotations, or object-specific labels -- the model must infer plausible 3D structures, capture fine-grained details, and generalize to novel objects using only category-level labels from seen categories. To address this, Chirpy3D introduces a multi-view diffusion model that decomposes training objects into anchor parts in an unsupervised manner, representing the latent space of both seen and unseen parts as continuous distributions. This allows smooth interpolation and flexible recombination of parts to generate entirely new objects with species-specific details. A self-supervised feature consistency loss further ensures structural and semantic coherence. The result is the first system capable of generating entirely novel 3D objects with species-specific fine-grained details through flexible part sampling and composition. Our experiments demonstrate that Chirpy3D surpasses existing methods in generating creative 3D objects with higher quality and fine-grained details. Code will be released at https://github.com/kamwoh/chirpy3d.
Many studies have concentrated on constructing supervised models utilizing paired datasets for image denoising, which proves to be expensive and time-consuming. Current self-supervised and unsupervised approaches typically rely on blind-spot networks or sub-image pairs sampling, resulting in pixel information loss and destruction of detailed structural information, thereby significantly constraining the efficacy of such methods. In this paper, we introduce Prompt-SID, a prompt-learning-based single image denoising framework that emphasizes preserving of structural details. This approach is trained in a self-supervised manner using downsampled image pairs. It captures original-scale image information through structural encoding and integrates this prompt into the denoiser. To achieve this, we propose a structural representation generation model based on the latent diffusion process and design a structural attention module within the transformer-based denoiser architecture to decode the prompt. Additionally, we introduce a scale replay training mechanism, which effectively mitigates the scale gap from images of different resolutions. We conduct comprehensive experiments on synthetic, real-world, and fluorescence imaging datasets, showcasing the remarkable effectiveness of Prompt-SID. Our code will be released at https://github.com/huaqlili/Prompt-SID.
Assessing higher-order thinking skills in large language models (LLMs) remains a fundamental challenge, especially in tasks that go beyond surface-level accuracy. In this work, we propose THiNK (Testing Higher-order Notion of Knowledge), a multi-agent, feedback-driven evaluation framework grounded in Bloom's Taxonomy. THiNK frames reasoning assessment as an iterative task of problem generation, critique, and revision, encouraging LLMs to think-aloud through step-by-step reflection and refinement. This enables a systematic evaluation of both lower-order (e.g., remember, understand) and higher-order (e.g., evaluate, create) thinking skills. We apply THiNK to seven state-of-the-art LLMs and perform a detailed cognitive analysis of their outputs. Results reveal that while models reliably perform lower-order categories well, they struggle with applying knowledge in realistic contexts and exhibit limited abstraction. Structured feedback loops significantly improve reasoning performance, particularly in higher-order thinking. Qualitative evaluations further confirm that THiNK-guided outputs better align with domain logic and problem structure. The code of our framework provides a scalable methodology for probing and enhancing LLM reasoning, offering new directions for evaluation grounded in learning science, which is available at our GitHub repository.
Despite the rapid advance of 3D-aware image synthesis, existing studies usually adopt a mixture of techniques and tricks, leaving it unclear how each part contributes to the final performance in terms of generality. Following the most popular and effective paradigm in this field, which incorporates a neural radiance field (NeRF) into the generator of a generative adversarial network (GAN), we build a well-structured codebase, dubbed Carver, through modularizing the generation process. Such a design allows researchers to develop and replace each module independently, and hence offers an opportunity to fairly compare various approaches and recognize their contributions from the module perspective. The reproduction of a range of cutting-edge algorithms demonstrates the availability of our modularized codebase. We also perform a variety of in-depth analyses, such as the comparison across different types of point feature, the necessity of the tailing upsampler in the generator, the reliance on the camera pose prior, etc., which deepen our understanding of existing methods and point out some further directions of the research work. We release code and models at https://github.com/qiuyu96/Carver to facilitate the development and evaluation of this field.
Advances in multimodal large language models (multimodal LLMs) allow data systems to answer analytical queries over text and images alongside relational tables, but at a significant cost for large-scale data. Existing systems reduce this cost through rewrite rules written in advance, which cannot use the logic of an individual query or the semantics of the data it processes. To address this challenge, we design, implement, and evaluate KathDB-FAO, a query evaluation system over multimodal data. KathDB-FAO decomposes a complex query into an execution plan of fine-grained steps, which we call Function-as-Operators (FAOs). To reduce execution cost, it searches for subsets of these FAOs to implement together as one function, enabling query-specific optimizations that make fewer model calls. Synthesizing these functions with a frontier model has its own cost, yet we observe that synthesized FAOs often recur across queries. To further reduce plan generation cost, KathDB-FAO uses pre-built functions and reuses functions synthesized for earlier queries. On SemBench and an additional workload, KathDB-FAO achieves quality comparable to the strongest competing system while reducing end-to-end cost per query by 76% on average.
Wikipedia와 Wikidata는 정보 접근, 대규모 언어 모델(LLM) 사전학습, 검색-증강 생성(RAG)에 널리 활용되고 있습니다. 이들의 지식은 깊이 연계되어 있으나 텍스트, 표, 지식 그래프(KG)에 걸쳐 분산되어 있습니다. 이는 다음과 같은 실질적인 질문을 제기합니다: 이러한 모달리티 간 정보가 일치하지 않을 때, 어떻게 그 충돌을 탐지하고 설명할 수 있을까요? 본 논문에서는 이 문제를 모달리티 수준의 불일치 탐지 연구로 다룹니다. 먼저 정보 세분성 차이, 직접적 충돌, 시간적 변화, KG 불완전성을 포함하는 모달리티 간 지식 불일치 분류 체계를 도입합니다. 이어 Text-to-SPARQL과 LLM 추론을 활용하여 표 기반 답변을 KG 근거와 비교하고 발생하는 불일치를 분류하는 자동 프레임워크인 Kontrast를 제시합니다. 다양한 Table-QA 데이터셋에 대한 실험 결과, 모달리티 간 불일치는 빈번하며 유의미한 정보를 제공하는 것으로 나타났습니다. 이는 실제 지식 충돌뿐만 아니라 누락된 KG 구조와 시간적 불일치를 드러내는 한편, Text-to-SPARQL 오류와 노이즈에 의해 제한되기도 합니다. 분석 결과 체계적인 비교를 통해 텍스트, 표, KG가 상호 보완 및 교정될 수 있음을 확인했습니다. Kontrast는 대규모 지식 감사(auditing)를 위한 실용적인 도구를 제공하며, 향후 모달리티 간 지식 일관성 연구를 위한 벤치마크를 정립합니다. 코드와 데이터는 https://github.com/ECLADATTA/KONTRAST 에서 이용할 수 있습니다.
주로 영어 데이터로 학습(training)된 대규모 언어 모델(LLM)은 방대한 세상 지식을 내재하고 있지만, 다른 언어에서는 이를 신뢰성 있게 표현하지 못하는 경우가 많은데, 이를 다국어 사실 비일관성(cross-lingual factual inconsistency) 현상이라고 합니다. 이를 연구하기 위해, 저자들은 유형학적으로 다양한 12개 언어에 걸쳐 위키데이터(Wikidata) 기반의 6만 개 사실을 담은 완전 병렬 다국어 사실 질의응답 데이터셋인 PolyFact를 소개하고, 다국어 보상 풀링을 적용한 일관성 기반 GRPO를 제안합니다. 저자들은 OLMo-2-1124-7B 및 Qwen-2.5-7B에서 제안하는 방법을 지도 미세조정(SFT)과 일관성 향상 베이스라인인 DCO 및 CM-Align과 비교하고, 병렬 데이터에 대한 가벼운 지속적 사전학습(CPT)이 사후 학습을 위한 유용한 기반을 제공하는지 분석합니다. 단일 방법이 모든 면에서 우세하지는 않았습니다. SFT는 분포 내 정확도를 극대화하지만 일관성은 높이지 못하고, DCO는 가장 강력한 일관성 향상을 보이지만 자유 형식 생성으로 전이되지 못하는 반면, 제안된 GRPO 변형은 다국어 베이스 모델에서 자유 형식 재현 및 미학습 언어로의 가장 강력한 전이를 달성합니다. CPT는 단일 언어 모델에는 약간의 도움을 주지만 다국어 모델에는 해가 됩니다. 기제 분석(mechanistic analyses)에 따르면 GRPO는 언어 특화 감소와 관련이 있으며, 이는 언어 전반에 걸친 표현 공유 증대와 일치합니다. 저자들은 코드, 모델, 데이터셋을 공개합니다.
항균제 내성으로 인해 매년 100만 명 이상이 사망합니다. 항균 펩타이드(AMPs)는 유망한 해결책이지만, 실제 펩타이드 약물에 필수적인 비천연 아미노산 및/또는 화학적 변형이 포함된 펩타이드를 설계할 준비가 생성형 AMP 모델에는 아직 되어 있지 않습니다. 우리는 AMPGAN v3를 소개합니다. 이는 생성 어휘를 D-아미노산 및 아미드화(amidation)와 같은 N/C-말단 변형으로 확장하는 다목표 조건부 생성적 적대 신경망(GAN)입니다. 두 개의 전문 판별자(discriminator)에 걸쳐 적대적 및 활성 인식 지도를 분리함으로써, AMPGAN v3는 학습(training) 안정성을 크게 향상시키고 외부 분류기에서 이전 생성형 AMP 모델을 능가합니다. 우리는 시험관 내(in vitro)에서 3가지 구조적 클래스에 걸친 5개의 후보를 검증했습니다. 두 후보는 그람 양성 균주에 대한 활성을 보였으며, 최상의 후보는 *B. subtilis*에 대해 MIC 8 μg/mL에 도달했습니다. 하류 큐레이션(curation)을 지원하기 위해, 우리는 계획 에이전트(Planning Agent)가 생성, 필터링 및 검증을 위한 전문 실행기를 조율하는 엔드 투 엔드 AMP 발견을 위한 멀티 에이전트 프레임워크인 PepCraft를 추가로 제시합니다. 해당 프레임워크의 우선순위 추천 사항은 우리의 시험관 내 결과와 일치합니다. 이러한 기여들을 종합하여, 우리는 작지만 실제 규모로 생성형 및 에이전트형 AI가 치료용 펩타이드 발견에서 어떻게 결합하는지 살펴볼 수 있습니다. 코드: https://github.com/marszzibros/AMPGANv3
확산 대규모 언어 모델(dLLM)은 마스킹된 시퀀스를 반복적으로 디노이징하여 텍스트를 생성하며, 자기회귀 모델에 대한 병렬 대안을 제공한다. 그러나 사후 학습을 통해 강력한 추론 능력을 이끌어내는 것은 여전히 어렵다. 지도 미세조정은 오프-정책 방식이라 노출 바이어스를 겪으며, 강화학습은 시퀀스 수준의 희소한 보상만을 제공하고 다루기 쉬운 시퀀스 우도 없이는 적용하기 어렵다. 온-정책 자기 증류(OPSD)는 하나의 모델을 학생과 교사로 동시에 활용하여 밀도 높고 토큰 수준의 온-정책 지도 신호를 제공하는 유망한 대안이지만, 그 효과는 교사에게 특권 정보(PI)—일반적으로 추론 시에는 사용할 수 없는 인스턴스별 정답 레퍼런스—를 부여하는 것에 달려 있다. 이로 인해 학생은 개선 효과가 거의 없는 약한 PI-프리 합의 정책을 증류하게 되어 dLLM 추론에 별다른 향상을 가져오지 못한다. 우리는 dOPSD를 제안한다. 이 방법은 교사의 특권을 외부 레이블이 아닌 학생 자신의 디노이징 경로에서 직접 도출하며, 마스킹된 위치를 동일한 경로의 이후 더 많이 디코딩된 단계를 활용하여 평가함으로써 교사의 이점이 모델 자체의 디코딩 과정에서 창출되도록 한다. Dream과 LLaDA에서 dOPSD는 도메인 내 수학 추론과 도메인 외 코드 생성 모두를 개선하며, 지도 기반 및 온-정책 베이스라인을 능가한다.
확산 모델을 이용한 텍스트 가이드 비디오 편집은 비용이 큰 다단계 샘플링과 역변환(inversion)으로 인해 실용적으로 너무 느립니다. 우리는 고품질 비디오 편집을 위해 원스텝 텍스트-이미지(Text-to-Image, T2I) 모델을 성공적으로 적응시킨 최초의 프레임워크인 OSVE를 제안하며, 역변환, 편집 가능성, 시간적 일관성이라는 핵심 과제를 해결합니다. 느린 반복적 역변환을 우회하기 위해, 우리는 단일 순전파로 각 프레임의 초기 노이즈를 예측하는 학습 가능한 인코더를 학습합니다. 이 인코더는 구조적으로 정렬된 이미지 쌍으로 구성된 큐레이션된 데이터셋에서 새로운 구조 인식 편집(Structure-Aware Editing, SAE) 손실로 학습되어, 편집 시 원본 비디오의 기하학적 구조를 보존하도록 합니다. 시간적 일관성을 위해, 우리는 단일 생성 단계에서 프레임 간 어텐션을 가능하게 하기 위해 프레임 잠재 표현(latent)을 연결하는 기법인 통합 프레임 편집(Unified-Frame Editing, UFE)을 도입합니다. 또한 긴 비디오의 경우, 앵커 프레임을 사용하는 슬라이딩 윈도우 전략으로 전역 일관성을 유지합니다. 광범위한 실험을 통해 OSVE가 최신 다단계 방법과 비교 가능하거나 더 우수한 편집 품질을 달성하면서, 약 155–171배 빠르게 동작함을 보여줍니다. 이 돌파구는 실용적인 실시간 비디오 편집 응용의 길을 열어줍니다. 코드는 https://github.com/KU-VGI/OSVE 에서 이용할 수 있습니다.
10-K 보고서, 표 형식의 공시, 거시경제 보고서와 같은 금융 문서를 분석하는 것은 전문적인 추론과 상당한 시간을 필요로 한다. 그러나 기존의 검색-증강 생성(RAG) 시스템은 텍스트와 표가 혼합된 하이브리드 구조나 방대한 규모의 금융 문서를 처리하는 데 어려움을 겪는 경우가 많다. 이러한 문제를 해결하기 위해, 대규모 금융 데이터셋에서 검색 성능과 생성 신뢰성을 향상하도록 설계된 RAG 프레임워크인 계층적 리랭커(Hierarchical Reranker)를 제안한다. 이 시스템은 세 가지 핵심 혁신을 통합한다. 정규화, 키워드 확장 및 표 변환을 통해 질의 명확성과 검색 효율성을 높이는 검색 전 최적화(Pre-Retrieval Optimization), 2단계 순위화 메커니즘을 통해 검색 정밀도를 향상하는 계층적 리랭커 아키텍처(Hierarchical Reranker Architecture), 그리고 방대한 문맥 환경에서 적응형 입력 분할 및 융합을 통해 추론 정확도를 보존하는 긴 문맥 관리(Long-Context Management)이다. FinQA, FinanceBench, ConvFinQA를 포함한 다수의 벤치마크 전반에서 제안된 시스템은 0.7918의 NDCG@20 점수를 달성하고 우수한 사실적 일관성을 입증했다. 또한 ACM-ICAIF '24 FinanceRAG 챌린지에서 2위를 차지하며 견고성을 추가로 검증받았다. 본 연구는 금융 추론의 정확도와 확장성을 모두 향상하는 배포 가능한 도메인 최적화 RAG 파이프라인을 제시하여, 자동화된 감사 보고 및 퀀트 투자 분석의 길을 열어준다. 소스 코드는 논문 채택 시 GitHub에 공개될 예정이다.
GRPO와 같은 온-정책 롤아웃 방법은 대규모 언어 모델(LLM)의 사후 학습에서 핵심적이지만, 학습 불안정, 과제 간 능력 저하, 응답 길이 팽창 문제가 자주 발생한다. 기존 연구는 집계 업데이트의 부분공간(subspace) 기하를 규명해 왔으나, 이 기하의 단계별 변화와 모델 성능과의 관계는 여전히 불명확하다. 우리는 Principal-Subspace Overlap을 도입한다. 이는 사전학습 가중치의 지배적 특이 부분공간(dominant singular subspaces)에 대한 개별 롤아웃 업데이트를 차원 보정(dimension-corrected)하여 측정하는 지표이다. 평균 중첩(overlap)은 낮더라도 일시적인 급등(spike)이 성능 저하를 앞서는 경우가 많다. 이에 대응하여 GCPO(Geometrically Constrained Policy Optimization)를 제안한다. GCPO는 강한 양방(bilateral) 직교 투영(orthogonal projection)을 적용해 업데이트를 여(complementary) 부분공간으로 제한함으로써, 구조적으로 이러한 이탈(excursion)을 방지한다. Qwen3-8B와 GLM4-9B에서 수학적 추론, 코드 생성, 도구 사용(tool-use) 과제 전반에 걸쳐 GCPO는 GRPO 및 DAPO, GSPO를 포함한 최근 변형들보다 일관되게 우수하며, 기본 모델 대비 최대 27.69점, 최강 기준선 대비 최대 2.37점 향상을 보였다. 또한 GCPO는 일반 역량을 유지하고 응답 길이 팽창을 없애며 정책 엔트로피(policy entropy)를 안정화한다. 우리의 결과는 안정적인 강화학습 사후 학습을 위한 새로운 진단 관점과 원칙적인 설계 관점을 제공한다.
확산 언어 모델은 많은 토큰을 병렬로 생성할 수 있지만, 추론 시에는 여전히 반복적인 디노이징 단계가 필요하다. 이로 인해 생성 비용이 커지며, 특히 모델이 이미 안정화된 토큰을 계속 재계산할 때 더욱 그렇다. 이러한 한계를 해결하기 위해, 우리는 첫 단계 신뢰도를 이용해 디노이징을 안내하고 추론 시간을 줄이는 학습 없는 추론 방법 CAI-DLLM을 제안한다. 구체적으로 CAI-DLLM은 쉬운 토큰을 더 일찍 확정하고, 어려운 토큰에 더 많은 디노이징 단계를 할당하며, 출력 블록 전반에 걸쳐 디코딩 스케줄을 조정한다. 첫 단계 신뢰도 신호만 사용하므로 재학습, 추가 예측기, 가중치 업데이트가 필요하지 않다. 우리는 수학, 코드, 추론, 상식, 장문맥 과제에서 LLaDA-8B-Instruct와 Dream-7B-Instruct에 대해 CAI-DLLM을 평가한다. CAI-DLLM은 LLaDA GSM8K에서 최대 18.2배의 wall clock 추론 가속을 달성하면서 정확도를 76.27%에서 77.41%로 높였고, Dream HumanEval에서는 최대 13.1배 가속을 달성하며 no-cache 추론보다 높은 pass@1을 기록했다(48.17% 대 46.95%). 더 어려운 추론 과제에서는 가속이 44.8배에 달하며, 정확도는 최대 4.4 포인트 하락했고, 에너지 소비는 최대 95.3% 감소했다.
깊은 생성 모델은 의료 영상 합성과 데이터 공유에 새로운 기회를 제공하지만, 학습 샘플을 암기하고 재현하는 능력은 환자 기밀에 대한 심각한 우려를 불러일으킨다. 이러한 암기를 대규모로 탐지하는 것은 여전히 어렵다. 전통적인 픽셀 기반 지표는 생성 아티팩트에 민감하고, 일반적인 임베딩 기반 지표는 의료 데이터에 필요한 해부학적 민감도가 부족한 경우가 많다. 이 문제에 대응하기 위해, 우리는 의료 생성 모델에서 확장 가능한 암기 감사를 위한 자기지도 유사도 지표 DeepSSIM++를 제안한다. 다중 스케일 특징 집계와 해부학 보존 증강을 활용함으로써 DeepSSIM++는 코사인 유사도가 구조적 유사도 지수(Structural Similarity Index, SSIM)를 근사하는 임베딩 공간을 학습하며, 정확한 픽셀 수준 정합(registration)이 필요 없게 한다. 최신(state-of-the-art) 베이스라인과 비교하면 DeepSSIM++는 이상적인 정렬 조건에서 평균 Macro F1을 33%p, 현실적인 공간 및 강도 교란 조건에서 46%p 개선한다. 또한 해석적 SSIM에 비해 대규모 유사도 계산을 수 orders of magnitude만큼 가속한다. 해부학적 민감도와 계산 효율을 결합함으로써 DeepSSIM++는 의료 생성 AI에서 확장 가능한 암기 감사를 위한 오픈소스 도구를 제공한다. 코드와 데이터는 https://github.com/brAIn-science/DeepSSIM 에서 공개되어 있다.
월드 액션 모델(WAMs)은 시각적 역학 예측과 행동 생성을 결합하지만, 여러 조작 작업 전반에 걸친 행동 경험의 재사용을 명시적으로 지원하지는 않습니다. 나아가 기존 WAM은 불필요한 배경 요소가 핵심 시각 정보 추출을 방해하기 때문에, 목표 행동 예측을 유도할 수 있는 작업 간 기저 시맨틱 관계를 포착하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 과거의 물리적 행동 궤적을 공유된 행동 임베딩으로 인코딩하여 스킬 재사용을 지원하고 작업 간 관계를 모델링하는 새로운 행동 경험 딕셔너리(AED)를 개발합니다. 구체적으로, 먼저 시각적 관찰과 정렬되도록 과거 행동을 집계하고 사전학습된 행동 토크나이저를 사용해 AED에서 행동 임베딩을 검색합니다. 이후 크로스 어텐션(cross-attention)을 통해 풀링된 임베딩에 시각적 조건을 부여하고 이를 노이즈가 있는 행동 토큰 앞에 덧붙여 예측을 위한 상호작용 컨텍스트와 행동 의도를 제공합니다. 또한 행동과 관련된 움직임을 모델링하고 무관한 배경 단서에 대한 의존도를 낮추기 위해, 무작위 시간 간격에 따른 시각적 특징 변화 예측을 지도하는 동작 인식 전이 손실(motion-aware transition loss)을 도입합니다. 시뮬레이션 벤치마크와 실제 환경의 크로스 임바디먼트(cross-embodiment) 설정에서 수행한 실험을 통해 제안하는 AED의 유효성을 검증합니다. 프로젝트 코드는 https://github.com/JiahuaDong/AED 에서 확인할 수 있습니다.
Weight pruning has been widely acknowledged as a straightforward and effective method to eliminate redundancy in Deep Neural Networks (DNN), thereby achieving acceleration on various platforms. However, most of the pruning techniques are essentially trade-offs between model accuracy and regularity which lead to impaired inference accuracy and limited on-device acceleration performance. To solve the problem, we introduce a new sparsity dimension, namely pattern-based sparsity that comprises pattern and connectivity sparsity, and becoming both highly accurate and hardware friendly. With carefully designed patterns, the proposed pruning unprecedentedly and consistently achieves accuracy enhancement and better feature extraction ability on different DNN structures and datasets, and our pattern-aware pruning framework also achieves pattern library extraction, pattern selection, pattern and connectivity pruning and weight training simultaneously. Our approach on the new pattern-based sparsity naturally fits into compiler optimization for highly efficient DNN execution on mobile platforms. To the best of our knowledge, it is the first time that mobile devices achieve real-time inference for the large-scale DNN models thanks to the unique spatial property of pattern-based sparsity and the help of the code generation capability of compilers.
Two important tasks at the intersection of knowledge graphs and natural language processing are graph-to-text (G2T) and text-to-graph (T2G) conversion. Due to the difficulty and high cost of data collection, the supervised data available in the two fields are usually on the magnitude of tens of thousands, for example, 18K in the WebNLG~2017 dataset after preprocessing, which is far fewer than the millions of data for other tasks such as machine translation. Consequently, deep learning models for G2T and T2G suffer largely from scarce training data. We present CycleGT, an unsupervised training method that can bootstrap from fully non-parallel graph and text data, and iteratively back translate between the two forms. Experiments on WebNLG datasets show that our unsupervised model trained on the same number of data achieves performance on par with several fully supervised models. Further experiments on the non-parallel GenWiki dataset verify that our method performs the best among unsupervised baselines. This validates our framework as an effective approach to overcome the data scarcity problem in the fields of G2T and T2G. Our code is available at https://github.com/QipengGuo/CycleGT.
Multi-label image recognition is a practical and challenging task compared to single-label image classification. However, previous works may be suboptimal because of a great number of object proposals or complex attentional region generation modules. In this paper, we propose a simple but efficient two-stream framework to recognize multi-category objects from global image to local regions, similar to how human beings perceive objects. To bridge the gap between global and local streams, we propose a multi-class attentional region module which aims to make the number of attentional regions as small as possible and keep the diversity of these regions as high as possible. Our method can efficiently and effectively recognize multi-class objects with an affordable computation cost and a parameter-free region localization module. Over three benchmarks on multi-label image classification, we create new state-of-the-art results with a single model only using image semantics without label dependency. In addition, the effectiveness of the proposed method is extensively demonstrated under different factors such as global pooling strategy, input size and network architecture. Code has been made available at~\url{https://github.com/gaobb/MCAR}.
Generative Adversarial Networks (GANs) are commonly used for modeling complex distributions of data. Both the generators and discriminators of GANs are often modeled by neural networks, posing a non-transparent optimization problem which is non-convex and non-concave over the generator and discriminator, respectively. Such networks are often heuristically optimized with gradient descent-ascent (GDA), but it is unclear whether the optimization problem contains any saddle points, or whether heuristic methods can find them in practice. In this work, we analyze the training of Wasserstein GANs with two-layer neural network discriminators through the lens of convex duality, and for a variety of generators expose the conditions under which Wasserstein GANs can be solved exactly with convex optimization approaches, or can be represented as convex-concave games. Using this convex duality interpretation, we further demonstrate the impact of different activation functions of the discriminator. Our observations are verified with numerical results demonstrating the power of the convex interpretation, with applications in progressive training of convex architectures corresponding to linear generators and quadratic-activation discriminators for CelebA image generation. The code for our experiments is available at https://github.com/ardasahiner/ProCoGAN.
Polar codes are high density parity check codes and hence the sparse factor graph, instead of the parity check matrix, has been used to practically represent an LP polytope for LP decoding. Although LP decoding on this polytope has the ML-certificate property, it performs poorly over a BAWGN channel. In this paper, we propose modifications to adaptive cut generation based LP decoding techniques and apply the modified- adaptive LP decoder to short blocklength polar codes over a BAWGN channel. The proposed decoder provides significant FER performance gain compared to the previously proposed LP decoder and its performance approaches that of ML decoding at high SNRs. We also present an algorithm to obtain a smaller factor graph from the original sparse factor graph of a polar code. This reduced factor graph preserves the small check node degrees needed to represent the LP polytope in practice. We show that the fundamental polytope of the reduced factor graph can be obtained from the projection of the polytope represented by the original sparse factor graph and the frozen bit information. Thus, the LP decoding time complexity is decreased without changing the FER performance by using the reduced factor graph representation.