A fundamental challenge in formal theorem proving by LLMs is the lack of high-quality training data. Although reinforcement learning or expert iteration partially mitigates this issue by alternating between LLM generating proofs and finetuning them on correctly generated ones, performance quickly plateaus due to the scarcity of correct proofs (sparse rewards). To keep improving the models with limited data, we draw inspiration from mathematicians, who continuously develop new results, partly by proposing novel conjectures or exercises (which are often variants of known results) and attempting to solve them. We design the Self-play Theorem Prover (STP) that simultaneously takes on two roles, conjecturer and prover, each providing training signals to the other. The conjecturer is trained iteratively on previously generated conjectures that are barely provable by the current prover, which incentivizes it to generate increasingly challenging conjectures over time. The prover attempts to prove the conjectures with standard expert iteration. We evaluate STP with both Lean and Isabelle formal versifiers. With 51.3 billion tokens generated during the training in Lean, STP proves 28.5% of the statements in the LeanWorkbook dataset, doubling the previous best result of 13.2% achieved through expert iteration. The final model achieves state-of-the-art performance among whole-proof generation methods on miniF2F-test (65.0%, pass@3200), Proofnet-test (23.9%, pass@3200) and PutnamBench (8/644, pass@3200). We release our code, model, and dataset in this URL: https://github.com/kfdong/STP.
Purpose: This study proposes a novel anatomically-driven dynamic modeling framework for coronary arteries using skeletal skinning weights computation, aiming to achieve precise control over vessel deformation while maintaining real-time performance for surgical simulation applications. Methods: We developed a computational framework based on biharmonic energy minimization for skinning weight calculation, incorporating volumetric discretization through tetrahedral mesh generation. The method implements temporal sampling and interpolation for continuous vessel deformation throughout the cardiac cycle, with mechanical constraints and volume conservation enforcement. The framework was validated using clinical datasets from 5 patients, comparing interpolated deformation results against ground truth data obtained from frame-by-frame segmentation across cardiac phases. Results: The proposed framework effectively handled interactive vessel manipulation. Geometric accuracy evaluation showed mean Hausdorff distance of 4.96 +- 1.78 mm and mean surface distance of 1.78 +- 0.75 mm between interpolated meshes and ground truth models. The Branch Completeness Ratio achieved 1.82 +- 0.46, while Branch Continuity Score maintained 0.84 +- 0.06 (scale 0-1) across all datasets. The system demonstrated capability in supporting real-time guidewire-vessel collision detection and contrast medium flow simulation throughout the complete coronary tree structure. Conclusion: Our skinning weight-based methodology enhances model interactivity and applicability while maintaining geometric accuracy. The framework provides a more flexible technical foundation for virtual surgical training systems, demonstrating promising potential for both clinical practice and medical education applications. The code is available at https://github.com/ipoirot/DynamicArtery.
Given the scarcity and cost of high-field MRI, the synthesis of high-field MRI from low-field MRI holds significant potential when there is limited data for training downstream tasks (e.g. segmentation). Low-field MRI often suffers from a reduced signal-to-noise ratio (SNR) and spatial resolution compared to high-field MRI. However, synthesizing high-field MRI data presents challenges. These involve aligning image features across domains while preserving anatomical accuracy and enhancing fine details. To address these challenges, we propose a Pretext Task Adversarial (PTA) learning framework for high-field MRI synthesis from low-field MRI data. The framework comprises three processes: (1) The slice-wise gap perception (SGP) network aligns the slice inconsistencies of low-field and high-field datasets based on contrastive learning. (2) The local structure correction (LSC) network extracts local structures by restoring the locally rotated and masked images. (3) The pretext task-guided adversarial training process introduces additional supervision and incorporates a discriminator to improve image realism. Extensive experiments on low-field to ultra high-field task demonstrate the effectiveness of our method, achieving state-of-the-art performance (16.892 in FID, 1.933 in IS, and 0.324 in MS-SSIM). This enables the generation of high-quality high-field-like MRI data from low-field MRI data to augment training datasets for downstream tasks. The code is available at: https://github.com/Zhenxuan-Zhang/PTA4Unpaired_HF_MRI_SYN.
Imperceptible adversarial attacks aim to fool DNNs by adding imperceptible perturbation to the input data. Previous methods typically improve the imperceptibility of attacks by integrating common attack paradigms with specifically designed perception-based losses or the capabilities of generative models. In this paper, we propose Adversarial Attacks in Diffusion (AdvAD), a novel modeling framework distinct from existing attack paradigms. AdvAD innovatively conceptualizes attacking as a non-parametric diffusion process by theoretically exploring basic modeling approach rather than using the denoising or generation abilities of regular diffusion models requiring neural networks. At each step, much subtler yet effective adversarial guidance is crafted using only the attacked model without any additional network, which gradually leads the end of diffusion process from the original image to a desired imperceptible adversarial example. Grounded in a solid theoretical foundation of the proposed non-parametric diffusion process, AdvAD achieves high attack efficacy and imperceptibility with intrinsically lower overall perturbation strength. Additionally, an enhanced version AdvAD-X is proposed to evaluate the extreme of our novel framework under an ideal scenario. Extensive experiments demonstrate the effectiveness of the proposed AdvAD and AdvAD-X. Compared with state-of-the-art imperceptible attacks, AdvAD achieves an average of 99.9$\%$ (+17.3$\%$) ASR with 1.34 (-0.97) $l_2$ distance, 49.74 (+4.76) PSNR and 0.9971 (+0.0043) SSIM against four prevalent DNNs with three different architectures on the ImageNet-compatible dataset. Code is available at https://github.com/XianguiKang/AdvAD.
확산 기반 대규모 언어 모델(dLLM)은 동시 노이즈 제거를 활용하여 전역 계획과 반복적 정제를 가능하게 하는, 자기회귀 모델의 유망한 대안으로 부상했다. 이러한 특성 덕분에 dLLM은 긴 컨텍스트 생성에 매력적이다. 그러나 기존 추론 시스템이 확산 패러다임에 비효율적이어서 dLLM 배포에는 엄청난 메모리 장벽이 존재한다. 우리는 현재의 추론 시스템이 dLLM과 부합하지 않음을 관찰한다. 메모리 사용량이 KV 캐시에 의해 좌우되는 자기회귀 모델과 달리, dLLM은 단계마다 재구체화되는 일시적 활성화가 병목이 된다. 또한 범용 메모리 재사용 메커니즘은 로짓과 피드포워드 네트워크 사이를 오가는 dLLM의 동적 메모리 피크를 다룰 전역적 가시성이 부족하다. 이러한 문제를 해결하기 위해, dLLM 실행을 지역적·정적 관리에서 전역적·동적 패러다임으로 전환하는 메모리 효율적 추론 시스템 Mosaic을 제시한다. Mosaic은 (i) 중복된 활성화 구체화를 제거하는 마스크 전용 로짓 커널, (ii) 온라인 휴리스틱으로 동적 메모리 피크를 제어하는 지연 청킹 최적화기, (iii) 가상 주소 지정을 활용해 메모리 단편화를 완화하는 전역 메모리 관리자를 통합한다. 평가 결과 Mosaic은 메모리 피크 대 평균 비율을 평균 2.71$\times$ 줄이고, 동일한 하드웨어에서 최대 추론 시퀀스 길이를 15.30-32.34$\times$ 늘린다. 특히 Mosaic은 학습이 필요 없고 모델 출력을 정확히 보존하면서 종단 간 지연 시간을 2.5%-55.4% 줄인다. 코드는 https://github.com/flashserve/Mosaic 에 공개되어 있다.
이미지-3D 생성 모델은 이제 에셋 품질의 텍스처 메시를 생성하지만, 에셋당 수 분이 걸려 반복 작업이 느리고 배포 비용이 크다. 기존 연구는 주로 네트워크의 샘플링을 가속해 왔으며, 메시 처리까지 최적화하는 경우에도 자체 생성기를 학습시킨다. 반면 본 연구는 공개된 파이프라인에서 출발하여 종단 간 시간을 얼마나 절약할 수 있는지를 묻는다. 공개된 Pixal3D 파이프라인을 프로파일링한 결과, 지연 시간은 네트워크 이후의 과정이 지배하는 것으로 나타났다. 네 개의 rectified flow가 전체 실제 경과 시간의 14%를 차지하고 메시 후처리가 85%를 차지하며, 그 대부분은 CPU 기반 UV 언래핑에서 발생한다. 따라서 먼저 메시 후처리를 GPU에서 다시 구축하고 임계 경로에서 제거한 뒤, flow의 평가당 오버헤드를 줄이고 네트워크 평가 횟수를 76회에서 8회로 증류한다. 그 결과인 Sprint3D 파이프라인은 동일한 내보내기 설정에서 H200 GPU 한 대 기준 에셋당 중앙값 시간을 133초에서 4.05초로 줄인다(33$\times$). 동시에 보류된 Toys4K 객체 2,653개에서 Pixal3D 프로토콜의 모든 입력 뷰 법선 지표를 개선하며, 평균 실루엣 IoU는 약간 낮고 포인트 클라우드 정렬 점수는 낮으며 미세한 텍스처 디테일은 적다. 다시 구축한 후처리만으로도 동일한 내보내기 코드를 사용하는 TRELLIS.2를 6.7$\times$ 가속하며, 평가한 지표에서 검출 가능한 변화는 없다.
의료 진단에서 비전-언어 모델(VLMs)의 신뢰성은 신뢰를 저해하는 환각 현상으로 인해 위협받고 있습니다. 기존 환각 탐지 접근법은 주로 생성된 텍스트와 참조 데이터 간의 사실적 불일치를 식별하는 데 초점을 맞춥니다. 일부 연구에서는 모델이 이미지 내에서 어텐션(attention)을 집중하는 위치를 분석하지만, 해당 어텐션이 생성된 텍스트를 뒷받침하는 시각적 증거를 실제로 반영하는지 여부는 거의 검증하지 않습니다. 이러한 격차를 해결하기 위해, 우리는 증거 기반 사실 일관성 검증을 통해 환각을 탐지하고 교정하는 학습이 필요 없는 플러그 앤 플레이(plug-and-play) 프레임워크인 반대 증거 검증(Counter-Evidence Verification, CoEV)을 제안합니다. CoEV는 텍스트 주장과 시각적 증거 간의 양방향 검증을 수행하여 각 문장이 대응하는 증거 영역에 의해 지지되는지 테스트하고, 텍스트 사실성과 시각적 그라운딩(grounding)의 결합을 포착하는 4분면 진단 맵에 각 문장을 할당합니다. CoEV는 환각 콘텐츠를 탐지함과 동시에 재학습 없이 환각을 교정하는 사후 정제(post hoc refinement) 도구로 기능합니다. 4개의 의료 데이터셋(dataset)에 대한 광범위한 실험을 통해 CoEV가 VLM 내의 환각 문제에 효과적으로 대응함을 확인했습니다. 환각 탐지 측면에서 CoEV는 기존 방법들을 일관되게 능가하여 평균 PR-AUC와 ROC-AUC를 각각 절대값 3.0%p와 3.9%p 향상시켰으며, 특정 VQA 시나리오에서는 최대 18.5%의 상승폭을 기록했습니다. 환각 교정 측면에서는 Micro-F1을 최대 12.5% 향상시키고, 의료 보고서 생성에서 환각 발생률을 11.9% 이상 감소시켰으며, 의료 VQA 정확도 또한 향상시켰습니다. 이러한 결과는 CoEV가 환각을 신뢰할 수 있게 탐지하고 교정할 수 있음을 보여주며, 임상의들에게 진단을 위한 신뢰할 수 있는 증거 기반 단서를 제공합니다. 코드는 논문 수락 후 공개될 예정입니다.
Quantum mechanical (QM) cluster models provide an effective framework for mechanistic studies of enzymatic reactions but remain computationally demanding. Neural network potentials (NNPs) offer a promising route to reduce this cost, but enzymes present challenges beyond small molecules, including large system sizes, implicit-solvent environments, substantial polarization, and charge transfer. Here, we present an integrated software framework for efficient NNP training for mechanistic studies of enzymes, demonstrated on QM cluster models of S-adenosyl-L-methionine-dependent methyltransferases (MTases). Our Enerzyme code introduces modular electrostatics-aware NNP architectures and combines automated QM-cluster construction with reactive dataset generation. The Enerzymette subpackage automates reaction pathway exploration at both NNP and DFT levels. We show that iterative flexible scans and nudged elastic band calculations impose stricter requirements on NNPs than conventional dataset metrics. Nevertheless, NNPs trained on fewer than 1,000 system-specific datapoints reproduce reaction energetics and transition-state structures for MTase clusters containing up to 545 atoms with near-chemical accuracy. Direct supervision of atomic charges and consistent dielectric screening substantially improve simulation stability and accuracy, while multitask-learned atomic charges capture charge transfer and polarization trends and provide chemically meaningful descriptors of reactivity. Finally, transferability across chemically diverse catechol O-methyltransferase substrates indicates that NNPs learn generalizable reactivity patterns as training data expand across multiple enzymes. Together, these results establish a foundation for accelerating enzyme mechanistic studies and guide future NNP development for biomolecular reactivity.
많은 비선형 물리 시스템은 초기 과도(transient) 단계를 거치며, 이 단계에서 섭동이 증가한 뒤 비선형 상호작용을 통해 통계적 정상 상태에 도달한다. 이 포화(saturated) 영역이 주된 관심 대상이지만, 직접 수치 시뮬레이션은 이에 도달하기 전에 전체 과도 역학을 해석해야 하므로 상당한 계산 비용이 발생한다. 계산 유체 역학(CFD)에서는 대외류 시뮬레이션(LES)과 같은 차수 축소(reduced-order) 접근법이 소규모 역학을 모델링하여 계산 비용을 완화하고, 난류 흐름의 처리 가능한 근사를 가능하게 한다. 반면 자이로키네틱스(gyrokinetics)와 같은 시스템에서는 전체 역학에 대해 이에 필적하는 효과적인 클로저(closure)가 일반적으로 제공되지 않아 고정밀 시뮬레이션이 여전히 필요하다. 이러한 시스템에 대한 기존 대리 모델링 접근법은 자기회귀(autoregressive) 방식이므로 누적 오차에 취약하다. 우리는 대신 명시적 시간 진화를 우회하고, 단일 장시간 시뮬레이션의 시간 평균이 샘플에 대한 앙상블 평균과 동등하다는 에르고딕성(ergodicity) 가정 하에 포화 상태의 분포를 직접 모델링한다. 5차원 위상 공간에서 자이로키네틱 난류의 정상 상태 통계를 과도 단계를 해석하지 않고 직접 추정하는 잠재 생성 모델인 GyroFlow를 제안한다. GyroFlow는 무차원 운전 매개변수를 조건으로 하여 노이즈로부터 포화 스냅샷을 생성하며, 자기회귀·차수 축소·기타 생성 접근법을 능가하면서 상당한 속도 향상을 제공한다. 생성 품질을 평가하기 위해 사전학습된 자이로키네틱 모델의 잠재 공간에서 계산되는 분포 메트릭 FGyD를 제안하고, 이것이 하류 플럭스(flux) 정확도 및 솔버 수렴과 상관관계가 있음을 보인다. 마지막으로 GyroFlow는 데이터 생성에 사용된 수치 코드의 웜 스타트(warm-start)에 활용할 수 있다.
레지스터 전송 레벨(RTL)을 작성하도록 대규모 언어 모델(LLM)을 학습(training)시키려면 명세와 코드가 쌍을 이룬 대규모 말뭉치가 필요하지만, 이러한 데이터는 매우 부족하여 현재 대부분의 공개 말뭉치는 합성되어 생성됩니다. 합성은 규모를 제공하지만 정확성을 보장하지는 못하며, 널리 사용되는 두 RTL 데이터셋에서는 생성된 기능 테스트를 통과하는 쌍이 각각 24.4%와 53.5%에 불과합니다. 이는 이러한 말뭉치를 얼마나 유지해야 하고 어느 부분을 유지해야 하는지에 대한 의문을 제기합니다. 정확성만으로는 적절한 해답이 되지 못합니다. 특정 코너 케이스에서 오작동하는 쌍이라 하더라도 여전히 유효한 구문 및 인터페이스 규칙을 보여주며, 복잡한 순차 회로 설계는 생성하기 어려울 뿐만 아니라 검증하기도 어렵기 때문에 정확성만으로 필터링하면 짧고 단순한 모듈로 구성된 말뭉치만 남게 됩니다. 또한 RTL에서는 동작 특성이 표면에 거의 드러나지 않고 전체 말뭉치를 검증하더라도 쌍을 통과와 실패로만 분류할 뿐이므로 정확성을 확보하는 것 역시 어렵습니다. 본 논문에서는 각 명세를 시뮬레이션에 실패한 구현들과 대조하여 동작 인지 호환성 사전 확률(prior)을 학습하고, 소수의 검증된 쌍을 사용하여 이를 새로운 말뭉치에 캘리브레이션하는 RTLCurator를 제시합니다. 그런 다음 정렬(alignment), 표현 커버리지, RTL 구조적 풍부함의 균형을 맞추어 유지할 부분집합을 구성합니다. CodeV 및 RTLCoder에서 풀의 10%만 검증하면서 이러한 방식으로 말뭉치의 80%를 유지한 결과, 보고된 모든 지표에서 전체 말뭉치로 학습한 것보다 성능이 향상된 반면, 점수만으로 순위를 매기는 방식은 무작위 선택보다 뒤처졌고 전체 풀을 시뮬레이션으로 필터링하는 방식도 더 나은 결과를 내지 못했습니다.
에고센트릭(egocentric) 비디오로부터 월드 좌표계의 카메라 및 손 동작을 복원하는 것은 활동 이해, 로봇 학습, 증강현실을 위한 핵심 역량입니다. 기존 시스템은 일반적으로 이 문제를 카메라 모션, 깊이, 손 복원, 궤적 정제라는 별도의 단계로 분해하며, 이로 인해 상당한 계산 오버헤드가 발생하고 카메라와 손 동작의 결합 모델링이 불가능합니다. 본 논문은 에고센트릭 RGB 비디오로부터 월드 공간의 완전한 양손 궤적을 직접 생성하는 최초의 파운데이션 모델인 MINT(Minting IN-the-Wild Trajectories)를 소개합니다. MINT는 하나의 공유된 시공간 비디오 표현으로부터 카메라 궤적, 카메라 프레임 기준 손 상태, 프레임별 손 존재 여부를 함께 예측하고, 이후 명시적인 좌표 변환을 통해 월드 공간의 손 동작을 생성합니다. 이러한 모델을 대규모로 학습하는 것은 월드 공간의 카메라와 손 어노테이션이 쌍으로 갖추어진 데이터가 드물기 때문에 어렵습니다. 이에 우리는 공개된 대규모 에고센트릭 비디오 컬렉션을 구조화된 카메라-손 궤적 지도(supervision)로 변환하는 오픈소스 레이블링 파이프라인 EGOPIPELINE을 개발했습니다. MINT는 먼저 이러한 대규모 의사 레이블(pseudo-label)로 사전학습(pre-training)한 뒤, 소규모의 고품질 결합 어노테이션 세트로 파인튜닝(fine-tuning)합니다. 공개 벤치마크 전반에서 MINT는 월드 공간 손 궤적 정확도에서 [xxx]의 향상, 카메라 궤적 추정에서 [xxx]의 향상을 달성하였으며, 레이블링 파이프라인 대비 종단 간(end-to-end) 궤적 생성 속도가 [xxx] 더 빠르고, 보지 못한 에고센트릭 데이터셋에도 제로샷(zero-shot)으로 일반화됩니다. 우리는 모델, 학습 및 추론 코드, 레이블링 파이프라인, 그리고 엄선된 1,021시간 분량의 에고센트릭 궤적 데이터셋을 공개합니다.
절차적 기억(procedural memory)을 통해 언어 에이전트(language agent)는 성공적인 루틴을 재사용할 수 있지만, 재사용은 저장된 루틴이 여전히 적용 가능하다는 가정을 전제로 합니다. 본 연구에서는 이러한 가정이 의도적으로 위배될 때 어떤 현상이 발생하는지 조사합니다. 본 연구는 BrowserGym TimeWarp의 사후적(retrospective) 인간 보조 인터페이스 적응 사례와 합성 쇼핑 결정에 대한 제어된 고정 기억(frozen-memory) 비교를 결합합니다. 문서화된 WebShop V1-V6 개발 과정에서 인터페이스 전용 코드는 적응되었으나 별도로 저장된 상위 수준 절차는 변경되지 않은 것으로 보고되었으며, 이 단계는 자율 메모리 에이전트 평가에 해당하지 않습니다. 제어된 단계의 초기 파일럿에서는 두 가지 메모리 조건이 더 비싼 항목을 선택한 반면 무기억(no-memory) 조건은 기준 최솟값을 선택한 단일 작업이 생성되었습니다. 후속 프로브에서는 반복적인 행 순서나 식별자 바인딩(identity-binding) 패턴이 확립되지 않았습니다. 이후 32개의 공식 셀(cell)에 걸쳐 변경된 수량, 다른 증거 표현, 로컬 및 글로벌 최적화(optimization) 간의 충돌, 분산된 프로모션 증거라는 네 가지 형태의 불일치를 테스트했습니다. 각 셀은 동일한 로컬 qwen3:8b 구성과 적응형 재시도 없이 1회의 temperature-0 생성을 사용했습니다. 이러한 쌍 전반에서 현재 작업의 증거가 명시적이고 충분할 때, 사전에 정의된 진단용 간섭 시그니처 중 어느 것도 해당 시그니처가 정의된 작업에 나타나지 않았습니다. 이 결과는 테스트된 비간섭 영역을 식별합니다. 즉, 절차적 기억이 불일치하더라도 행동적 교란을 일으키지 않을 수 있음을 보여줍니다. 이는 일반적인 안전성(safety)이나 메커니즘을 확립하지는 않습니다. 남아 있는 문제는 적용 가능성 불일치를 관찰 가능하며 메모리로 인해 발생하는 오류로 변환시키는 추가 조건이 무엇인가 하는 점입니다.
Particle picking in cryo-electron microscopy is commonly formulated as an object-detection problem in which individual particles are represented by bounding boxes, a natural representation for globular particles but a poor match for filaments that can extend across an entire micrograph. Existing methods reconstruct filament trajectories by linking local predictions in a separate post-processing stage, decoupling detection from instance formation and creating potential ambiguities at gaps and crossings. Directly preserving filament identity is particularly useful for polymorphic specimens, where segments originating from the same filament should remain associated. However, learning such instance-level representations is challenging because expert centerline annotations are scarce and costly to obtain. We introduce CryoTracer, a synthetic-to-real framework that addresses this limitation through procedural micrograph generation, transformer-based polyline prediction, and specimen-specific fine-tuning. Procedural pretraining exposes the model to diverse filament geometries, intersections, and imaging conditions before adaptation using a limited number of fully annotated experimental micrographs. CryoTracer represents filaments as ordered centerline polylines and optimizes their geometry using an orientation-invariant discrete Fréchet objective, enabling consistent learning regardless of tracing direction. Evaluation on established and newly expert-annotated datasets shows that CryoTracer improves instance-level filament recovery over existing particle-detection approaches. These results establish end-to-end polyline prediction as a practical alternative to detection-and-linking pipelines for recovering complete filament instances with limited micrograph annotation budgets. Code and data are available at https://github.com/cryotracer/cryotracer
Data collection for natural language (NL) understanding tasks has increasingly included human explanations alongside data points, allowing past works to introduce models that both perform a task and generate NL explanations for their outputs. Yet to date, model-generated explanations have been evaluated on the basis of surface-level similarities to human explanations, both through automatic metrics like BLEU and human evaluations. We argue that these evaluations are insufficient, since they fail to indicate whether explanations support actual model behavior (faithfulness), rather than simply match what a human would say (plausibility). In this work, we address the problem of evaluating explanations from the model simulatability perspective. Our contributions are as follows: (1) We introduce a leakage-adjusted simulatability (LAS) metric for evaluating NL explanations, which measures how well explanations help an observer predict a model's output, while controlling for how explanations can directly leak the output. We use a model as a proxy for a human observer, and validate this choice with two human subject experiments. (2) Using the CoS-E and e-SNLI datasets, we evaluate two existing generative graphical models and two new approaches; one rationalizing method we introduce achieves roughly human-level LAS scores. (3) Lastly, we frame explanation generation as a multi-agent game and optimize explanations for simulatability while penalizing label leakage, which can improve LAS scores. We provide code for the experiments in this paper at https://github.com/peterbhase/LAS-NL-Explanations
Compressed sensing based multiuser detection (CSMUD) is a promising candidate to cope with the massive connectivity requirements of the massive machine type communication (mMTC) in the fifth generation (5G) wireless communication system. It facilitates grant-free non-orthogonal code division multiple access (CDMA) to accommodate massive number of IoT devices. In non-orthogonal CDMA, the users are assigned with non-orthogonal sequences which serve as their signatures. However, the activity detection which is based on the correlation between the spreading sequences, degrades with increase in the number of users, especially in the lower SNR region. In this paper, to improve the performance of the CSMUD, we propose a sequence block based CSMUD, in which block of sequences is used as signature of the user instead of single sequence. A sequence block based group orthogonal matching pursuit algorithm is proposed to jointly detect the activity and data. The proposed scheme reduces the detection error rate (DER) by a magnitude of two at SNR = 10 dB in a system where the number of users are three times more than the number of available resources with each user having activity probability of 0.1. The DER of the proposed scheme is below 10^-2 even at activity probability of 0.16 for sequence length of 20 and overloading factor of 300%. Furthermore, at SNR = 10 dB, the DER of the proposed scheme outperforms the conventional scheme by a magnitude of one for a system with overloading factor of 500%.
Nowadays, shallow and deep Neural Networks (NNs) have vast applications including biomedical engineering, image processing, computer vision, and speech recognition. Many researchers have developed hardware accelerators including field-programmable gate arrays (FPGAs) for implementing high-performance and energy efficient NNs. Apparently, the hardware architecture design process is specific and time-consuming for each NN. Therefore, a systematic way to design, implement and optimize NNs is highly demanded. The paper presents a systematic approach to implement state-space models in register transfer level (RTL), with special interest for NN implementation. The proposed design flow is based on the iterative nature of state-space models and the analogy between state-space formulations and finite-state machines. The method can be used in linear/nonlinear and time-varying/time-invariant systems. It can also be used to implement either intrinsically iterative systems (widely used in various domains such as signal processing, numerical analysis, computer arithmetic, and control engineering), or systems that could be rewritten in equivalent iterative forms. The implementation of recurrent NNs such as long short-term memory (LSTM) NNs, which have intrinsic state-space forms, are another major applications for this framework. As a case study, it is shown that state-space systems can be used for the systematic implementation and optimization of NNs (as nonlinear and time-varying dynamic systems). An RTL code generating software is also provided online, which simplifies the automatic generation of NNs of arbitrary size.
Visual localization is of great importance in robotics and computer vision. Recently, scene coordinate regression based methods have shown good performance in visual localization in small static scenes. However, it still estimates camera poses from many inferior scene coordinates. To address this problem, we propose a novel visual localization framework that establishes 2D-to-3D correspondences between the query image and the 3D map with a series of learnable scene-specific landmarks. In the landmark generation stage, the 3D surfaces of the target scene are over-segmented into mosaic patches whose centers are regarded as the scene-specific landmarks. To robustly and accurately recover the scene-specific landmarks, we propose the Voting with Segmentation Network (VS-Net) to segment the pixels into different landmark patches with a segmentation branch and estimate the landmark locations within each patch with a landmark location voting branch. Since the number of landmarks in a scene may reach up to 5000, training a segmentation network with such a large number of classes is both computation and memory costly for the commonly used cross-entropy loss. We propose a novel prototype-based triplet loss with hard negative mining, which is able to train semantic segmentation networks with a large number of labels efficiently. Our proposed VS-Net is extensively tested on multiple public benchmarks and can outperform state-of-the-art visual localization methods. Code and models are available at \href{https://github.com/zju3dv/VS-Net}{https://github.com/zju3dv/VS-Net}.
The defocus deblurring raised from the finite aperture size and exposure time is an essential problem in the computational photography. It is very challenging because the blur kernel is spatially varying and difficult to estimate by traditional methods. Due to its great breakthrough in low-level tasks, convolutional neural networks (CNNs) have been introduced to the defocus deblurring problem and achieved significant progress. However, they apply the same kernel for different regions of the defocus blurred images, thus it is difficult to handle these nonuniform blurred images. To this end, this study designs a novel blur-aware multi-branch network (BaMBNet), in which different regions (with different blur amounts) should be treated differentially. In particular, we estimate the blur amounts of different regions by the internal geometric constraint of the DP data, which measures the defocus disparity between the left and right views. Based on the assumption that different image regions with different blur amounts have different deblurring difficulties, we leverage different networks with different capacities (\emph{i.e.} parameters) to process different image regions. Moreover, we introduce a meta-learning defocus mask generation algorithm to assign each pixel to a proper branch. In this way, we can expect to well maintain the information of the clear regions while recovering the missing details of the blurred regions. Both quantitative and qualitative experiments demonstrate that our BaMBNet outperforms the state-of-the-art methods. Source code will be available at https://github.com/junjun-jiang/BaMBNet.
Text erasure from an image is helpful for various tasks such as image editing and privacy preservation. In this paper, we present TPFNet, a novel one-stage (end-toend) network for text removal from images. Our network has two parts: feature synthesis and image generation. Since noise can be more effectively removed from low-resolution images, part 1 operates on low-resolution images. The output of part 1 is a low-resolution text-free image. Part 2 uses the features learned in part 1 to predict a high-resolution text-free image. In part 1, we use "pyramidal vision transformer" (PVT) as the encoder. Further, we use a novel multi-headed decoder that generates a high-pass filtered image and a segmentation map, in addition to a text-free image. The segmentation branch helps locate the text precisely, and the high-pass branch helps in learning the image structure. To precisely locate the text, TPFNet employs an adversarial loss that is conditional on the segmentation map rather than the input image. On Oxford, SCUT, and SCUT-EnsText datasets, our network outperforms recently proposed networks on nearly all the metrics. For example, on SCUT-EnsText dataset, TPFNet has a PSNR (higher is better) of 39.0 and text-detection precision (lower is better) of 21.1, compared to the best previous technique, which has a PSNR of 32.3 and precision of 53.2. The source code can be obtained from https://github.com/CandleLabAI/TPFNet
Vaccine hesitancy continues to be a main challenge for public health officials during the COVID-19 pandemic. As this hesitancy undermines vaccine campaigns, many researchers have sought to identify its root causes, finding that the increasing volume of anti-vaccine misinformation on social media platforms is a key element of this problem. We explored Twitter as a source of misleading content with the goal of extracting overlapping cultural and political beliefs that motivate the spread of vaccine misinformation. To do this, we have collected a data set of vaccine-related Tweets and annotated them with the help of a team of annotators with a background in communications and journalism. Ultimately we hope this can lead to effective and targeted public health communication strategies for reaching individuals with anti-vaccine beliefs. Moreover, this information helps with developing Machine Learning models to automatically detect vaccine misinformation posts and combat their negative impacts. In this paper, we present Vax-Culture, a novel Twitter COVID-19 dataset consisting of 6373 vaccine-related tweets accompanied by an extensive set of human-provided annotations including vaccine-hesitancy stance, indication of any misinformation in tweets, the entities criticized and supported in each tweet and the communicated message of each tweet. Moreover, we define five baseline tasks including four classification and one sequence generation tasks, and report the results of a set of recent transformer-based models for them. The dataset and code are publicly available at https://github.com/mrzarei5/Vax-Culture.