Enhanced Signal Recovery via Sparsity Inducing Image Priors
원문 초록
Parsimony in signal representation is a topic of active research. Sparse signal processing and representation is the outcome of this line of research which has many applications in information processing and has shown significant improvement in real-world applications such as recovery, classification, clustering, super resolution, etc. This vast influence of sparse signal processing in real-world problems raises a significant need in developing novel sparse signal representation algorithms to obtain more robust systems. In such algorithms, a few open challenges remain in (a) efficiently posing sparsity on signals that can capture the structure of underlying signal and (b) the design of tractable algorithms that can recover signals under aforementioned sparse models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공간 유전자 지도화를 통한 단일세포 생물학을 위한 비전 기반 모델
A vision foundation model for single-cell biology via spatial gene cartography
대부분의 단일세포 기반 모델은 언어 모델에서 파생되어 각 세포를 유전자 토큰의 시퀀스로 표현한다. 이는 유전자 간 관계와 종종 그 발현 크기를 버린다. 우리는 scVision을 제안한다. 이는 대신 각 세포를 연속 이미지로 렌더링하는 비전 기반 모델이다. 최적 수송(optimal transport)을 사용해 공발현 유전자가 공간적으로 이웃하도록 단일 공유·전조직(pan-tissue) 레이아웃의 고정 위치에 유전자를 배치하고, 전사체(transcriptome)를 유전자 프로그램이 국소 텍스처로 나타나는 이미지로 바꾼다. 7,200만 개의 인간 세포에 대해 마스크드 이미지 모델링(masked image modelling)으로 비전 트랜스포머를 사전학습하고, 미세조정 없이 고정된 인코더를 사용한다. 6개의 독립적 보류(hold-out) 연구에 대한 제로샷 평가에서 scVision은 가장 정확한 세포 유형 주석기이며, 감독 없이 유전자 프로그램을 복원해 기존 기반 모델과 고전적 베이스라인보다 앞선다. 다중 연구 통합에서는 배치 레이블을 한 번도 보지 않았음에도 가장 강력한 토큰 기반 모델과 맞먹는 성능을 내면서 가장 많은 생물학적 구조를 보존한다. 네트워크를 고정한 채 유전자 레이아웃을 치환하면 비전 트랜스포머 자체를 제거하는 것보다 정확도가 더 크게 떨어져, 신호를 담는 것은 네트워크가 아니라 생물학적으로 의미 있는 위치임을 보여준다. 발현 크기와 유전자 관계를 보존함으로써 scVision은 단일세포 표현 학습을 비전 문제로 재구성하여, 이를 컴퓨터 비전(CV)의 성숙한 방법들과 연결한다.
CUST: 경량 이미지 초해상도를 위한 클러스터링 기반 유닛 수준 유사도 트랜스포머
CUST: Clustered Unit-level Similarity Transformer for Lightweight Image Super-Resolution
최근 비전 트랜스포머(ViT) 기반 모델들은 이미지 초해상도(super-resolution)에서 뛰어난 성능을 보여주고 있다. 그러나 ViT의 공간 해상도에 대한 이차적(quadratic) 연산 복잡도는 효율성을 심각하게 제한하여 높은 지연 시간과 대규모 메모리 소비를 유발한다. 이를 완화하기 위해 다양한 윈도우 기반 어텐션 메커니즘이 제안되었지만, 이러한 방식들은 ViT의 핵심 장점인 장거리 의존성(long-range dependency) 모델링을 본질적으로 저해한다. 이러한 한계를 극복하기 위해, 우리는 전역 및 지역 정보를 효율적으로 통합하는 새로운 아키텍처인 클러스터링 기반 유닛 수준 유사도 트랜스포머(CUST, Clustered Unit-level Similarity Transformer)를 제안한다. 구체적으로, CUST는 각 패치가 지역 윈도우 외부의 확장된 영역 범위 내에서 유사한 패치들을 집계하고 어텐션을 수행할 수 있도록 함으로써 광범위한 문맥 이해를 가능하게 한다. 또한, 지역 의존성을 포착하기 위해 겹치는 어텐션 윈도우를 적용하는 동시에, 원본 특징과 다운샘플링-업샘플링된 대응 특징 간의 잔차 차이를 계산하여 고주파 세부 정보를 명시적으로 추출한다. 포괄적인 실험을 통해 제안된 모델이 연산 효율성과 복원 성능 간의 실용적인 균형을 달성함을 검증한다. 현실적인 제약 조건 하에서 최근의 전역 문맥 모델 또는 경량 모델과 비교하여 더 낮은 메모리 사용량과 더 빠른 추론 속도를 달성한다. 코드는 https://github.com/jwgdmkj/CUST 에서 공개되어 있다.
CNTK: Microsoft's Open-Source Deep-Learning Toolkit
GraRep: Learning Graph Representations with Global Structural Information
Chainer: a Next-Generation Open Source Framework for Deep Learning
Solving non-uniqueness in agglomerative hierarchical clustering using multidendrograms
토론
이 논문과 연결된 포럼 글이 아직 없습니다.