arXiv:2111.15309

Deep Auto-encoder with Neural Response

Xuming Ran, Jie Zhang, Ziyuan Ye, Haiyan Wu, Qi Xu, Huihui Zhou, Quanying Liu

제출 2021-11-30

원문 초록

Artificial neural network (ANN) is a versatile tool to study the neural representation in the ventral visual stream, and the knowledge in neuroscience in return inspires ANN models to improve performance in the task. However, it is still unclear how to merge these two directions into a unified framework. In this study, we propose an integrated framework called Deep Autoencoder with Neural Response (DAE-NR), which incorporates information from ANN and the visual cortex to achieve better image reconstruction performance and higher neural representation similarity between biological and artificial neurons. The same visual stimuli (i.e., natural images) are input to both the mice brain and DAE-NR. The encoder of DAE-NR jointly learns the dependencies from neural spike encoding and image reconstruction. For the neural spike encoding task, the features derived from a specific hidden layer of the encoder are transformed by a mapping function to predict the ground-truth neural response under the constraint of image reconstruction. Simultaneously, for the image reconstruction task, the latent representation obtained by the encoder is assigned to a decoder to restore the original image under the guidance of neural information. In DAE-NR, the learning process of encoder, mapping function and decoder are all implicitly constrained by these two tasks. Our experiments demonstrate that if and only if with the joint learning, DAE-NRs can improve the performance of visual image reconstruction and increase the representation similarity between biological neurons and artificial neurons. The DAE-NR offers a new perspective on the integration of computer vision and neuroscience.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.11004v1physics.plasm-ph공통 태그 Image Reconstruction, Decoder

운영 영역 전반에 걸친 다중 스케일 플라즈마 동역학 재구성

Reconstruction of Multiscale Plasma Dynamics Across Operating Regimes

적은 수의 센서로부터 공간적으로 분해된 플라즈마 동역학을 재구성하는 것은 진단, 축소 모델링(reduced-order modelling) 및 제어에 필수적이지만, 희소한 측정값이 다중 스케일이면서 영역에 의존적인 자유도를 불완전하게 제약하기 때문에 여전히 어려운 과제로 남아 있다. Shallow Recurrent Decoder(SHRED)는 측정 이력(measurement history)을 활용하여 공간적 희소성(sparsity) 문제를 부분적으로 해결하지만, 완전 연결(fully connected) 디코더는 스케일 전반에 걸친 공간 구조를 해석하거나 명시적인 매개변수(parameter) 의존성을 다루는 명시적 메커니즘을 제공하지 않는다. 본 연구에서는 Recurrent Multiscale Affine-modulated Inference Network(ReMAIN)를 제안한다. 이는 SHRED의 순환적(recurrent) 시간 인코딩을 유지하면서도, 디코더를 U-Net으로 대체하여 특징(feature) 계층 구조가 특징별 선형 변조(feature-wise linear modulation)를 통해 순환 상태(recurrent state)에 의해 조건화되도록 한다. 시간적 표현(temporal representation)은 U-Net 전반에 걸쳐 조밀한 사전 정보(dense prior)와 스케일별 변조를 동시에 제공한다. 매개변수적 확장(parametric extension)은 운영 조건과 센서 이력을 함께 임베딩하여, 지배 동역학이 운영 영역(operating regime)에 따라 변화할 때 재구성이 이에 적응할 수 있도록 한다. ReMAIN은 먼저 다양한 동역학을 대표하는 6개의 1차원 비선형 편미분방정식(PDE)에 대해 SHRED와 벤치마크(benchmark) 비교된다. 모든 벤치마크에서 ReMAIN은 미학습(unseen) 궤적에 대한 재구성 오차를 줄이고, 급격한 전환(sharp transition), 국소 극값(localized extrema), 미세 스케일 변화를 더 충실하게 해석한다. 이후 매개변수 조건화 모델(parameter-conditioned model)은 수직 축방향 전기장과 반경 방향 자기장을 받는 무충돌(collisionless) E × B 플라즈마에 대해 시연되며, 이때 전기장 강도가 운영 매개변수(operating parameter) 역할을 한다. ReMAIN은 고차원의 다중 스케일 플라즈마 상태를 재구성하며, 학습(training)에서 제외된 전기장 강도에서도 영역에 의존적인 시공간적 동역학을 복원한다. 종합적으로, ReMAIN은 희소 센서 기반의 전체 상태 재구성을 개선하며, 매개변수 조건화를 통해 플라즈마 운영 영역 전반에 걸쳐 일반화된다.

arXiv:2609.03641v2cs.CV공통 태그 Image Reconstruction, Decoder

Tree-VQ: 사전학습된 벡터 양자화기 기반 점진적 이미지 압축

Tree-VQ: Progressive Image Compression from Pretrained Vector Quantizers

점진적 이미지 압축(progressive image compression)은 수신된 접두 문맥(prefix)을 원본 소스의 재인코딩 없이 디코딩할 수 있는 단일 임베디드 표현을 필요로 한다. 최신 벡터 양자화(vector-quantized, VQ) 이미지 모델은 강력한 이산 종단점 표현을 제공하지만, 기존의 평면적인 코드워드 인덱스는 신경망 디코더에 의미 있는 중간 상태를 정의하지 못한다. 우리는 Tree-VQ를 제안한다. 이는 사전학습된 평면 VQ 토크나이저를, 인코더 할당과 학습된 모든 리프 벡터를 보존하면서, 세밀하고 임의 접두 문맥(arbitrary-prefix) 기반의 점진적 표현으로 사후 변환(post-hoc conversion)하는 방법이다. 핵심 아이디어는 원본 코드북을 균형 이진 계층 구조로 조직화하고, 내부 노드에 명시적 표현을 연결하며, 분기 결정을 깊이 우선(depth-major) 순서로 전송하는 것이다. 그 결과 이미지 헤더가 확보된 이후에는 모든 페이로드 접두 문맥이 유효한 잠재 상태를 고유하게 지정하게 된다. 즉, 추가되는 분기 비트 하나마다 정확히 하나의 토큰(token)이 정제되며, 따라서 전송은 소수의 단계 경계에서만이 아니라 사실상 임의의 페이로드 위치에서도 절단될 수 있다. 더 나아가 우리는 이러한 임의 절단에서 나타나는 전체 깊이 및 혼합 깊이 잠재 상태에 대해 하나의 공유 디코더를 적응시킴으로써, 이렇게 촘촘하게 배치된 접두 문맥들이 단순히 구문적으로 디코딩 가능할 뿐 아니라 재구성에도 실질적으로 유용하도록 만든다. Kodak 데이터셋에서 Tree-VQ는 ProGIC 대비 DISTS 기반 BD-rate 52.1% 절감을 달성하는 동시에, 단일 임베디드 비트스트림으로부터 수천 개의 유효한 임의 접두 문맥 동작점(operating point)을 제공한다.

arXiv:2609.24088v2cs.CV공통 태그 Image Reconstruction, Decoder

잠재 생성 모델의 평가 및 개선을 위한 잠재 분포 관점

A Latent Distribution Perspective on Evaluating and Improving Latent Generative Models

잠재 생성 모델(latent generative models)에서는 일반적으로 재구성 품질이 생성 성능과 상관관계가 있다고 가정합니다. 그러나 재구성 FID(rFID)는 생성 FID(gFID)와 약한 상관관계를 보이거나 심지어 음의 상관관계를 나타내기도 합니다. 본 연구에서는 이러한 불일치가 잠재 분포 불일치(latent distribution mismatch)에서 기인한다고 봅니다. 즉, 재구성은 인코더가 유도한 잠재 공간에서 디코더를 평가하는 반면, 생성은 생성 모델이 만든 잠재 변수 상에서 동일한 디코더를 사용하기 때문입니다. 이러한 분포 변화를 규명하기 위해, 인코더 잠재 변수에 노이즈를 더해 섭동을 주고 디코딩 전에 생성 모델을 통해 노이즈를 제거함으로써 표준 재구성에서 생성으로 이어지는 연속적인 궤적을 구축하는 생성 인지 재구성(generation-aware reconstruction, GAR)을 제안합니다. GAR은 이 궤적을 따라 디코더의 동작을 탐색하여 인코더 분포에서 생성 시점의 잠재 분포로 전환되는 과정을 관찰하고 진단할 수 있게 합니다. 그 결과 도출된 궤적 기반 진단 지표인 GAR-FID는 다양한 토크나이저와 스케일 전반에서 gFID와 강력한 실증적 상관관계를 보여줍니다. 중요한 점은, 중간 단계의 GAR 잠재 변수가 원본 이미지와의 대응 관계를 보존하면서도 생성 과정을 더 잘 인지하게 되며, 이를 통해 완전 생성된 잠재 변수에는 부재한 쌍(paired) 지도 학습 신호를 유지한다는 것입니다. 이러한 대응 관계 덕분에 중간 GAR 잠재 변수 상에서 디코더 적응(adaptation)이 가능해져, 모델 스케일 전반에서 생성 품질이 일관되게 향상됩니다. 종합적으로, 잠재 분포 불일치는 잠재 생성 모델을 평가하고 개선하기 위한 유용한 관점을 제공합니다.

arXiv:2609.27729v1q-bio.NC공통 태그 Image Reconstruction, Decoder

인지-정서 신경조절 표적의 in silico 설계를 위한 AI 기반 신경 대리 모델

AI-Driven Neural Surrogates for In Silico Design of Cognitive-Affective Neuromodulation Targets

신경정신의학에서 1차 목표는 종종 뇌 활동을 해독하는 것에 그치지 않고, 예를 들어 부정적 정서 바이어스나 과도하게 두드러진 기억을 줄이는 것처럼 그 활동을 바꾸는 데 있다. 제어 이론(control theory)에 동기를 얻어, 우리는 후보 표상 변화를 제안하고 물리적 자극 없이 자극 유발 fMRI 활동의 스냅샷으로부터 그 예측된 지각 효과를 검증하는 AI 기반 신경-대리( neural-surrogate) 프레임워크를 개발한다. 이 프레임워크는 fMRI 디코딩, 심층 생성 모델링, 제약 잠재공간(latent-space) 조향(steering)을 결합한다. Valence와 memorability는 작업 예시로만 사용된다. 네 명의 깊이 샘플링된 Natural Scenes Dataset 참가자로부터 36,000건 이상의 이미지-fMRI 관측을 사용하여, 피험자별 모델은 시각 반응 피질에서 거친 생성 구조를 복원했다(양방향 동일시, 0.79–0.88; 우연, 0.5). 단계적 perturbation은 이미지로 재구성되었고, 18명 참가자의 7,200시행에 대한 자동 채점기와 인간 평가로 평가되었다. 주 VDVAE 모델에서 valence는 -0.61에서 +1.03 SD로, memorability는 -1.34에서 +1.45 SD로 이동했으며, 이후 Versatile Diffusion 정제(refinement)는 이러한 효과를 줄이거나 바꾸었다. 다섯 perturbation 수준에 걸쳐, 인간 valence 평점은 선형 시간 보정 모델에서 예측 방향으로 이동했다(평균 기울기, alpha 단위당 0.038 SD; 95% CI, 0.003–0.074; 18명 중 16명에서 양의 방향). 지각된 memorability는 신뢰할 만하게 변하지 않았다. 자동 평가자와의 기준선 일치는 valence에서 시사적(r = 0.30)이었고 memorability에서는 약했다(r = 0.10). 극단적 perturbation은 원래 자극에서 drift했으므로, 의도한 변화는 충실도(fidelity) 손실과 함께 저울질되어야 한다. 이러한 결과는 정신의학에서 미래 신경조절을 위한 후보 표상 표적을 설계하고 행동적으로 검증할 수 있는 반증 가능한 upstream 방법을 제공하면서, 현재 정적 근사의 한계를 표시한다.

arXiv:2607.22704v1cs.CV공통 태그 Image Reconstruction, Decoder

토카막 디버터에서 중성 입자 방출 단층촬영의 가시광선 영상 진단: 효율적인 트랜스포머 기반 대리 모델

Visible-Light Imaging Diagnosis of Neutral Particle Emission Tomography in the Tokamak Divertor: An Efficient Transformer-based Surrogate Model

최근 핵융합은 상당한 진전을 이루었으며, 글로벌 에너지 과제를 해결하는 가장 중요한 경로 중 하나가 될 것으로 기대된다. 본 논문은 가시광선 카메라를 이용해 플라즈마를 관측하고, 시공간적 운동 단서를 분석하며, 광 강도의 2차원 공간 분포를 예측하는 데 초점을 맞춘다. 이는 심층 신경망을 활용한 향후 과학 실험을 위한 기초 토대를 제공하는 것을 목표로 한다. 구체적으로, 우리는 미분 트랜스포머를 중심으로 한 새로운 백본 네트워크인 Delta-InvFormer를 제안한다. 핵심 통찰은 연속적인 비디오 프레임을 입력으로 사용하면 플라즈마의 역학을 더 잘 포착할 수 있다는 것이다. 또한 공간 및 시간 미분 셀프 어텐션(self-attention)은 노이즈 신호의 간섭을 효과적으로 완화하여 고품질 특징 추출을 보장한다. 이러한 특징은 이후 압축적이고 정보가 풍부한 표현으로 융합되며, 디코더 네트워크에 입력되어 분포를 예측한다. 대규모 과학 시설인 실험용 고온 초전도 토카막(Experimental Advanced Superconducting Tokamak, EAST)에서 수집한 실제 실험 데이터를 바탕으로, 제안된 모델이 분포 예측을 위한 전통적 방법을 상당히 가속할 뿐만 아니라 경쟁력 있는 재구성 정확도를 달성함을 보여준다. 본 논문의 소스 코드는 https://github.com/Event-AHU/OpenFusion 에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.