PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26940v1cs.NE

감각 정렬 수용영역의 계산적 가치는 신경 세포 표현력에 의존한다

The Computational Value of Sensory-Aligned Receptive Fields Depends on Neuronal Expressivity

생물학적 감각 신경세포는 주파수, 운동 방향, 망막 위치와 같은 유의미한 자극 좌표를 따라 조직화된 선택적 수용영역(receptive field)을 갖습니다. 단순 신경세포에 대한 계산 연구들이 여러 모달리티(modality)에 걸쳐 보여주었듯이, 이러한 구조는 효율적 부호화(efficient coding)와 활동, 연결성 및 배선에 대한 생물학적 제약 조건에서 비롯되었을 수 있습니다. 이는 다음과 같은 질문을 제기합니다. 구조화된 수용영역이 자원 효율성 자체를 넘어 계산적 이점을 제공하는가, 그리고 개별 신경세포의 표현력이 매우 높을 때도 이 이점이 유지되는가? 우리는 신경세포의 복잡도와 피드포워드(feed-forward) 수용영역의 구성을 독립적으로 변경할 수 있는 Expressive Leaky Memory 신경세포의 순환 신경망에서 이 질문을 다룹니다. 청각 및 이벤트 기반 시각 분류(classification) 태스크 전반에 걸쳐, 태스크 관련 감각 좌표와 정렬된 수용영역은 예산이 일치된(budget-matched) 무작위 수용영역에 비해 테스트 정확도를 향상시킵니다. 이러한 이점은 감각 좌표가 뒤섞이거나 수용영역이 태스크와 무관한 좌표를 따를 때 사라지며, 이는 그 이점이 제한된 연결성 자체보다는 태스크 기하학(task geometry)과의 정렬에서 비롯됨을 보여줍니다. 신경세포 복잡도가 증가하면 구조화된 수용영역의 성능상 이점이 감소합니다. 마지막으로, 일반적인 시냅스 희소성(sparsity) 정규화(regularization)는 입력 선택성을 유도하고 성능을 부분적으로 회복하지만, 명시적으로 구조화된 수용영역보다는 실질적으로 낮은 수준에 머물러 있어, 희소성만으로는 태스크 정렬 수용영역의 완전한 계산적 이점을 회복하기에 불충분함을 시사합니다. 종합하면, 우리의 결과는 적절한 수용영역이 희소성 자체를 넘어선 계산적 사전 분포(computational prior) 역할을 할 수 있으며, 그 가치는 개별 신경세포의 계산적 표현력에 따라 달라짐을 보여줍니다.

arXiv:2603.01568v2cs.LG

동일한 압축 원리, 다른 기하: 속도-왜곡 시그니처가 생물학적·인공 시각 시스템을 구분한다

Same Compression Principle, Different Geometry: Rate-Distortion Signatures Dissociate Biological and Artificial Visual Systems

효율적 코딩 이론은 생물학적 지각 시스템이 자원 제약 하에서 감각 입력을 최적으로 압축하며, 오류의 체계적 구조가 해당 압축의 기하를 반영한다고 예측한다. 여기서 우리는 속도-왜곡 이론(RDT)을 사용하여 이 원리를 실증적으로 적용하고, 생물학적 시스템이든 인공 시스템이든 표현 충실도와 정보 효율성 사이를 어떻게 교환하는지 특성화한다. 자극-반응 행동을 유효한 통신 채널로 취급하여, 혼동 행렬로부터 직접 속도-왜곡(RD) 프론티어를 추론하고, 각 시스템을 세 가지 기하 시그니처로 요약한다: 기울기(beta), 곡률(kappa), RD 곡선 아래 면적(AUC)으로, 각각 정확도-압축 트레이드오프의 한계 비용, 급격함, 전체 효율성을 포착한다. 이 프레임워크를 인간의 심리물리학 데이터와 12가지 계열의 통제된 이미지 교란을 단계적 심각도로 적용한 18개 딥 비전 모델에 적용한 결과, 생물학적 시스템과 인공 시스템 모두 공통의 손실 압축 원리를 따르지만 RD 공간의 체계적으로 다른 영역을 차지함을 발견한다. 인간은 준최적 효율적 코딩의 특징인 매끄럽고 유연한 트레이드오프를 보이는 반면, 딥 네트워크는 동일한 정확도에서도 더 가파르고 취약한 영역에서 작동하며, 기하는 학습 체제에 걸쳐 성능과 분리 가능하다. 중요한 것은, 행동적 RD 시그니처가 내부 표현 기하를 추적하며, 행동으로 추론된 압축 구조가 모든 모델에서 내부 표현 불유사성과 상관관계를 보임으로써 이를 입증한다. 이 결과는 RD 기하를 지각 압축 전략의 간결한 진단 도구로 정립하며, 행동 입력만으로 내부 표현의 기계론적으로 해석 가능한 구조를 복원하고 신경 집단 활동에서 압축 기하를 직접 특성화하는 것으로 자연스럽게 확장된다.