arXiv:2605.28693 q-bio.NC

Misalignment Between Backpropagation and the Hierarchy of Brain Responses to Images

제출 2026-05-27

한국어 초록

역전파는 딥러닝의 핵심 학습 메커니즘이다. 그러나 이 알고리즘이 뇌에서 실제로 구현되는지, 그리고 어떻게 구현되는지에 대해서는 많은 논쟁이 있다. 특히, 사전학습된 모델의 순전파 활성화는 시각 처리의 피질 계층구조에 신뢰할 수 있게 대응되지만, 역전파된 그래디언트도 유사한 대응을 나타내는지는 알려져 있지 않다. 본 연구에서는 기능적 자기공명영상(fMRI)과 뇌자도(MEG) 기록을 이용하여 자연 이미지에 대한 인간의 뇌 반응을 분석함으로써 이 질문을 다룬다. 이를 위해 순전파 활성화의 표준 인코딩 분석을 확장하여 역전파된 그래디언트를 신경 데이터에 대응시킨다. 최근의 자기지도 학습 비전 모델(DINOv3)에 초점을 맞춰 8개의 비전 모델에서 결과를 재현한 결과, 역전파된 그래디언트는 특히 상위 수준 시각 피질과 후기 잠재기에서 fMRI 및 MEG 신호를 신뢰할 수 있게 예측할 수 있음을 발견했다. 그러나 뇌에서 나타나는 역전파된 그래디언트의 공간 및 시간적 조직은 생물학적으로 타당한 역전파 메커니즘 하에서 예상되는 패턴과 다르다: 특히, 그래디언트가 계산되는 순서와 공간적 조직 모두 인간 뇌의 시간적 및 공간적 계층구조와 다르다. 이러한 결과들은 딥 네트워크와 뇌가 유사한 표현 내용을 공유할 수 있지만, 이러한 표현을 학습하기 위해 근본적으로 다른 메커니즘에 의존할 가능성이 높음을 시사한다.

요약

역전파는 심층 신경망의 핵심 학습 메커니즘이지만, 인간 뇌가 이 알고리즘을 실제로 구현하는지 여부는 신경과학과 인공지능 분야에서 오랫동안 미해결된 질문으로 남아 있었습니다. 흥미롭게도, 사전학습된 신경망의 순방향 활성화는 시각 피질의 계층 구조와 매우 잘 일치하여, 인공신경망과 생물학적 신경망이 유사한 표현 구조를 공유할 가능성을 시사해왔습니다. 그러나 학습 과정의 핵심인 역전파된 그래디언트가 뇌의 신경 활동과 어떤 관계를 가지는지, 그리고 이것이 뇌의 생물학적 계층 구조와 정렬되는지는 직접적으로 검증된 바 없었습니다. 본 연구는 자연 이미지에 대한 인간의 뇌 반응을 기능성 자기공명영상(fMRI)과 뇌자도(MEG)로 기록하고, 최첨단 자기지도 학습 비전 모델인 DINOv3를 포함한 8개의 비전 모델의 역전파된 그래디언트를 이 신경 데이터에 선형적으로 매핑하는 표준 인코딩 분석 방식을 도입하여 이 질문에 답하고자 했습니다. 연구 결과, 역전파된 그래디언트는 특히 고수준 시각 피질과 더 늦은 시간 지연에서 fMRI와 MEG 신호를 신뢰할 수 있게 예측할 수 있음이 발견되었으며, 순방향 활성화만으로는 설명되지 않는 뇌 활동의 추가 분산을 설명했습니다. 그러나 이러한 역전파된 그래디언트의 시간적 및 공간적 조직은 생물학적으로 타당한 역전파 메커니즘에서 예상되는 위에서 아래로의 계층적 구조와 일치하지 않았습니다. 즉, 순방향 활성화에서 관찰된 것처럼 낮은 수준의 시각 피질에서 높은 수준으로 진행되는 계층적 진행이 역전파된 신호에서는 나타나지 않았습니다. 이러한 발견은 심층 신경망과 인간 뇌가 유사한 표현 콘텐츠를 공유할 수 있지만, 이러한 표현을 학습하기 위해 근본적으로 다른 메커니즘을 사용할 가능성을 강력히 시사합니다. 따라서 본 연구는 표현 유사성과 학습 알고리즘의 차이에 대한 명확한 실증적 증거를 제공함으로써, 뇌의 생물학적으로 타당한 학습 규칙을 규명하고 이를 더욱 효율적이고 지속 가능한 인공지능 시스템 개발에 활용할 수 있는 새로운 연구 방향을 열어줍니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.