PyTorchKR Papers

업데이트된 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.11581v2cs.CV공식 코드 · Papers with Code

딥러닝의 표현 낙관론에 대한 의문 제기: 파편화된 얽힘 표현 가설

Questioning Representational Optimism in Deep Learning: The Fractured Entangled Representation Hypothesis

현대 AI를 둘러싼 흥분의 상당 부분은 기존 시스템을 확장하면 더 나은 성능으로 이어진다는 관찰에서 비롯된다. 그러나 더 나은 성능이 반드시 더 나은 내부 표현을 의미하는가? 표현 낙관론자는 그래야 한다고 가정하지만, 이 입장 논문은 그러한 견해에 이의를 제기한다. 우리는 단일 이미지를 생성하는 단순한 과제에서, 개방형 탐색 과정을 통해 진화시킨 신경망과 통상적인 확률적 경사 하강법(SGD)으로 학습한 신경망을 비교한다. 이 최소한의 설정은 고유한 이점을 제공한다. 각 은닉 뉴런의 전체 기능적 동작을 이미지로 쉽게 시각화할 수 있어, 네트워크의 출력 동작이 뉴런 단위로 내부에서 어떻게 구성되는지 드러나기 때문이다. 결과는 놀랍다. 두 네트워크가 동일한 출력 동작을 생성함에도 내부 표현은 극적으로 다르다. SGD로 학습된 네트워크는 우리가 파편화된 얽힘 표현(FER)이라 부르는 일종의 비조직화를 보인다. 흥미롭게도 진화된 네트워크는 대체로 FER이 없으며, 통합된 분해 표현(UFR)에 근접하기까지 한다. 대규모 모델에서 FER은 일반화, 창의성, (지속적) 학습과 같은 핵심 모델 능력을 저하시키고 있을 수 있다. 따라서 FER을 이해하고 완화하는 것이 표현 학습의 미래에 중요할 수 있다.