이미지 분류에서의 암기: 테스트셋 동작과 스케일링 법칙
Memorization in image classification: test set behavior and scaling laws
한국어 초록
심층 신경망(deep neural network)은 자연스러운 태스크(task)에 대해 일반화하는 해(solution)를 학습할 수도 있고, 임의의 매핑(mapping)을 암기할 수도 있다. 우리는 전자를 이해하기 위해서는 상대적으로 훨씬 덜 연구된 후자를 이해하는 것이 필요하다고 주장한다. 일반화하는 네트워크와 암기하는 네트워크는 그 행동이나 학습 동역학(training dynamics)에서 어떤 방식으로 다른가? 암기하는 네트워크는 단순히 입력-출력 매핑이 독립적으로 저장되는 룩업 테이블(lookup table)처럼 동작하는가? 우리는 무작위화된 레이블(label) 또는 픽셀(pixel)로 이미지 분류 태스크를 학습한 CNN을 대상으로 이러한 질문들을 조사한다. 먼저 이러한 암기 네트워크가 보지 않은 이미지에 대해 어떻게 동작하는지를 연구한다. 우리는 동일한 무작위 레이블로 학습되었더라도 독립적으로 초기화된 네트워크들은 서로 다른 예측 함수를 학습한다는 것을 발견했다: 이들은 일반화하는 네트워크와 달리 테스트 예제에 대해 서로 다른 예측을 한다. 다음으로 우리는 학습 데이터셋을 보간(interpolate)하는 데 필요한 네트워크 용량(capacity)과 학습 시간을 통해, 데이터셋 크기가 암기에 미치는 영향을 살펴본다. 직관과 반대로, 우리는 입력-출력 쌍이 공통된 구조를 전혀 공유하지 않는 경우에도, 주어진 예제를 완전히 암기하는 데 필요한 제시 횟수(number of presentations)가 데이터셋 크기가 커질수록 오히려 감소할 수 있음을 발견했다. 암기하는 네트워크는 보편적인 해를 학습하지는 않지만, 그 기저 메커니즘에 대한 추가 연구를 요구하는 흥미로운 행동들을 보인다.
원문 초록
Deep neural networks are capable of both learning generalizing solutions on natural tasks and memorizing arbitrary mappings. We argue that understanding the former requires understanding the latter, which is much less studied. In what ways do networks that generalize or memorize differ in their behavior or their training dynamics? Do memorizing networks simply function as a lookup table where input-output mappings are stored independently? We investigate these questions in the context of CNNs trained on image classification tasks with randomized labels or pixels. We first study the behavior of such memorizing networks on unseen images. We find that independently initialized networks trained on the same random labels learn different predictive functions: they make different predictions on test examples, in contrast with generalizing networks. We then examine the effect of dataset size on memorization through the required network capacity and training time to interpolate the training set. Counter-intuitively, we find that the number of presentations of a given example required for complete memorization can decrease with dataset size even when input-output pairs share no common structure. Although memorizing networks do not learn a universal solution, they exhibit interesting behaviors which call for further investigations into the underlying mechanisms.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
11 Pages, 4 figures, Accepted at the NeurIPS 2026 Workshop on Neural Network Artifacts as a New Data Modality