The Tunnel Effect: Building Data Representations in Deep Neural Networks
원문 초록
Deep neural networks are widely known for their remarkable effectiveness across various tasks, with the consensus that deeper networks implicitly learn more complex data representations. This paper shows that sufficiently deep networks trained for supervised image classification split into two distinct parts that contribute to the resulting data representations differently. The initial layers create linearly-separable representations, while the subsequent layers, which we refer to as \textit{the tunnel}, compress these representations and have a minimal impact on the overall performance. We explore the tunnel's behavior through comprehensive empirical studies, highlighting that it emerges early in the training process. Its depth depends on the relation between the network's capacity and task complexity. Furthermore, we show that the tunnel degrades out-of-distribution generalization and discuss its implications for continual learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Cross-Modal Alternating Learning with Task-Aware Representations for Continual Learning
Class incremental learning for video action classification
캡션 병목 모델
Caption Bottleneck Models
개념 병목 모델(CBM)은 예측을 인간이 이해할 수 있는 개념 층을 통해 라우팅함으로써 해석 가능성을 제공합니다. 그러나 특정 데이터셋에 대한 최적 개념 집합을 정의하는 것은 여전히 미해결 과제입니다. 기존 접근법은 값비싼 전문가 주석이나 클래스 이름만을 기반으로 LLM이 생성한 목록에 의존합니다. 심지어 "개방형 어휘" 변형조차도 일반적으로 정적 개념 집합에 의존하며, 이는 발견을 제한하고 레이블 바이어스를 초래합니다. 또한 기존 CBM은 모델링되지 않은 시각적 특징이 병목을 우회하여 설명의 무결성을 훼손하는 정보 누수 문제를 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 캡션 병목 모델(CaBM)을 제안합니다. CaBM은 엄격한 개념 층을 자유형 자연어로 대체하여 사전 정의된 개념 집합의 필요성을 우회하는 프레임워크입니다. LMM이 생성한 캡션으로 이미지를 표현하고 이 텍스트만으로 분류기를 학습함으로써, CaBM은 설계상 누수 없는 아키텍처를 보장합니다. 더불어 학습 후 텍스트 분류기를 분석함으로써 CaBM은 고품질의 데이터셋 특화 개념을 자율적으로 발견합니다. 세밀 및 조대 벤치마크에 걸친 결과는 CaBM이 외부 사전이나 수동 레이블링의 제약 없이 해석 가능성을 유지하면서 경쟁력 있는 정확도를 달성함을 보여줍니다.
MSA-DCNN: 의료 이미지 분류를 위한 데이터 효율적 다중 스케일 변형 가능 CNN
MSA-DCNN: A Data-Efficient Multi-Scale Attention Deformable CNN for Medical Image Classification
기존 심층 학습(deep learning) 방법들은 의료 이미지 분류(image classification)에서 우수한 성능을 보이지만, 고정된 샘플링과 대규모 데이터를 요구하는 학습 방식으로 인해 다중 스케일 형태학 및 제한된 어노테이션 문제에 어려움을 겪는다. 기존 접근법들은 이러한 과제들을 개별적으로 해결한다: DCN 기반 모델은 적응적 샘플링을 제공하지만 명시적인 다중 스케일 어텐션(attention) 융합과 레이블 효율적 정규화가 부족하며, 다중 스케일 아키텍처는 일반적으로 정적 융합에 의존하고, 반지도 학습(semi-supervised) 방법은 적응적 스케일 간 표현을 공동으로 모델링하지 않은 채 레이블 부족 문제만을 다룬다. 우리는 MSA-DCNN을 제안한다. 이는 통합된 최적화 방식 내에서 적응적 다중 스케일 샘플링, 스케일 내 현저성 정제(within-scale saliency refinement), 학습된 스케일 간 융합, 보조적 자기 지식 증류(self-distillation)를 도입하는 스케일 일관적 변형 가능 어텐션 학습 프레임워크로, 구조적으로 이질적인 해부학적 구조에도 일반화될 가능성이 있다. 우리는 세 개의 공개 벤치마크와 백혈병에 대한 외부 홀드아웃(hold-out) 세트에서 평가를 수행한다. MSA-DCNN은 분포 변화(distribution shift)와 레이블 부족 상황에서 ViT 기준선(baseline), CNN 기준선, 그리고 MICCAI 반지도 학습 기준선 대비 정확도, F1, AUC(이진)에서 더 적은 파라미터를 사용하면서도 경쟁력 있고 종종 더 우수한 성능을 보인다. 어블레이션(ablation) 실험은 각 구성 요소의 상호 보완적 기여를 확인하며, MSA-DCNN이 데이터 효율적 의료 이미지 분류의 실용적인 기반임을 뒷받침한다.
TaskTok: 작업 기반 이미지 복원을 위한 작업 토큰 탐구
TaskTok: Delving into Task Tokens for Task-driven Image Restoration
전통적인 이미지 복원은 지각적 품질에 초점을 맞추는 반면, 작업 기반 이미지 복원(TDIR)은 하위 고수준 시각 작업의 성능을 최대화하는 것을 목표로 한다. 생성적 사전분포(generative priors)를 활용한 최근 접근법은 TDIR에 대해 유망한 결과를 보여 왔지만, 잠재 토큰(latent tokens) 전체를 무차별적으로 업데이트함으로써 계산 비효율과 잠재적 의미론적 변형(semantic alteration) 문제가 발생하는 경우가 많다. 본 논문에서는 모든 시각 정보가 기계 인식(machine perception)에 동등하게 중요한 것은 아니라는 점을 주장한다. 잠재 토큰 공간 분석을 통해, 작업 관련 단서(task-relevant cues)가 토큰 시퀀스 전반에 고르지 않게 분포하며 인덱스별 특화(index-wise specialization)를 보인다는 것을 관찰했다. 이는 작업 기반 목표를 위해 토큰의 일부만 선택적으로 정제(refining)하는 것으로도 충분할 수 있음을 시사한다. 이 통찰을 바탕으로, 학습 가능한 토큰 스위치와 경량 토큰 정제 모듈을 통해 작업 관련 토큰만 선택적으로 복원하는 새로운 프레임워크인 TaskTok을 제안한다. 이미지 분류, 의미 분할(semantic segmentation), 객체 검출에 대한 광범위한 실험을 통해 TaskTok이 높은 계산 효율성으로 작업 성능을 유의미하게 향상시킴을 보여준다. 소스 코드는 https://github.com/jimmy9704/TaskTok 에서 확인할 수 있다.
보유할 것인가, 적응할 것인가? 지속 학습의 일반화
To Retain or to Adapt? Generalizing Continual Learning
지속 학습(CL) 문헌은 오랫동안 파국적 망각(catastrophic forgetting)을 완화하는 목표에 의해 주도되어 왔다. 이 목표는 평생 학습자가 결합 작업 학습(Joint-Task Learning, JTL) 해법을 근사하여 이전에 습득한 모든 지식을 보유해야 한다는, 만연하지만 종종 명시되지 않는 가정에 기반한다. 우리는 이 보유 중심 전제에 이의를 제기하며, 비정상(non-stationary) 환경에서 보유를 우선시하면 실시간 적응을 저해할 수 있다고 주장한다. 평균 평생 오차(Average Lifelong Error, ALE)에 초점을 맞춰, 우리는 CL을 환경 역학과 학습 역학 간의 상호작용에 의해 지배되는 온라인 최적화 문제로 형식화한다. 우리는 전이 효율성(Transfer Efficiency)을 불안정성(Instability), 즉 상충하는 과거 경험으로부터 상속된 바이어스와 과도 오차(Transient Error), 즉 새로운 작업을 처음부터 학습하는 최적화 비용 사이의 긴장을 정량적으로 측정하는 척도로 도입한다. 선형 모델과 신경망 모델 전반에 걸쳐 성립하는 온화한 수렴 조건 하에서, 이 분해는 임계 작업 지속 시간(Critical Task Duration)을 도출한다: 보유가 양의 정상 바이어스를 유발할 때마다 역사적 지식이 웜스타트(warm-start) 이점에서 최적화 부담으로 전환되는 경계를 명시적 형태로 제공하는 임계값이다. 우리는 지속적 이미지 분류와 강화학습 벤치마크에서 이러한 이론적 예측을 검증한다. 마지막으로, 지속 학습을 예측 가능한 시퀀스의 온라인 학습 프레임워크와 연결함으로써, JTL이 더 넓은 목표 패밀리의 한 사례에 불과함을 보이고, 예측적 지속 학습(Predictive Continual Learning)이라 부르는 새로운 일반적 지속 학습 알고리즘 클래스를 제안한다. 예측적 CL 알고리즘은 미래 작업에 대한 명시적이고 동적으로 갱신되는 모델 하에서 기대 미래 성능을 최적화한다. 개념 증명으로서, JTL과 독립 작업 학습(Independent-Task Learning, ITL) 사이를 보간하며 제어된 분포적 드리프트(distributional drift) 하에서 양자를 모두 능가하는 윈도우(Window) 알고리즘을 분석한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.